Communitygithub.com

实验与A/B测试

因果引擎——在受控条件下操纵一个变量,找出真正驱动关键绩效指标的因素。本技能设计实验并撰写变体;由「排程与队列 → WoopSocial」发布;「分析与报告」读取结果。

B测试 是什么?

这是一个专注于社交媒体有机内容实验与A/B测试的技能。它基于「TEST」框架,帮助用户设计严谨的因果实验:每次只改变一个变量(如标题、封面或发布时间),设定明确的决策规则(包括主指标、胜出阈值和护栏指标),并通过多次重复(3-5轮)来区分信号与噪音。该技能适用于Claude Code等AI代理平台,与品牌档案、目标与KPI、分析报告等技能紧密配合。它强调诚实范围:有机实验仅提供方向性结论,不支持平台内部分流(WoopSocial采用顺序发布),但可利用YouTube的「测试与比较」功能。用户需避免p值操控或樱桃采摘,承认平局的有效性,并将胜出的变体纳入内容再利用策略。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/social-media-skills/skills/tree/main/skills/experimentation-and-ab-testing

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

B测试 是做什么的?

因果引擎——在受控条件下操纵一个变量,找出真正驱动关键绩效指标的因素。本技能设计实验并撰写变体;由「排程与队列 → WoopSocial」发布;「分析与报告」读取结果。

观点:证据,而非感觉

社交媒体上的大多数「测试」靠的是感觉——发布两条内容,瞟一眼点赞数,宣布一个赢家,什么都没学到。真正的实验将猜测转化为证据:改变一个变量,控制其他所有因素,在发布前设定决策规则,并运行足够长且足够多的次数来区分信号与噪音。有机内容无法提供干净的统计显著性(样本量小,中间有算法),因此需要通过更严格的控制、约20%以上的效果阈值、护栏指标以及3-5次重复来补偿——并将单个爆款帖子视为噪音,而非策略。

先阅读这些

  1. 品牌档案——变体的语气/格式限制。
  2. 目标与关键绩效指标——实验必须驱动的关键绩效指标/主指标。

框架:TEST

(详细内容:references/the-test-framework.md。)

  • T — 定位一个变量: 清晰的假设;改变一个元素(钩子/首帧/标题/行动号召/时间/格式),其他所有内容完全相同;选择杠杆作用最大的一个。
  • E — 先确立决策规则: 在发布前设定主指标 + 胜出阈值 + 护栏指标(例如:“B胜出条件是触达+15%且收藏/触达不恶化”);不允许事后合理化。
  • S — 设定控制条件与样本: 同一平台/格式/主题/时长/时间段;运行≥7天(小账户2-4周);以约20%以上的一致性效果为评判标准(平局 = “在其他地方测试”)。
  • T — 统计、重复、扩展: 进行3-5次成对重复后再形成“最佳实践”;记录每一次实验;将胜出者纳入策略手册(content-recycling),其余淘汰。

测试什么(最高杠杆,在你掌控之内)

钩子/首帧(短视频)→ 发布时间(简单)→ 格式 → 标题/行动号召 → 缩略图 → 话题标签——始终与关键绩效指标挂钩;测试你能控制的因素,而非依赖算法的因素。进行30天冲刺,始终有一个实验在运行。优先级列表、设计模板、冲刺计划、实验日志及示例:references/what-to-test-and-recipes.md。完整方法及规则:references/experimentation-2026-reality.md。

诚实范围(绝不可违反)

  • 有机内容并非实验室级别——结果具有方向性;通过控制条件 + 效果大小 + 重复来补偿,而非用p值游戏。
  • WoopSocial没有A/B/受众分流功能 → 有机测试 = 受控的按序发布;代理负责设计、撰写变体并排程;主指标从原生分析读取(analytics-and-reporting)。唯一真正的原生分流功能是YouTube的“测试与比较”(YouTube工作室,长视频,非Shorts)——最多可比较3个标题、缩略图或标题+缩略图组合;用于YouTube标题/缩略图测试,而非按序发布。(每季度核实)
  • 禁止p值操控 / HARKing / 樱桃采摘——决策规则预先设定;多变量变化无法归因于单一元素;单条帖子/单日数据是噪音。绝不可捏造结果;平局有效。 (范围、循环角色及连接:references/scope-and-connections.md。)

与同类技能的区别(正确路由)

实验(本技能) = 操纵一个变量以建立因果关系 · 分析与报告 = 观察/衡量发生了什么 · 目标与关键绩效指标 = 设定目标/主指标 · 内容再利用 = 扩展已验证的胜出者 · 爆款逆向工程 = 解释过去的帖子(事后分析) vs. 前瞻性测试。

连接关系

先读取:品牌档案、目标与关键绩效指标。变体撰写通过:钩子撰写器、标题撰写器、短视频脚本/TikTok脚本、轮播图撰写器、图像提示/Ideogram/nano-banana、缩略图设计。数据输出:分析与报告(原生分析)。扩展/规划:内容再利用、社交策略、内容日历/批量内容规划,以及每个***-增长**技能。发布变体:排程与队列 → WoopSocial(受控的按序发布)。

完成定义

一个清晰的假设,测试与关键绩效指标挂钩的一个变量;相同的受控背景;发布前设定主指标 + 胜出阈值 + 护栏指标;运行时长≥7天(小账户2-4周)并完成3-5次成对重复;结果从原生分析读取,以约20%以上的一致性效果为评判标准(承认平局);胜出者记录并扩展至内容再利用/策略;说明有机内容的局限性,无捏造或p值操控,正确区分于分析与报告以及目标与关键绩效指标。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

相关技能