Communitygithub.com

實驗設計與A/B測試

一個嚴謹的因果推論引擎:在控制條件下操作單一變數,驗證其對KPI的實際影響。適用於有機內容(Facebook、Instagram、YouTube等)的序列測試,並透過重複實驗與效應門檻來補償有機數據的噪音。

B測試 是什麼?

這項技能將社群媒體上的「憑感覺測試」轉變為以證據為基礎的實驗方法。其核心框架為「TEST」:T(鎖定一個變數)——提出明確假設,每次只改變一個元素(如標題、封面、CTA),其餘條件完全相同;E(預先設定決策規則)——在上架前就定義好主要指標、勝利門檻與護欄指標,避免事後合理化;S(設定控制組與樣本)——確保平台、格式、主題與時間區間一致,執行至少7天(小帳號2–4週),並以約20%以上的穩定效應作為判斷基準;T(統計、重複、規模化)——進行3–5次成對重複測試後才得出「最佳實務」,將勝利者納入內容再利用策略。支援的平台包括Facebook、Instagram、LinkedIn、TikTok、X與YouTube(YouTube另有原生「測試與比較」功能可用於標題/縮圖測試)。此技能會與品牌資料、目標與KPI、分析與報告、內容再利用等技能協作,並明確禁止p-hacking、HARKing、採櫻桃謬誤或捏造結果——平手就是有效結論。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/social-media-skills/skills/tree/main/skills/experimentation-and-ab-testing

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

B測試 是做什麼的?

因果推論引擎——在控制條件下操作單一變數,找出真正能推動KPI的因素。這項技能設計測試並草擬變體;排程與佇列 → WoopSocial 負責發布;分析與報告負責解讀結果。

核心觀點:證據,而非直覺

社群媒體上多數的「測試」只是憑感覺——發兩篇貼文、看一下讚數、宣布贏家,然後什麼都沒學到。真正的實驗把猜測變成證據:改變一個變數,控制所有其他條件,在上架前設定決策規則,並且跑得夠久、夠多次,以分離訊號與噪音。有機內容無法提供乾淨的統計顯著性(樣本小、中間有演算法干擾),所以你必須用更嚴謹的控制、約20%以上的效應門檻、護欄指標以及3–5次重複來補償——並將單次爆紅貼文視為噪音,而非策略。

請先閱讀

  1. 品牌資料——變體的聲音/格式限制。
  2. 目標與KPI——測試必須推動的KPI/主要指標。

框架:TEST

(深度說明:references/the-test-framework.md)

  • T — 鎖定一個變數: 明確的假設;改變一個元素(鉤子/首幀/文案/CTA/時間/格式),其餘完全相同;選取槓桿最高的那個。
  • E — 預先設定決策規則: 在發布前設定主要指標 + 勝利門檻 + 護欄指標(「B勝出條件:觸及人數+15%,且儲存/觸及比例不變差」);禁止事後合理化。
  • S — 設定控制組與樣本: 相同平台/格式/主題/長度/時間區間;執行≥7天(小帳號2–4週);以約20%以上的一致效應作為判斷標準(平手 = 「在其他地方測試」)。
  • T — 統計、重複、規模化: 3–5次成對重複測試才能稱為「最佳實務」;記錄每一次測試;將勝出者納入操作手冊(content-recycling),其餘淘汰。

該測試什麼(槓桿最高、且在你的控制範圍內)

鉤子/首幀(短影片)→ 發文時間(簡單)→ 格式 → 文案/CTA → 縮圖 → 標籤 —— 永遠與KPI連結;測試你可以控制的因素,而非依賴演算法的變數。執行30天衝刺,期間不斷進行一個測試。優先級清單、設計模板、衝刺計畫、測試記錄與實例:references/what-to-test-and-recipes.md。完整方法與規則:references/experimentation-2026-reality.md。

誠實的範圍(絕不可違反)

  • 有機內容不是實驗室等級——結果是方向性的;用控制、效應大小與重複來補償,而非p值花招。
  • WoopSocial沒有A/B/受眾分割功能——有機測試 = 受控的序列化貼文;Agent設計並草擬變體 + 排程;主要指標從原生分析讀取(analytics-and-reporting)。唯一的原生分割功能:YouTube的測試與比較(YouTube工作室,長影片非Shorts)——最多3個標題、縮圖或標題+縮圖組合;用它來測試YouTube標題/縮圖,而非序列化貼文。(每季驗證一次)
  • 禁止p-hacking / HARKing / 採櫻桃謬誤——決策規則預先設定;多變數改變無法歸因於單一元素;單一貼文/單日數據是噪音。絕不捏造結果;平手是有效結論。 (範圍、迴圈角色與連結:references/scope-and-connections.md)

與同系列技能的區別(正確路由)

實驗設計(本技能) = 操作單一變數以建立因果關係 · 分析與報告 = 觀察/衡量發生了什麼 · 目標與KPI = 設定目標/主要指標 · 內容再利用 = 規模化已證實的勝出者 · 爆紅逆向工程 = 解釋過去的貼文(後見之明),而非向前測試。

與其他技能的連結

先讀取:品牌資料、目標與KPI。透過以下技能草擬變體:鉤子寫手、文案寫手、Reels腳本/TikTok腳本、輪播寫手、圖片提示/Ideogram/Nano Banana、縮圖設計。讀取結果:分析與報告(原生分析)。規模化/規劃:內容再利用、社群策略、內容行事曆/批次內容計畫,以及每一個成長類技能。發布變體:排程與佇列 → WoopSocial(受控的序列化貼文)。

完成的定義

一個明確的假設,測試連結到KPI的單一變數;完全相同的控制環境;在發布前設定主要指標 + 勝利門檻 + 護欄指標;執行期間≥7天(小帳號2–4週)且進行3–5次成對重複測試;結果從原生分析讀取,並以約20%以上的一致效應判斷(承認平手);勝出者記錄並規模化至內容再利用/策略;清楚說明有機內容的限制,不捏造、不p-hack,並正確與分析與報告、目標與KPI區分。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

相關技能