成長迴圈
成長是一個迴圈:猜測、測試、讀取、保留有效的。這項技能讓迴圈保持誠實。
迴圈步驟
- 從上次稽核中選一個問題(
sr-audit)。 - 在發佈前寫下假設。「如果第一行提到數字,更多人會停留超過三秒。」
- 改變一個變數。 盡可能使用相同平台、相同格式、相同主題組合。其他一切保持不變。
- 每種變體至少發佈四篇。 少於此數無法進行測試,工具會明確告知。
- 記錄每次的結果。
- 審查。 採用它、繼續測試,或放棄它。
- 將學到的經驗儲存到個人檔案,以便後續計畫能參考。
執行方式
python scripts/sr.py exp new --hypothesis "A number in the first line improves 3-second hold" --variable "first line" --metric "3-second hold %" --platform instagram
python scripts/sr.py exp log <experiment-id> A 41 --ref "reel 12 May"
python scripts/sr.py exp log <experiment-id> B 58 --ref "reel 14 May"
python scripts/sr.py exp review <experiment-id>
作為工具:experiment_new、experiment_log、experiment_review。變體由使用者命名(A 和 B,或「數字」和「無數字」)。
判定結果的運作方式
審查會將所有記錄的貼文排序,並使用秩和置換檢定比較兩種變體,該檢定不假設觀看次數的分佈。白話來說:它會問,隨機打亂標籤多少次才會出現您所觀察到的那麼大差距。它還會報告兩種變體中位數的比率。
有四種結果:
- 「X 看起來比較好……採用它並繼續記錄。」 p 值小於 0.1,且一種變體的中位數至少是另一種的 1.2 倍。
- 「貼文數量不足。」 任一變體的貼文數少於四篇。
- 「沒有明顯差異……延長測試,或測試更大的改變。」 差距很小或 p 值很高。
- 「至少需要兩種變體。」 只有一種變體被記錄。
每種變體四篇貼文時,只有很大的差距才會顯現出來。請明確告知。在樣本數小時,「沒有明顯差異」的結果代表「我們無法判斷」,而非「這不重要」。0.1 和 1.2 的閾值是維護者的選擇,並非標準。變體會依名稱的字母順序比較,因此請命名為 A 和 B。
優先測試什麼
按改變能影響數字的程度排序:鉤子和第一幀,然後是標題或封面,接著是長度,再來是字幕第一行,最後是主題角度。發文時間排在最後,且僅限於使用使用者自己的分析工具。對於 YouTube,可在 Studio 中使用「測試與比較」功能測試縮圖,自 2025 年 7 月起也可測試標題(已有回報,youtube.test_and_compare;此功能可能並非每個頻道都有)。
校準評分器
在發佈 30 篇以上包含鉤子文字的貼文後,執行 calibrate_run。如果鉤子評分能將此帳號的熱門貼文與表現不佳的貼文區分開來,且區間超過 50%,則 write_weights 會將調整後的權重儲存到本地資料夾。如果不行,請更相信您自己的測試而非評分。
儲存經驗
當測試被採用時,在個人檔案的 lessons 清單中新增一行(使用 profile_save),例如「5 月的數字在第一行有助於提高 3 秒停留率(每組 n=5)」。寫下您的發現,並附上樣本數。儲存時請傳送整個清單,因為儲存會合併欄位並整體取代清單。
閘門
在開始(假設)和結束(採用或放棄)時需要 approve。
禁止事項
- 一次改變兩件事。
- 因為看起來不錯而提前結束測試。
- 在沒有數字和樣本數的情況下報告「有效」。