Growth loop (성장 루프)
성장은 루프입니다: 추측하고, 테스트하고, 읽고, 효과가 있었던 것을 유지하세요. 이 스킬은 루프를 정직하게 유지합니다.
루프
- 마지막 감사(
sr-audit)에서 한 가지 질문을 고릅니다. - 게시하기 전에 가설을 작성합니다. "첫 줄에 숫자를 언급하면 더 많은 사람들이 3초를 넘겨 머무를 것이다."
- 한 가지 변수를 변경합니다. 가능한 한 같은 플랫폼, 같은 형식, 같은 주제 구성을 유지합니다. 다른 모든 것은 그대로 둡니다.
- 변종당 최소 4개를 게시합니다. 그보다 적으면 테스트할 수 없으며, 도구가 이를 알려줍니다.
- 각 결과를 기록하면서 진행합니다.
- 검토합니다. 채택, 추가 테스트, 또는 폐기.
- 교훈을 프로필에 저장하여 다음 계획에서 사용합니다.
실행하기
python scripts/sr.py exp new --hypothesis "첫 줄에 숫자가 있으면 3초 유지율이 향상된다" --variable "첫 줄" --metric "3초 유지율 %" --platform instagram
python scripts/sr.py exp log <실험-id> A 41 --ref "릴스 5월 12일"
python scripts/sr.py exp log <실험-id> B 58 --ref "릴스 5월 14일"
python scripts/sr.py exp review <실험-id>
도구로는: experiment_new, experiment_log, experiment_review를 사용합니다. 변종 이름은 사람이 지정합니다 (A와 B, 또는 "숫자"와 "숫자 없음").
판정 방식
검토는 기록된 모든 게시물을 함께 순위를 매기고 두 변종을 순위 합계 순열 테스트(rank-sum permutation test)로 비교합니다. 이 테스트는 조회수 분포에 대한 가정을 하지 않습니다. 쉽게 말해: 레이블을 무작위로 섞었을 때 현재와 같은 차이가 발생할 확률을 계산합니다. 또한 변종 중앙값의 비율도 보고합니다.
네 가지 결과가 있습니다:
- "X가 더 나아 보입니다... 채택하고 계속 기록하세요." p-값이 0.1 미만이고 한 변종의 중앙값이 다른 변종의 최소 1.2배인 경우.
- "게시물이 충분하지 않습니다." 어느 한 변종의 게시물이 4개 미만인 경우.
- "명확한 차이가 없습니다... 더 오래 실행하거나 더 큰 변화를 테스트하세요." 차이가 작거나 p-값이 높은 경우.
- "최소 두 개의 변종이 필요합니다." 하나의 변종만 기록된 경우.
변종당 4개의 게시물로는 큰 차이만 드러날 수 있습니다. 이를 명시하세요. 작은 샘플에서 "명확한 차이 없음" 결과는 "영향이 없다"가 아니라 "알 수 없다"를 의미합니다. 0.1 및 1.2 임계값은 관리자의 선택이며, 표준이 아닙니다. 변종은 이름의 알파벳 순서로 비교되므로 A와 B로 이름을 지정하세요.
먼저 테스트할 것
변경이 숫자에 얼마나 영향을 미칠 수 있는지 순서대로: 후크와 첫 번째 프레임, 그다음 제목 또는 커버, 그다음 길이, 그다음 캡션 첫 줄, 그다음 주제 각도. 게시 시간은 마지막이며, 사용자 자신의 분석 데이터가 있을 때만 테스트합니다. YouTube의 경우, Test and Compare에서 썸네일을 테스트할 수 있으며 2025년 7월부터는 제목도 테스트할 수 있습니다 (youtube.test_and_compare; 모든 채널에 제공되지는 않을 수 있습니다).
채점자 보정하기
후크 텍스트가 포함된 게시물이 30개 이상 쌓이면 calibrate_run을 실행합니다. 후크 점수가 이 계정의 성공작과 실패작을 50% 이상의 간격으로 구분한다면, write_weights가 조정된 가중치를 로컬 폴더에 저장합니다. 그렇지 않다면, 점수보다 자신의 테스트를 더 신뢰하세요.
교훈 저장하기
테스트가 채택되면 프로필의 lessons 목록에 한 줄을 추가합니다 (profile_save). 예: "5월에 첫 줄의 숫자가 3초 유지율에 도움이 되었습니다 (각 n=5)". 발견한 내용과 샘플 크기를 기록하세요. 저장할 때 전체 목록을 보내야 합니다. 저장은 필드를 병합하고 목록을 전체적으로 교체하기 때문입니다.
게이트
시작(가설)과 끝(채택 또는 폐기)에 approve를 사용합니다.
하지 말아야 할 것
- 두 가지를 동시에 변경하지 마세요.
- 결과가 좋아 보인다고 테스트를 일찍 중단하지 마세요.
- 숫자와 샘플 크기 없이 "효과가 있었다"고 보고하지 마세요.