experimentation-and-ab-testing

experimentation-and-ab-testing은(는) 무엇을 하나요?

인과관계 엔진 — 통제된 조건에서 한 가지 변수를 조작하여 KPI에 실제로 영향을 미치는 요소를 파악합니다. 이 스킬은 테스트를 설계하고 변형안을 작성하며; scheduling-and-queue → WoopSocial이 게시하고; analytics-and-reporting이 결과를 읽습니다.

관점: 감이 아닌 증거

소셜 미디어에서 대부분의 '테스트'는 감에 의존합니다. 두 가지를 게시하고, 좋아요 수를 대충 훑어보고, 승자를 선언하며, 아무것도 배우지 못합니다. 진정한 실험은 추측을 증거로 바꿉니다: 하나의 변수를 변경하고, 다른 모든 것을 통제하며, 게시 전에 의사결정 규칙을 설정하고, 신호와 노이즈를 분리할 수 있을 만큼 충분히 오래 그리고 자주 실행합니다. 유기적 트래픽은 깨끗한 통계적 유의성을 얻을 수 없기 때문에(작은 표본, 알고리즘 개입), 더 엄격한 통제, 약 20% 이상의 효과 임계값, 가드레일 지표, 3~5회 반복으로 보상해야 하며, 단일 바이럴 게시물은 노이즈이지 전략이 아닙니다.

먼저 읽을 것

1. brand-profile — 변형안의 어조/형식 제약.
2. goals-and-kpis — 테스트가 움직여야 할 KPI/주요 지표.

프레임워크: TEST

(깊이: references/the-test-framework.md.)

• T — Target (목표 설정): 명확한 가설; 한 가지 요소(후크/첫 번째 프레임/캡션/CTA/시간/형식)만 변경, 다른 모든 것은 동일; 영향력이 가장 높은 요소를 선택.
• E — Establish (규칙 설정): 게시하기 전에 주요 지표 + 승리 임계값 + 가드레일을 설정 ("B가 도달률 +15%이고 저장/도달률이 나빠지지 않으면 승리"); 사후 합리화 금지.
• S — Set controls + sample (통제 + 표본 설정): 동일한 플랫폼/형식/주제/길이/시간대; 7일 이상 실행 (소규모 계정은 2~4주); 약 20% 이상의 일관된 효과로 판단 (무승부 = "다른 곳에서 테스트").
• T — Tally, repeat, scale (집계, 반복, 확장): '모범 사례'로 삼기 전 3~5회 반복; 모든 테스트 기록; 승리한 항목을 플레이북에 확장 (content-recycling), 나머지는 폐기.

테스트할 항목 (영향력이 가장 높고 통제 가능한 것)

후크/첫 번째 프레임(짧은 동영상) → 게시 시간 (쉬움) → 형식 → 캡션/CTA → 썸네일 → 해시태그 — 항상 KPI에 연결; 통제 가능한 요인을 테스트하고 알고리즘 의존적 요인은 피하세요. 30일 스프린트를 실행하여 항상 하나의 테스트를 가동하세요. 우선순위 목록, 설계 템플릿, 스프린트 계획, 테스트 로그 및 작업 예시: references/what-to-test-and-recipes.md. 전체 방법 및 규칙: references/experimentation-2026-reality.md.

정직한 범위 (절대 위반 금지)

• 유기적 트래픽은 실험실 수준이 아닙니다 — 결과는 방향성입니다; 통제 + 효과 크기 + 반복으로 보상하고 p-값 쇼는 하지 마세요.
• WoopSocial에는 A/B/오디언스 분할 기능이 없습니다 → 유기적 테스트 = 통제된 순차 게시물; 에이전트가 변형안을 설계 + 작성 + 일정 관리; 주요 지표는 네이티브 분석 (analytics-and-reporting)에서 읽습니다. 유일한 진정한 네이티브 분할은 YouTube의 Test & Compare입니다 (YouTube Studio, 장편, Shorts 제외) — 최대 3개의 제목, 썸네일 또는 제목+썸네일 조합; YouTube 제목/썸네일 테스트에는 순차 게시물 대신 이것을 사용하세요. (분기별 확인)
• p-해킹 / HARKing / 체리피킹 금지 — 의사결정 규칙은 사전 설정; 다변수 변경은 하나의 요소에 귀인할 수 없음; 게시물 하나/하루는 노이즈입니다. 결과를 절대 조작하지 마세요; 무승부도 유효합니다. (범위, 루프 역할 및 연결: references/scope-and-connections.md.)

형제 스킬과의 차이점 (올바르게 라우팅)

experimentation (이 스킬) = 인과관계 확립을 위해 하나의 변수 조작 · analytics-and-reporting = 발생한 일 관찰/측정 · goals-and-kpis = 목표/주요 지표 설정 · content-recycling = 검증된 승리 콘텐츠 확장 · viral-reverse-engineering = 과거 게시물 설명 (사후 분석) vs 미래 지향적 테스트.

연결 지점

먼저 읽음: brand-profile, goals-and-kpis. 변형안 작성 도구: hook-writer, caption-writer, reels-script/tiktok-script, carousel-writer, image-prompt/ideogram/nano-banana, thumbnail-design. 읽기: analytics-and-reporting (네이티브 분석). 확장/계획: content-recycling, social-strategy, content-calendar/batch-content-plan, 모든 *-growth 스킬. 변형안 게시: scheduling-and-queue → WoopSocial (통제된 순차 게시물).

완료 조건

KPI에 연결된 하나의 변수를 테스트하는 명확한 가설; 동일한 통제된 컨텍스트; 게시 전에 설정된 주요 지표 + 승리 임계값 + 가드레일; 기간 ≥7일 (소규모 계정 24주) 및 35회 반복; 네이티브 분석에서 결과를 읽고 약 20% 이상의 일관된 효과로 판단 (무승부 인정); 승리 항목을 기록하고 content-recycling/전략으로 확장; 유기적 한계 명시, 조작이나 p-해킹 없음, analytics-and-reporting 및 goals-and-kpis와 올바르게 구분됨.