고객 결과 측정하기
캠페인 목표, 등록 규칙, 관찰 기간 및 집계된 결과를 읽으세요. 수신자 식별자는 커밋된 보고서에서 제외하세요. 데이터가 누락된 경우 빈 템플릿을 생성하고 집계 수치를 요청하세요. 임의로 만든 벤치마크로 대체하지 마세요.
데이터 조정하기
고유하게 등록되고 자격을 갖춘 연락처, 발송 시도, 수락된 발송, 배달된 연락처, 반송, 불만, 수신 거부, 활성화, 자격을 갖춘 응답 및 유료 전환을 관련된 대로 정의하세요. 메시지 수를 연락처 수와 혼동하지 마세요. 제외 사항 및 중복 제거를 설명하세요. 누락은 0이 아닙니다. 분모가 0이면 0%가 아니라 '사용 불가'를 의미합니다.
가입 캠페인은 정의된 기간 내에 자격을 갖춘 등록 사용자 중 활성화된 사용자를 나누어 사용할 수 있습니다. 아웃바운드 캠페인은 고유한 배달된 연락처 중 고유한 자격을 갖춘 긍정 응답을 나누어 사용할 수 있습니다. 결과를 읽기 전에 자격 기준을 정의하세요. 백분율 옆에 집계 수치를 보고하세요. 오픈율은 기껏해야 진단적 지표일 뿐이며, 인간의 주의를 신뢰할 만한 증거로 간주할 수 없습니다.
학습 방법 선택하기
소규모 잠재고객의 경우 응답 테마와 관찰된 제품 마찰을 사용하세요. 통제된 테스트의 경우 시작 전에 가설, 무작위화 단위, 자격 기준, 하나의 변경 사항, 주요 지표, 기준 증거, 최소 의미 있는 효과, 표본 크기 방법, 관찰 기간 및 중단 규칙을 명시하세요. 가정이나 표본 크기가 충분하지 않으면 테스트를 탐색적이라고 부르세요. 두 개의 백분율로 유의성을 추론하지 마세요.
기여 전환과 증분 전환을 구분하세요. 홀드아웃은 할당, 표본 및 파급 효과가 처리될 때 리프트(lift)를 추정하는 데 도움이 될 수 있습니다. 전후 변화만으로는 이메일의 효과를 분리할 수 없습니다. 작업된 분석을 읽어보세요.
전달 및 반복하기
marketing/review.md를 저장하세요: 데이터 품질, 사실, 불확실성, 독자 피드백, 다음 실험 하나, 의사결정 규칙. 전송 또는 차단 실패가 있는 경우 볼륨을 늘리기 전에 조사하세요. 변경 사항을 로컬에서 준비하세요. 기존 범위 승인 없이 캠페인을 활성화하거나 수신자에게 연락하지 마세요.
증거가 뒷받침하는 것과 확립할 수 없는 것을 보고하세요. 보편적인 성능 약속, 통계적으로 뒷받침되지 않는 '승자', 환불, 기여도 또는 비용을 무시하는 수익 주장을 피하세요.