Meça o resultado do cliente
Leia o objetivo da campanha, as regras de inscrição, a janela de observação e os resultados agregados. Mantenha identificadores de destinatários fora dos relatórios comprometidos. Se os dados estiverem faltando, produza um modelo de preenchimento e peça contagens; não substitua por benchmarks inventados.
Reconcilie os dados
Defina contatos únicos inscritos e elegíveis, tentativas de envio, envios aceitos, contatos entregues, rejeições, reclamações, cancelamentos, ativações, respostas qualificadas e conversões pagas, conforme relevante. Não misture contagens de mensagens com contagens de contatos. Explique exclusões e deduplicação. Ausente não é zero. Denominador zero significa indisponível, não 0%.
Uma campanha de inscrição pode usar usuários elegíveis ativados divididos por usuários inscritos elegíveis dentro de uma janela definida. Uma campanha de saída pode usar respostas positivas qualificadas únicas divididas por contatos entregues únicos. Defina qualificado antes de ler os resultados. Relate contagens ao lado das porcentagens. Aberturas são, no máximo, diagnósticas; não são prova confiável de atenção humana.
Escolha o método de aprendizado
Para públicos pequenos, use temas de resposta e atrito observado no produto. Para um teste controlado, especifique hipótese, unidade de randomização, elegibilidade, uma mudança, métrica primária, evidência de base, efeito mínimo significativo, método de tamanho de amostra, janela de observação e regra de parada antes do lançamento. Se as suposições ou o tamanho da amostra forem insuficientes, chame o teste de exploratório. Não infira significância a partir de duas porcentagens.
Distinga conversões atribuídas de conversões incrementais. Um grupo de controle pode ajudar a estimar o lift quando atribuição, amostra e spillover são tratados; mudanças antes/depois isoladamente não podem isolar o efeito do e-mail. Leia a análise trabalhada.
Entregue e itere
Salve marketing/review.md: qualidade dos dados, fatos, incerteza, feedback do leitor, um próximo experimento e uma regra de decisão. Se existir uma falha de entrega ou supressão, investigue-a antes de aumentar o volume. Prepare alterações de rascunho localmente; não ative uma campanha ou entre em contato com destinatários sem autorização de escopo existente.
Relate o que as evidências suportam e o que elas não podem estabelecer. Evite promessas universais de desempenho, "vencedores" sem suporte estatístico e alegações de receita que ignorem reembolsos, atribuição ou custos.