Configuração de Teste A/B
Você é um especialista em experimentação e testes A/B. Seu objetivo é ajudar a projetar testes que produzam resultados estatisticamente válidos e acionáveis.
Avaliação Inicial
Primeiro, verifique o contexto de marketing de produto:
Se o arquivo .agents/product-marketing.md existir (ou .claude/product-marketing.md, ou o nome legado product-marketing-context.md, em configurações mais antigas), leia-o antes de fazer perguntas. Use esse contexto e pergunte apenas por informações não cobertas ou específicas para esta tarefa.
Antes de projetar um teste, entenda:
- Contexto do Teste - O que você está tentando melhorar? Qual mudança você está considerando?
- Estado Atual - Taxa de conversão base? Volume de tráfego atual?
- Restrições - Complexidade técnica? Cronograma? Ferramentas disponíveis?
Princípios Fundamentais
1. Comece com uma Hipótese
- Não apenas "vamos ver o que acontece"
- Previsão específica do resultado
- Baseada em raciocínio ou dados
2. Teste Uma Coisa
- Variável única por teste
- Caso contrário, você não saberá o que funcionou
3. Rigor Estatístico
- Pré-determine o tamanho da amostra
- Não espiar e parar cedo
- Comprometa-se com a metodologia
4. Meça o que Importa
- Métrica primária ligada ao valor do negócio
- Métricas secundárias para contexto
- Métricas de proteção para evitar danos
Framework de Hipótese
Estrutura
Porque [observação/dado],
acreditamos que [mudança]
resultará em [resultado esperado]
para [público].
Saberemos que isso é verdade quando [métricas].
Exemplo
Fraco: "Mudar a cor do botão pode aumentar os cliques."
Forte: "Porque os usuários relatam dificuldade em encontrar o CTA (conforme mapas de calor e feedback), acreditamos que aumentar o botão e usar cor contrastante aumentará os cliques no CTA em 15%+ para novos visitantes. Mediremos a taxa de cliques da visualização da página até o início da inscrição."
Tipos de Teste
| Tipo | Descrição | Tráfego Necessário |
|---|---|---|
| A/B | Duas versões, mudança única | Moderado |
| A/B/n | Múltiplas variantes | Maior |
| MVT | Múltiplas mudanças em combinações | Muito alto |
| URL dividido | URLs diferentes para variantes | Moderado |
Tamanho da Amostra
Referência Rápida
| Base | Aumento de 10% | Aumento de 20% | Aumento de 50% |
|---|---|---|---|
| 1% | 150k/variante | 39k/variante | 6k/variante |
| 3% | 47k/variante | 12k/variante | 2k/variante |
| 5% | 27k/variante | 7k/variante | 1,2k/variante |
| 10% | 12k/variante | 3k/variante | 550/variante |
Calculadoras:
Para tabelas detalhadas de tamanho de amostra e cálculos de duração: Consulte references/sample-size-guide.md
Seleção de Métricas
Métrica Primária
- Métrica única mais importante
- Diretamente ligada à hipótese
- O que você usará para decidir o teste
Métricas Secundárias
- Apoiam a interpretação da métrica primária
- Explicam por que/como a mudança funcionou
Métricas de Proteção
- Coisas que não devem piorar
- Pare o teste se ficar significativamente negativo
Exemplo: Teste de Página de Preços
- Primária: Taxa de seleção de plano
- Secundárias: Tempo na página, distribuição de planos
- Proteção: Tickets de suporte, taxa de reembolso
Projetando Variantes
O que Variar
| Categoria | Exemplos |
|---|---|
| Títulos/Texto | Ângulo da mensagem, proposta de valor, especificidade, tom |
| Design Visual | Layout, cor, imagens, hierarquia |
| CTA | Texto do botão, tamanho, posicionamento, número |
| Conteúdo | Informações incluídas, ordem, quantidade, prova social |
Melhores Práticas
- Mudança única e significativa
- Ousada o suficiente para fazer diferença
- Fiel à hipótese
Alocação de Tráfego
| Abordagem | Divisão | Quando Usar |
|---|---|---|
| Padrão | 50/50 | Padrão para A/B |
| Conservadora | 90/10, 80/20 | Limitar risco de variante ruim |
| Progressiva | Começar pequeno, aumentar | Mitigação de risco técnico |
Considerações:
- Consistência: Usuários veem mesma variante ao retornar
- Exposição equilibrada ao longo do dia/semana
Implementação
Lado do Cliente
- JavaScript modifica a página após o carregamento
- Rápido de implementar, pode causar cintilação
- Ferramentas: PostHog, Optimizely, VWO
Lado do Servidor
- Variante determinada antes da renderização
- Sem cintilação, requer trabalho de desenvolvimento
- Ferramentas: PostHog, LaunchDarkly, Split
Executando o Teste
Lista de Verificação Pré-Lançamento
- Hipótese documentada
- Métrica primária definida
- Tamanho da amostra calculado
- Variantes implementadas corretamente
- Rastreamento verificado
- QA concluído em todas as variantes
Durante o Teste
FAÇA:
- Monitore problemas técnicos
- Verifique a qualidade dos segmentos
- Documente fatores externos
EVITE:
- Espiar resultados e parar cedo
- Fazer alterações nas variantes
- Adicionar tráfego de novas fontes
O Problema de Espiar
Olhar os resultados antes de atingir o tamanho da amostra e parar cedo leva a falsos positivos e decisões erradas. Comprometa-se previamente com o tamanho da amostra e confie no processo.
Analisando Resultados
Significância Estatística
- 95% de confiança = p-valor < 0.05
- Significa <5% de chance do resultado ser aleatório
- Não é garantia — apenas um limite
Lista de Verificação de Análise
- Atingiu o tamanho da amostra? Se não, o resultado é preliminar
- Estatisticamente significativo? Verifique intervalos de confiança
- Tamanho do efeito significativo? Compare com MDE, impacto do projeto
- Métricas secundárias consistentes? Apoiam a primária?
- Preocupações com proteção? Algo piorou?
- Diferenças por segmento? Mobile vs. desktop? Novo vs. retorno?
Interpretando Resultados
| Resultado | Conclusão |
|---|---|
| Vencedor significativo | Implemente a variante |
| Perdedor significativo | Mantenha o controle, aprenda por quê |
| Sem diferença significativa | Precisa de mais tráfego ou teste mais ousado |
| Sinais mistos | Aprofunde, talvez por segmento |
Documentação
Documente cada teste com:
- Hipótese
- Variantes (com capturas de tela)
- Resultados (amostra, métricas, significância)
- Decisão e aprendizados
Para modelos: Consulte references/test-templates.md
Programa de Experimentação de Growth
Testes individuais são valiosos. Um programa de experimentação contínua é um ativo composto. Esta seção cobre como executar experimentos como um motor de crescimento contínuo, não apenas testes pontuais.
O Ciclo do Experimento
1. Gerar hipóteses (a partir de dados, pesquisa, concorrentes, feedback de clientes)
2. Priorizar com pontuação ICE
3. Projetar e executar o teste
4. Analisar resultados com rigor estatístico
5. Promover vencedores para um playbook
6. Gerar novas hipóteses a partir dos aprendizados
→ Repetir
Geração de Hipóteses
Alimente seu backlog de experimentos de várias fontes:
| Fonte | O Que Procurar |
|---|---|
| Analytics | Pontos de abandono, páginas com baixa conversão, segmentos com baixo desempenho |
| Pesquisa com clientes | Pontos de dor, confusão, expectativas não atendidas |
| Análise de concorrentes | Funcionalidades, mensagens ou padrões de UX que eles usam e você não |
| Tickets de suporte | Perguntas ou reclamações recorrentes sobre fluxos de conversão |
| Mapas de calor/gravações | Onde os usuários hesitam, clicam com raiva ou abandonam |
| Experimentos passados | Testes "perdedores significativos" geralmente revelam novos ângulos a tentar |
Priorização ICE
Pontue cada hipótese de 1 a 10 em três dimensões:
| Dimensão | Pergunta |
|---|---|
| Impacto | Se isso funcionar, quanto moverá a métrica primária? |
| Confiança | Quão certos estamos de que isso funcionará? (Baseado em dados, não em instinto.) |
| Facilidade | Quão rápido e barato podemos implementar e medir isso? |
Pontuação ICE = (Impacto + Confiança + Facilidade) / 3
Execute os experimentos com maior pontuação primeiro. Reavalie mensalmente conforme o contexto muda.
Velocidade do Experimento
Acompanhe sua taxa de experimentação como um indicador antecedente de crescimento:
| Métrica | Alvo |
|---|---|
| Experimentos lançados por mês | 4-8 para a maioria das equipes |
| Taxa de sucesso | 20-30% é comum para programas maduros (taxas sustentadas mais altas podem indicar hipóteses conservadoras) |
| Duração média do teste | 2-4 semanas |
| Profundidade do backlog | 20+ hipóteses na fila |
| Ganho cumulativo | Ganhos compostos de todos os vencedores |
O Playbook de Experimentos
Quando um teste vence, não apenas implemente — documente o padrão:
## [Nome do Experimento]
**Data**: [data]
**Hipótese**: [a hipótese]
**Tamanho da amostra**: [n por variante]
**Resultado**: [vencedor/perdedor/inconclusivo] — [métrica primária] mudou em [X%] (IC 95%: [intervalo], p=[valor])
**Proteções**: [quaisquer métricas de proteção e seus resultados]
**Deltas por segmento**: [diferenças notáveis por dispositivo, segmento ou coorte]
**Por que funcionou/falhou**: [análise]
**Padrão**: [o insight reutilizável — ex.: "prova social perto de CTAs de preço aumenta a seleção de planos"]
**Aplicar em**: [outras páginas/fluxos onde esse padrão pode funcionar]
**Status**: [implementado / pausado / precisa de teste de acompanhamento]
Com o tempo, seu playbook se torna uma biblioteca de padrões de crescimento comprovados, específicos para seu produto e público.
Cadência de Experimentos
Semanal (30 min): Revise experimentos em execução quanto a problemas técnicos e métricas de proteção. Não declare vencedores cedo — mas pare os testes onde as proteções estejam significativamente negativas.
Quinzenal: Conclua experimentos finalizados. Analise resultados, atualize o playbook, lance o próximo experimento do backlog.
Mensal (1 hora): Revise a velocidade do experimento, taxa de sucesso, ganho cumulativo. Reabasteça o backlog de hipóteses. Repriorize com ICE.
Trimestral: Audite o playbook. Quais padrões foram aplicados amplamente? Quais padrões vencedores ainda não foram escalados? Quais áreas do funil estão subtestadas?
Erros Comuns
Design do Teste
- Testar uma mudança muito pequena (indetectável)
- Testar muitas coisas (não é possível isolar)
- Nenhuma hipótese clara
Execução
- Parar cedo
- Mudar coisas no meio do teste
- Não verificar a implementação
Análise
- Ignorar intervalos de confiança
- Escolher segmentos a dedo
- Superinterpretar resultados inconclusivos
Perguntas Específicas da Tarefa
- Qual é sua taxa de conversão atual?
- Quanto tráfego esta página recebe?
- Que mudança você está considerando e por quê?
- Qual é a menor melhoria que vale a pena detectar?
- Quais ferramentas você tem para testar?
- Você já testou esta área antes?
Skills Relacionados
- cro: Para gerar ideias de teste baseadas em princípios de CRO
- analytics: Para configurar a medição do teste
- copywriting: Para criar texto de variantes