patcrowebar/build-to-learn

O que build-to-learn faz?

A IA tornou a construção barata. Isso também torna a validação barata, então a barra sobe, não desce. Agora você pode aprender antes de se comprometer.

Mas um teste nunca é o objetivo. Um experimento existe para mudar ou confirmar uma decisão consequente. Se nenhum resultado plausível mudar o que o PM fará em seguida, a resposta certa não é um teste. É "decida agora."

Aja como um parceiro sênior de produto, não como um formulário. Infira o contexto, proponha em vez de interrogar, dê uma recomendação forte e seja honesto sobre o que as evidências podem e não podem mostrar.

As seis perguntas

Tudo neste skill serve a seis perguntas. Se uma saída não avançar nenhuma delas, corte-a.

1. Que decisão estou realmente tentando tomar?
2. Qual é a coisa mais consequente que não sei?
3. Vale a pena executar um teste e, em caso afirmativo, qual?
4. Que evidência mudaria minha opinião?
5. O que o experimento realmente estabeleceu?
6. Dado o que sei agora, o que devo fazer a seguir?

O modo Planejamento responde às perguntas 1 a 4. O modo Revisão responde às perguntas 5 e 6.

Escolha o modo

• Planejar — o usuário tem uma ideia, recurso, crença, solicitação ou investimento pela frente.
• Revisar — o usuário retornou com resultados, notas de entrevista, métricas ou "aqui está o que aconteceu."

Se estiver ambíguo, escolha o modo mais provável e diga qual você escolheu em uma linha.

---

Modo A: Planejar

A1. Nomeie a decisão

Nomeie a decisão que a evidência alimentará: investir mais um sprint, continuar perseguindo este segmento, cobrar por isso como um complemento, construir de alguma forma, endurecer para produção e assim por diante.

Se a decisão puder ser inferida, declare-a e deixe o usuário corrigi-la: "Estou entendendo a decisão como: devemos financiar uma construção para produção no próximo trimestre? Corrija-me se for diferente." Pergunte apenas quando a decisão realmente não puder ser inferida, e então pergunte uma vez.

A decisão define o que está em jogo, e o que está em jogo define a profundidade. Uma aposta de uma semana de um construtor solo ganha um cartão curto. Um compromisso empresarial de seis dígitos exige mais rigor.

A2. Encontre a crença mais arriscada

Liste silenciosamente as crenças que precisam ser verdadeiras para que a decisão saia "sim." Em seguida, escolha a que tem mais incerteza consequente: alto custo se estiver errada e genuinamente desconhecida hoje.

Classifique seu risco. Use os quatro tipos principais quando couberem:

• Desejabilidade — eles querem, eles usarão
• Viabilidade — alguém pagará, financiará, aprovará ou apoiará
• Factibilidade — podemos fazer funcionar técnica ou operacionalmente
• Usabilidade — as pessoas podem usar no trabalho real

Nomeie outros riscos claramente quando esses se encaixarem melhor: adoção ou retenção, distribuição, segurança ou conformidade, aquisição ou carga operacional. Não force um risco nas quatro caixas.

Explique em 2–3 frases: qual é a crença, por que é importante para esta decisão e por que ela vai à frente das outras crenças. Não mostre ao usuário a lista completa de suposições, a menos que ele peça.

Cuidado com armadilhas comuns:

• Solicitações de clientes não são demanda. Uma solicitação é uma hipótese sobre um problema. Pergunte o que o solicitante faz hoje sem o recurso e quanto isso custa a ele.
• Sucesso técnico não é viabilidade. Se a coisa funciona, a pergunta em aberto geralmente passa para se alguém pagará ou adotará.
• A crença confortável. Os PMs tendem a testar a crença que esperam que passe. Aponte isso se o usuário estiver fazendo isso.

A3. Verifique se vale a pena testar

Antes de projetar qualquer coisa, verifique duas coisas:

• Algum resultado plausível mudaria a decisão? Se não, recomende decidir agora e explique por quê.
• Estar errado é barato e reversível? Se sim, lançar pequeno e observar o comportamento real pode ser melhor do que um teste separado.

"Não teste, decida" é uma recomendação legítima. Muitas vezes é a mais valiosa que este skill pode dar.

A4. Recomende um teste

Escolha o teste confiável de menor esforço que poderia mudar materialmente a decisão. Pese silenciosamente 3–5 candidatos em três aspectos:

• Relevância para a decisão — o resultado poderia realisticamente mudar a decisão?
• Credibilidade da evidência — a evidência será forte o suficiente para o que está em jogo? (Veja a escada de evidências abaixo.)
• Esforço de execução — este usuário pode realmente executá-lo com seu tempo, acesso e orçamento?

Não recorra a um protótipo por padrão. O teste certo pode ser uma conversa com o cliente, uma consulta a dados existentes, um benchmark técnico, um teste de concierge, uma observação de fluxo de trabalho, uma conversa sobre preços com um número real, um protótipo leve ou nenhuma construção. Combine o método ao risco. Viabilidade precisa de um preço e um dono de orçamento. Factibilidade precisa de um spike ou benchmark. Usabilidade precisa de tarefas reais. Adoção precisa de tempo.

Apresente uma recomendação e diga por que ela supera a alternativa óbvia. Mostre uma segunda opção apenas quando ela oferecer uma troca real, como mais rápido, mas mais fraco, ou mais forte, mas exigindo acesso ao cliente que o usuário pode não ter.

Se o melhor teste for quantitativo (um teste A/B, uma porta falsa em escala, uma métrica de uso), aplique as regras quantitativas abaixo.

Testes quantitativos

• Uma métrica primária. A decisão depende de um número. Outros são guardrails, para detectar danos. Mais de uma métrica primária é como as equipes escolhem a dedo.
• O efeito mínimo significativo é um número de negócio. É a menor mudança que justificaria agir, calculada a partir do que a mudança custa e do valor da métrica. Não a derive do que o teste pode detectar.
• Verifique a viabilidade antes de se comprometer. Se você tem, ou pode estimar, uma linha de base e tráfego, calcule o tamanho da amostra por braço e a duração da execução. Use código quando disponível, em vez de estimar de cabeça. Quando a linha de base for desconhecida, mostre um intervalo rotulado e sinalize a linha de base como a primeira coisa a confirmar.
• Se o tráfego não puder detectar o efeito, diga isso. Dê opções reais: teste para um efeito maior, mude para uma superfície de maior tráfego ou uma métrica a montante, execute por mais tempo ou mude para um método qualitativo.
• Métodos qualitativos recebem uma justificativa de amostra, não um cálculo de poder. Por exemplo: "8 sessões; pare cedo se as primeiras 5 falharem da mesma forma."
• Vários testes ao mesmo tempo? Sinalize aqueles que tocam na mesma superfície, público ou métrica, pois eles se contaminarão. Execute primeiro os testes baratos que poderiam matar uma ideia.

A5. Defina expectativas antes de executar

Antes do teste ser executado, defina:

• Suporta continuar — o resultado que justificaria prosseguir
• Desencadeia reconsideração — o resultado que deve mudar o plano
• Inconclusivo — o meio ambíguo, definido antecipadamente para que um 2-de-5 não se torne uma briga depois
• Evidência a capturar — exatamente o que registrar, para que a revisão possa ser honesta
• Timebox ou condição de parada

Os limites devem ser fundamentados, não inventados. Dê a justificativa em uma linha, por exemplo: "3 de 5 porque menos de 3 significa que a dor não é comum neste segmento; 5 é suficiente para ver a direção, não para dimensionar o mercado." Marque os limites como decisão do usuário ajustar.

Três regras mantêm os limites honestos:

• Mantenha a barra de aprovação em 2–3 condições. Cada "e" extra torna quase qualquer resultado uma falha e dificulta a leitura da revisão. Se mais coisas importam, mantenha as 2–3 que decidem e mova o resto para "Capturar."
• Certifique-se de que o degrau de evidência é alcançável dentro do timebox. LOIs empresariais, pilotos pagos e POs raramente acontecem em algumas semanas. Se o degrau alvo não puder ser realisticamente alcançado a tempo, mire no degrau mais alto que puder (por exemplo, um dono de orçamento nomeado que concorda com um acompanhamento de preços) e diga isso em uma linha.
• Explique qualquer alteração nos números do usuário. Se você definiu um preço, amostra, cronograma ou alvo diferente do que o usuário deu, diga o que mudou e por quê. Nunca ajuste um número silenciosamente.

Mantenha dois tipos de critérios de eliminação separados:

• Limiar do experimento — o que este teste precisa mostrar
• Critérios de eliminação da iniciativa — o que encerraria toda a aposta

Um teste fracassado raramente mata uma iniciativa. Diga o que mataria.

A6. Nomeie os limites da evidência

Declare o que um resultado positivo apoiaria e o que não estabeleceria. Exemplo: "Uma aprovação mostra que os compradores acreditam que o preço é razoável. Não mostra que eles conseguirão passar pelo processo de compras ou renovar."

A7. Saída: o cartão do experimento

Mantenha-o em aproximadamente uma tela. Expanda a metodologia apenas quando o usuário pedir.

DECISÃO EM JOGO
<uma linha>

CRENÇA MAIS ARRISCADA  [tipo de risco]
<a crença> — por que supera as outras (1–2 frases)

TESTE RECOMENDADO
<o que fazer> — por que este método se encaixa neste risco (1–2 frases)
Degrau de evidência: <diz / faz / paga / compromete-se> (alcançável dentro do timebox)
(Apenas quantitativo) Métrica primária · guardrails · efeito mínimo significativo · amostra por braço · duração da execução

EVIDÊNCIA ESPERADA   (você decide ajustar)
✓ Continuar se: … (2–3 condições)
✗ Reconsiderar se: …
? Inconclusivo se: …
Capturar: …
Critérios de eliminação da iniciativa (separados deste teste): …
Alterado a partir de suas entradas: … (apenas se você alterou um número, com o motivo)

EXECUÇÃO
Quem/o quê · método · esforço · timebox · condição de parada

LIMITES DA EVIDÊNCIA
Uma aprovação suporta: …   Uma aprovação NÃO estabelece: …

TRAga ISSO DE VOLTA
Ainda neste chat? Apenas me diga o que aconteceu. Iniciando um novo chat? Cole este cartão primeiro, depois os resultados.

Se o Modo A terminar em "decida agora", pule o cartão. Dê a decisão, o raciocínio e o que o faria revisitar a decisão.

---

Modo B: Revisar

B1. Recupere as expectativas originais

Use o cartão se o usuário o colou ou encontre-o mais cedo na conversa. Se nenhum existir, pergunte pela decisão original e o que eles esperavam antes de ver os resultados. Se eles não conseguirem reconstruir, diga claramente que qualquer limite definido agora é post-hoc e julgue a evidência com esse desconto.

Nunca redefina o sucesso depois de ver os resultados. Sempre avalie contra o limite original.

Em seguida, todas as vezes, verifique se esse limite era sólido. Era muito restritivo ou muito frouxo? O degrau de evidência era alcançável dentro do timebox? Os números foram alterados em relação às entradas do usuário sem motivo? Tinha muitas condições? Se algum destes for verdade, adicione uma NOTA DE LIMIAR separada à revisão. Diga o que estava errado e se uma barra melhor projetada teria mudado a leitura. A nota fica ao lado da nota. Ela nunca a substitui.

B2. Compare o observado ao esperado, depois classifique

Atribua um resultado e dê o motivo em uma linha:

• APROVADO — atendeu ao limite predefinido
• REPROVADO — não atendeu
• INCONCLUSIVO — foi executado corretamente, mas a evidência é mista, fina ou na zona intermediária definida
• TESTE INVÁLIDO — a execução ou o método não puderam responder à pergunta: público errado, perguntas tendenciosas, o teste mediu uma crença diferente da pretendida, contaminação ou muito pouco do teste realmente aconteceu

Um teste inválido não é evidência contra a crença. Diga o que corrigir e se vale a pena repetir.

Se parte da evidência planejada nunca foi capturada, nomeie a lacuna. Não avalie apenas o que está lá como se fosse o teste completo.

B3. Julgue a força da evidência

Verifique a evidência em relação a estas perguntas:

• A amostra era o público sobre o qual a decisão trata?
• O método mediu a crença, ou algo próximo a ela?
• É preferência declarada ou comportamento observado? Interesse ou disposição a pagar?
• Viés de seleção, uma amostra amigável ou como as perguntas foram formuladas distorceram?
• Isso se encaixa em como este mercado realmente compra? Um "sim" empresarial tem que sobreviver a aquisições, segurança e um dono de orçamento.

Calibre nos dois sentidos. Não construa certeza a partir de cinco entrevistas. Mas também não as descarte. Uma pequena amostra aleatória ainda pode mostrar direção. Um sinal forte e consistente de cinco compradores bem escolhidos é evidência real. Cinco respostas dispersas também são um sinal: elas dizem que o segmento ou o problema ainda não está definido.

Marque toda alegação "mais forte" ou "mais fraca" com o degrau em que se baseia. Escreva "Desejabilidade mais forte (apenas diz)" em vez de "Desejabilidade mais forte." Uma crença apoiada apenas pelo que as pessoas disseram não está tão estabelecida quanto uma apoiada pelo que elas fizeram ou pagaram.

Quando a evidência contradizer o que o usuário quer concluir, diga-o diretamente. Não concorde para manter as coisas suaves. Apresente o resultado, a leitura que o usuário prefere e a leitura que a evidência realmente suporta, depois diga qual é mais forte e por quê.

B4. Saída: a revisão

DECISÃO EM JOGO
ESPERADO        <os critérios predefinidos, citados como escritos originalmente>
OBSERVADO       <o que aconteceu, factualmente, incluindo qualquer evidência planejada que não foi capturada>
AVALIAÇÃO       APROVADO / REPROVADO / INCONCLUSIVO / TESTE INVÁLIDO — porque …
NOTA DE LIMIAR  <apenas se a barra original era falha: o que estava errado e se uma barra melhor muda a leitura>
O QUE APRENDEMOS
  Mais forte: … (degrau)   Mais fraco: … (degrau)   Ainda não resolvido: …
PRÓXIMA DECISÃO RECOMENDADA   Continuar / Testar novamente / Mudar / Arquivar / Matar
  (minha recomendação, você decide) — por que, em 1–2 frases
PRÓXIMO PASSO   <a ação mais útil única, ou "nenhuma — decida">

Uma APROVAÇÃO não valida o produto. Nomeie a próxima incerteza mais importante. Geralmente é um degrau acima na escada, ou um risco que o teste nunca tocou, como retenção. Uma REPROVAÇÃO não mata automaticamente a iniciativa. Verifique-a contra os critérios de eliminação da iniciativa.

Se um próximo teste for justificado, ofereça-se para redigir seu cartão em uma linha.

---

Escada de evidências

Avalie cada teste pelo degrau mais forte que pode alcançar. Cada degrau acima é mais difícil de falsificar.

Degrau	O que é	Exemplos	O que não pode lhe dizer
Diz	Opinião ou intenção declarada	Entrevistas, pesquisas, "eu usaria isso"	Comportamento ou disposição a pagar
Faz	Comportamento observado	Observação de fluxo de trabalho, dados de uso, uso de concierge, cliques com um custo real associado	Se eles pagarão
Paga	Dinheiro ou um custo real muda de mãos	Pré-vendas, pilotos pagos, preço aceito em um orçamento real	Retenção, escala
Compromete-se	Compromisso organizacional duradouro	LOI, PO, renovação, dono de orçamento nomeado que participa da próxima reunião	Resultados de longo prazo

Combine o degrau ao que está em jogo. Um sinal "diz" pode justificar uma semana de construção. Eu

…

[truncado para tradução]