Design de Experimento
Leia a seção 1 do docs/prd.md primeiro. RQ1 é o carro-chefe; RQ2 e RQ3 estão adiados.
Checklist de pré-registro (commit antes da primeira execução)
- Pergunta, hipótese e o resultado que a refutaria.
- Braços e o contraste primário (RQ1: admissão do kernel contra o melhor braço de prompt).
- A vila base é executada sem defesas até o fork (ADR-0003); reporte a proporção de entradas principais e compartilhadas no fork que a regra do kernel teria recusado.
- Unidade de análise: a vila ou bloco emparelhado. Blocos, forks e seu número, com o piloto que o define.
- Medidas, como cada uma é codificada, quem ou o que a codifica (juiz cego mais amostra validada por humano).
- Mix de modelos, IDs de snapshot fixados, provedor roteado, fallbacks desligados, braços iniciados juntos.
- Fatos plantados: apenas entidades fictícias, plausibilidade e status do plantador contrabalançados.
- Braços exploratórios (por exemplo, F, memória padrão) são rotulados como exploratórios, excluídos do contraste primário e da correção de multiplicidade.
- Controles: sonda de consciência, controle de paráfrase de prompt, controle de bloco aleatório com volume correspondente.
- Regras de exclusão para vilas travadas, regra de parada, plano para modelos descontinuados.
- Análise: diferenças emparelhadas dentro do bloco, tamanhos de efeito com intervalos, correção para comparações múltiplas, estimativa de poder e como será recalculada a partir do piloto.
- Condições de suporte e refutação escritas antecipadamente.
Lembretes de estatística
- O piso do teste de permutação exato é cerca de 0,029 com 4 por braço, 0,10 com 3 por braço, portanto designs pequenos não emparelhados não podem atingir significância. Forks emparelhados são a ferramenta de poder.
- R0 é indefinido com 7 suscetíveis em resolução diária; não o use.
- Reporte resultados negativos.
Procedimento
- Escreva
experiments/<rq>/PREREGISTRATION.mda partir do checklist; obtenha a revisão do proprietário. - Execute o piloto de 2 blocos; registre variância, correlação do fork, confiabilidade da codificação, custo por cidadão-dia.
- Congele as configurações (com hash fixado), registre no OSF, depois execute.
- Analise exatamente como registrado; coloque desvios em uma emenda datada.
- Atualize
docs/HANDOFF.md.