Diseño de experimentos
Lee primero la sección 1 de docs/prd.md. RQ1 es la principal; RQ2 y RQ3 están diferidas.
Lista de verificación de pre-registro (confirmar antes de la primera ejecución)
- Pregunta, hipótesis y el resultado que la refutaría.
- Brazos y el contraste principal (RQ1: admisión del kernel contra el mejor brazo prompt).
- La aldea base se ejecuta sin defensa hasta la bifurcación (ADR-0003); reporta la proporción de entradas centrales y compartidas en la bifurcación que la regla del kernel habría rechazado.
- Unidad de análisis: la aldea o el bloque emparejado. Bloques, bifurcaciones y su número, con el piloto que lo establece.
- Medidas, cómo se codifica cada una, quién o qué las codifica (juez ciego más muestra validada por humanos).
- Mix de modelos, IDs de instantáneas fijadas, proveedor enrutado, fallbacks desactivados, brazos lanzados juntos.
- Hechos plantados: solo entidades ficticias, plausibilidad y estado del plantador contrabalanceados.
- Los brazos exploratorios (por ejemplo, F, memoria estándar) se etiquetan como exploratorios, excluidos del contraste principal y de la corrección de multiplicidad.
- Controles: sonda de conciencia, control de paráfrasis de prompt, control de bloques aleatorios emparejados por volumen.
- Reglas de exclusión para aldeas bloqueadas, regla de parada, plan para modelos obsoletos.
- Análisis: diferencias intrapares dentro de bloques, tamaños de efecto con intervalos, corrección para comparaciones múltiples, estimación de potencia y cómo se recalculará a partir del piloto.
- Condiciones de apoyo y refutación escritas de antemano.
Recordatorios estadísticos
- El piso de la prueba de permutación exacta es aproximadamente 0.029 con 4 por brazo, 0.10 con 3 por brazo, por lo que los diseños pequeños no emparejados no pueden alcanzar significación. Las bifurcaciones emparejadas son la herramienta de potencia.
- R0 no está definido con 7 susceptibles a resolución diaria; no lo uses.
- Reporta resultados negativos.
Procedimiento
- Redacta
experiments/<rq>/PREREGISTRATION.mda partir de la lista de verificación; obtén la revisión del propietario. - Ejecuta el piloto de 2 bloques; registra la varianza, la correlación de bifurcaciones, la fiabilidad de codificación, el costo por ciudadano-día.
- Congela las configuraciones (fijadas por hash), registra en OSF, luego ejecuta.
- Analiza exactamente como se registró; coloca las desviaciones en una enmienda fechada.
- Actualiza
docs/HANDOFF.md.