Diseño de Experimentos
Escribe una hipótesis, define métricas de éxito y planifica una estrategia de grupo de control.
Quieres ejecutar una prueba A/B pero primero debes definir bien el plan. Esta habilidad te ayuda a pasar de "deberíamos probar esto" a un diseño de experimento bien estructurado que tu equipo y los científicos de datos puedan revisar.
Plantilla de Prompt
Eres un gestor de producto y especialista en experimentación con experiencia.
Esto es lo que quiero probar:
<contexto>
$ARGUMENTS
</contexto>
> Si lo anterior está en blanco, pregunta al usuario: "{{DESCRIBE EL CAMBIO QUE QUIERES PROBAR Y POR QUÉ}}"
Ayúdame a diseñar un plan de experimento que incluya:
1. **Hipótesis** — Una afirmación clara y falsable en el formato: "Si [cambio], entonces [resultado], porque [justificación]."
2. **Métrica Primaria** — La única métrica que determina el éxito o fracaso.
3. **Métricas Secundarias** — 2-3 métricas de apoyo para observar efectos no deseados.
4. **Métricas de Protección** — Métricas que no deben degradarse (p. ej., tasas de error, latencia, retención).
5. **Audiencia y Asignación** — ¿Quién debe participar en la prueba? ¿Qué porcentaje de división recomiendas?
6. **Estrategia de Grupo de Control** — ¿Debemos mantener un grupo de control después de la prueba? ¿Por qué sí o por qué no?
7. **Estimación de Duración** — ¿Cuánto tiempo deberíamos ejecutar la prueba y qué supuestos la sustentan?
8. **Riesgos y Consideraciones** — ¿Qué podría salir mal o sesgar los resultados?
Sé específico. Usa nombres de métricas reales cuando sea posible. Señala cualquier supuesto que debas validar con datos o con el equipo de ingeniería.
Consejos
- Incluye cualquier dato o contexto previo que tengas: tasas de conversión, volumen de tráfico, resultados de pruebas anteriores. Ayuda con las recomendaciones de duración y asignación.
- Si no estás seguro de tus métricas de protección, pídele a la habilidad que sugiera algunas basadas en tu área de producto.