¿Qué hace ab-test-analysis?
Analiza resultados de pruebas A/B con significancia estadística, validación de tamaño de muestra, intervalos de confianza y recomendaciones de lanzar/extender/detener. Útil al evaluar resultados de experimentos, verificar si una prueba alcanzó significancia, interpretar datos de pruebas divididas o decidir si lanzar una variante.
Cómo usar
Proporciona los datos de tu prueba A/B, normalmente en formato:
visitantes_control: número de visitantes en el grupo de controlconversiones_control: número de conversiones en el grupo de controlvisitantes_variante: número de visitantes en el grupo de varianteconversiones_variante: número de conversiones en el grupo de variante
Opcionalmente, puedes especificar:
nivel_confianza: nivel de confianza para los intervalos (por defecto 0.95)poder_estadistico: poder estadístico deseado (por defecto 0.80)
Salida
La herramienta devolverá:
- Tasas de conversión: para control y variante
- Diferencia absoluta y relativa: con intervalos de confianza
- Valor p: de la prueba de significancia
- ¿Es significativo?: sí/no basado en el nivel de confianza
- Validación de tamaño de muestra: ¿es suficiente el tamaño de muestra actual?
- Recomendación:
ship,extendostop
Ejemplo
Si ejecutas un experimento con 1000 visitantes en control (100 conversiones) y 1000 en variante (120 conversiones), el análisis podría indicar:
Tasa de conversión (control): 10.00%
Tasa de conversión (variante): 12.00%
Diferencia absoluta: 2.00% (IC 95%: [0.15%, 3.85%])
Valor p: 0.034
Significativo: Sí
Tamaño de muestra suficiente: Sí
Recomendación: ship
Notas
- Esta habilidad asume que los datos son independientes y están asignados aleatoriamente.
- No reemplaza un análisis estadístico completo, pero proporciona una guía rápida y fiable para la toma de decisiones.
- Los intervalos de confianza se calculan usando el método de Wilson o similar para proporciones.