YepAPI/skills

Pruebas A/B

Reglas

• Asignación basada en hash: selección determinista de variante mediante hash(userId + experimentId) % 100 — sin desviación aleatoria entre sesiones
• Configuración de variantes: almacenar experimentos en un objeto de configuración { id, name, variants: [{ id, weight }], status } — nunca hardcodear variantes
• Dividir tráfico del lado del servidor: asignar en middleware o ruta de API, establecer una cookie para consistencia — las divisiones del lado del cliente causan parpadeo
• Significancia estadística: requerir un 95% de confianza (p < 0.05) antes de declarar un ganador — usar prueba z para proporciones
• Tamaño de muestra: calcular el tamaño mínimo antes de comenzar — n = (Z^2 * p * (1-p)) / E^2 donde E es el efecto mínimo detectable
• Una métrica por experimento: definir una métrica primaria desde el inicio (tasa de conversión, clics, ingresos) — las métricas secundarias son solo exploratorias
• Exclusión mutua: los usuarios en un experimento no deben superponerse con experimentos conflictivos — usar capas de experimentos
• Feature flags: envolver el código del experimento en comprobaciones de feature flags — limpiar las variantes perdedoras después de que termine el experimento
• Duración: ejecutar al menos 1-2 ciclos comerciales completos (7-14 días mínimo) para tener en cuenta los efectos del día de la semana
• Registro: rastrear experiment_id, variant_id, user_id, timestamp para cada evento de impresión y conversión

Evitar

• Mirar los resultados antes de alcanzar el tamaño de muestra — infla la tasa de falsos positivos
• Cambiar los parámetros del experimento a mitad del proceso — invalida el análisis estadístico
• Probar demasiadas variantes a la vez — aumenta exponencialmente el tamaño de muestra requerido
• Asignación de variantes del lado del cliente sin cookies — causa parpadeo y experiencias inconsistentes