A/B-Testing

Was macht B-Testing?

Regeln

• Hash-basierte Zuweisung: Deterministische Variantenauswahl mittels hash(userId + experimentId) % 100 – keine zufällige Drift zwischen Sitzungen.
• Variantenkonfiguration: Experimente in einem Konfigurationsobjekt speichern { id, name, variants: [{ id, weight }], status } – Varianten niemals hartcodieren.
• Traffic serverseitig aufteilen: Variante in Middleware oder API-Route zuweisen, Cookie für Konsistenz setzen – clientseitige Aufteilung verursacht Flackern.
• Statistische Signifikanz: 95 % Konfidenz (p < 0,05) erforderlich, bevor ein Gewinner festgelegt wird – z-Test für Anteile verwenden.
• Stichprobengröße: Minimale Stichprobe vor Beginn berechnen – n = (Z² * p * (1-p)) / E², wobei E der minimal erkennbare Effekt ist.
• Eine Metrik pro Experiment: Primäre Metrik vorab festlegen (Konversionsrate, Klickrate, Umsatz) – sekundäre Metriken sind nur explorativ.
• Gegenseitige Ausschließlichkeit: Nutzer in einem Experiment dürfen nicht mit widersprüchlichen Experimenten überlappen – Experimentebenen (Layers) verwenden.
• Feature-Flags: Experiment-Code in Feature-Flag-Prüfungen einwickeln – verlierende Varianten nach Abschluss des Experiments aufräumen.
• Laufzeit: Mindestens 1–2 vollständige Geschäftszyklen laufen lassen (7–14 Tage Minimum), um Wochentagseffekte zu berücksichtigen.
• Protokollierung: experiment_id, variant_id, user_id, timestamp bei jedem Impressions- und Konversionsereignis erfassen.

Vermeiden

• Vor Erreichen der Stichprobengröße auf Ergebnisse schielen – erhöht die Fehlerquote 1. Art.
• Experimentparameter während des Laufs ändern – macht die statistische Analyse ungültig.
• Zu viele Varianten gleichzeitig testen – erhöht die erforderliche Stichprobengröße exponentiell.
• Clientseitige Variantenzuweisung ohne Cookies – verursacht Flackern und inkonsistente Erlebnisse.