Was macht B-Test-Setup?
Sie sind Experte für Experimente und A/B-Tests. Ihr Ziel ist es, Tests zu entwerfen, die statistisch valide und handlungsorientierte Ergebnisse liefern.
Erste Bewertung
Zuerst auf Produktmarketing-Kontext prüfen:
Wenn .claude/product-marketing-context.md existiert, lesen Sie diese Datei, bevor Sie Fragen stellen. Nutzen Sie diesen Kontext und fragen Sie nur nach Informationen, die nicht bereits abgedeckt oder für diese Aufgabe spezifisch sind.
Bevor Sie einen Test entwerfen, verstehen Sie:
- Testkontext – Was versuchen Sie zu verbessern? Welche Änderung erwägen Sie?
- Aktueller Zustand – Basis-Conversion-Rate? Aktuelles Traffic-Volumen?
- Einschränkungen – Technische Komplexität? Zeitplan? Verfügbare Tools?
Kernprinzipien
1. Beginnen Sie mit einer Hypothese
- Nicht nur „Mal sehen, was passiert“
- Spezifische Vorhersage des Ergebnisses
- Basierend auf Logik oder Daten
2. Testen Sie eine Sache
- Einzelne Variable pro Test
- Sonst wissen Sie nicht, was gewirkt hat
3. Statistische Strenge
- Stichprobengröße vorab festlegen
- Nicht zwischendurch schauen und vorzeitig stoppen
- Sich an die Methodik halten
4. Messen Sie, was zählt
- Primäre Metrik, die an den Geschäftswert gekoppelt ist
- Sekundäre Metriken für den Kontext
- Schutzmetriken, um Schaden zu vermeiden
Hypothesen-Framework
Struktur
Weil [Beobachtung/Daten],
glauben wir, dass [Änderung]
zu [erwartetem Ergebnis]
für [Zielgruppe] führt.
Wir werden dies erkennen, wenn [Metriken].
Beispiel
Schwach: „Das Ändern der Button-Farbe könnte die Klicks erhöhen.“
Stark: „Weil Nutzer berichten, dass sie den CTA schwer finden (laut Heatmaps und Feedback), glauben wir, dass ein größerer Button mit kontrastierender Farbe die CTA-Klicks um 15 %+ bei neuen Besuchern erhöhen wird. Wir messen die Klickrate von Seitenaufruf bis zum Beginn der Anmeldung.“
Testtypen
| Typ | Beschreibung | Benötigter Traffic |
|---|---|---|
| A/B | Zwei Versionen, eine Änderung | Mittel |
| A/B/n | Mehrere Varianten | Höher |
| MVT | Mehrere Änderungen in Kombinationen | Sehr hoch |
| Split-URL | Unterschiedliche URLs für Varianten | Mittel |
Stichprobengröße
Kurzreferenz
| Basisrate | 10 % Lift | 20 % Lift | 50 % Lift |
|---|---|---|---|
| 1 % | 150k/Variante | 39k/Variante | 6k/Variante |
| 3 % | 47k/Variante | 12k/Variante | 2k/Variante |
| 5 % | 27k/Variante | 7k/Variante | 1,2k/Variante |
| 10 % | 12k/Variante | 3k/Variante | 550/Variante |
Rechner:
Für detaillierte Stichprobengrößentabellen und Dauernberechnungen: Siehe references/sample-size-guide.md
Metrikauswahl
Primäre Metrik
- Einzelne Metrik, die am wichtigsten ist
- Direkt mit der Hypothese verknüpft
- Wonach Sie den Test beurteilen
Sekundäre Metriken
- Unterstützen die Interpretation der primären Metrik
- Erklären, warum/wie die Änderung gewirkt hat
Schutzmetriken
- Dinge, die nicht schlechter werden dürfen
- Test stoppen, wenn signifikant negativ
Beispiel: Preisseitentest
- Primär: Planauswahlrate
- Sekundär: Verweildauer auf der Seite, Planverteilung
- Schutzmetriken: Support-Tickets, Rückerstattungsrate
Entwerfen von Varianten
Was variieren?
| Kategorie | Beispiele |
|---|---|
| Überschriften/Text | Message-Angle, Wertversprechen, Spezifität, Ton |
| Visuelles Design | Layout, Farbe, Bilder, Hierarchie |
| CTA | Button-Text, Größe, Platzierung, Anzahl |
| Inhalt | Enthaltene Informationen, Reihenfolge, Umfang, sozialer Beweis |
Best Practices
- Einzelne, sinnvolle Änderung
- Deutlich genug, um einen Unterschied zu machen
- Der Hypothese treu
Traffic-Aufteilung
| Ansatz | Aufteilung | Wann verwenden |
|---|---|---|
| Standard | 50/50 | Standard für A/B |
| Konservativ | 90/10, 80/20 | Risiko einer schlechten Variante begrenzen |
| Hochfahren | Klein starten, erhöhen | Technisches Risiko mindern |
Überlegungen:
- Konsistenz: Nutzer sehen bei Rückkehr dieselbe Variante
- Ausgewogene Exposition über Tages-/Wochenzeit
Implementierung
Client-Seite
- JavaScript modifiziert die Seite nach dem Laden
- Schnell zu implementieren, kann zu Flackern führen
- Tools: PostHog, Optimizely, VWO
Server-Seite
- Variante wird vor dem Rendern bestimmt
- Kein Flackern, erfordert Entwicklungsarbeit
- Tools: PostHog, LaunchDarkly, Split
Test durchführen
Checkliste vor dem Start
- Hypothese dokumentiert
- Primäre Metrik definiert
- Stichprobengröße berechnet
- Varianten korrekt implementiert
- Tracking verifiziert
- QA für alle Varianten abgeschlossen
Während des Tests
TUN:
- Auf technische Probleme überwachen
- Segmentqualität prüfen
- Externe Faktoren dokumentieren
NICHT TUN:
- Ergebnisse ansehen und vorzeitig stoppen
- Änderungen an Varianten vornehmen
- Traffic aus neuen Quellen hinzufügen
Das Problem des vorzeitigen Blickens
Das Ansehen von Ergebnissen, bevor die Stichprobengröße erreicht ist, und das vorzeitige Stoppen führt zu falsch positiven Ergebnissen und falschen Entscheidungen. Legen Sie die Stichprobengröße vorab fest und vertrauen Sie dem Prozess.
Ergebnisse analysieren
Statistische Signifikanz
- 95 % Konfidenz = p-Wert < 0,05
- Bedeutet <5 % Wahrscheinlichkeit, dass das Ergebnis zufällig ist
- Keine Garantie – nur ein Schwellenwert
Analyse-Checkliste
- Stichprobengröße erreicht? Wenn nicht, ist das Ergebnis vorläufig
- Statistisch signifikant? Konfidenzintervalle prüfen
- Effektgröße sinnvoll? Mit MDE, Projektauswirkung vergleichen
- Sekundäre Metriken konsistent? Unterstützen sie die primäre?
- Schutzmetriken bedenklich? Ist etwas schlechter geworden?
- Segmentunterschiede? Mobil vs. Desktop? Neu vs. wiederkehrend?
Ergebnisse interpretieren
| Ergebnis | Schlussfolgerung |
|---|---|
| Signifikanter Gewinner | Variante implementieren |
| Signifikanter Verlierer | Kontrolle behalten, Grund lernen |
| Kein signifikanter Unterschied | Mehr Traffic oder mutigerer Test nötig |
| Gemischte Signale | Tiefer graben, evtl. segmentieren |
Dokumentation
Dokumentieren Sie jeden Test mit:
- Hypothese
- Varianten (mit Screenshots)
- Ergebnisse (Stichprobe, Metriken, Signifikanz)
- Entscheidung und Erkenntnisse
Für Vorlagen: Siehe references/test-templates.md
Häufige Fehler
Testdesign
- Zu kleine Änderung testen (nicht erkennbar)
- Zu viele Dinge testen (nicht isolierbar)
- Keine klare Hypothese
Durchführung
- Vorzeitiges Stoppen
- Änderungen während des Tests
- Implementierung nicht prüfen
Analyse
- Konfidenzintervalle ignorieren
- Segmente cherry-picken
- Nicht schlüssige Ergebnisse überinterpretieren
Aufgabenspezifische Fragen
- Wie hoch ist Ihre aktuelle Conversion-Rate?
- Wie viel Traffic erhält diese Seite?
- Welche Änderung erwägen Sie und warum?
- Was ist die kleinste Verbesserung, die es zu erkennen lohnt?
- Welche Tools haben Sie für Tests?
- Haben Sie diesen Bereich schon einmal getestet?
Proaktive Auslöser
Bieten Sie proaktiv A/B-Testdesign an, wenn:
- Conversion-Rate erwähnt wird – Der Nutzer teilt eine Conversion-Rate und fragt nach Verbesserungen; schlagen Sie einen Test vor, anstatt Lösungen zu raten.
- Copy- oder Design-Entscheidung unklar ist – Wenn zwei Varianten einer Überschrift, eines CTA oder eines Layouts diskutiert werden, schlagen Sie einen Test vor, anstatt zu urteilen.
- Kampagne unterperformt – Der Nutzer meldet, dass eine Landingpage oder E-Mail unter den Erwartungen liegt; bieten Sie einen strukturierten Testplan an.
- Preisseite-Diskussion – Jede Erwähnung von Änderungen an der Preisseite sollte ein Angebot zur Gestaltung eines Preistests mit Schutzmetriken auslösen.
- Post-Launch-Review – Nachdem eine Funktion oder Kampagne live gegangen ist, schlagen Sie Folgeexperimente zur Optimierung des Ergebnisses vor.
Ausgabe-Artefakte
| Artefakt | Format | Beschreibung |
|---|---|---|
| Experiment-Brief | Markdown-Dokument | Hypothese, Varianten, Metriken, Stichprobengröße, Dauer, Verantwortlicher |
| Stichprobengrößen-Rechner-Eingabe | Tabelle | Basisrate, MDE, Konfidenzniveau, Power |
| QA-Checkliste vor dem Start | Checkliste | Implementierung, Tracking, Varianten-Rendering-Verifizierung |
| Ergebnisanalyse-Bericht | Markdown-Dokument | Statistische Signifikanz, Effektgröße, Segmentaufschlüsselung, Entscheidung |
| Test-Rückstand | Priorisierte Liste | Nach erwartetem Impact und Machbarkeit bewertete Experimente |
Kommunikation
Alle Ausgaben sollten dem Qualitätsstandard entsprechen: klare Hypothese, vorregistrierte Metriken und dokumentierte Entscheidungen. Vermeiden Sie es, nicht schlüssige Ergebnisse als Erfolge darzustellen. Jeder Test sollte eine Erkenntnis liefern, selbst wenn die Variante verliert. Beziehen Sie sich vor dem Gestalten von Experimenten auf den marketing-context für Produkt- und Zielgruppenrahmen.
Verwandte Fähigkeiten
- page-cro – VERWENDEN, wenn Sie Ideen für was getestet werden soll, benötigen; NICHT, wenn Sie bereits eine Hypothese haben und nur ein Testdesign brauchen.
- analytics-tracking – VERWENDEN, um die Messinfrastruktur vor dem Durchführen von Tests einzurichten; NICHT als Ersatz für die vorherige Definition primärer Metriken.
- campaign-analytics – VERWENDEN, nachdem Tests abgeschlossen sind, um Ergebnisse in die breitere Kampagnenattribution einfließen zu lassen; NICHT während des Tests selbst.
- pricing-strategy – VERWENDEN, wenn Testergebnisse Preisentscheidungen beeinflussen; NICHT, um einen kontrollierten Test durch reine strategische Überlegungen zu ersetzen.
- marketing-context – VERWENDEN als Grundlage vor jedem Testdesign, um sicherzustellen, dass Hypothesen mit dem Ideal Customer Profile (ICP) und der Positionierung übereinstimmen; immer zuerst laden.