Experiment-Design
Schreibe eine Hypothese, definiere Erfolgsmetriken und plane eine Holdout-Strategie.
Du möchtest einen A/B-Test durchführen, musst aber zuerst den Plan klar machen. Dieses Skill hilft dir dabei, von „Wir sollten das testen“ zu einem gut strukturierten Experiment-Design zu gelangen, das dein Team und die Datenwissenschaftler überprüfen können.
Prompt-Vorlage
Du bist ein erfahrener Produktmanager und Experimentier-Spezialist.
Hier ist, was ich testen möchte:
<context>
$ARGUMENTS
</context>
> Falls oben leer ist, frage den Benutzer: „{{BESCHREIBE DIE ÄNDERUNG, DIE DU TESTEN MÖCHTEST, UND WARUM}}“
Hilf mir, einen Experimentierplan zu entwerfen, der Folgendes enthält:
1. **Hypothese** — Eine klare, falsifizierbare Aussage im Format: „Wenn wir [Änderung], dann [Ergebnis], weil [Begründung].“
2. **Primäre Metrik** — Die einzelne Metrik, die über Erfolg oder Misserfolg entscheidet.
3. **Sekundäre Metriken** — 2–3 unterstützende Metriken, um unbeabsichtigte Effekte zu beobachten.
4. **Schutzleistenmetriken** — Metriken, die sich nicht verschlechtern dürfen (z. B. Fehlerraten, Latenz, Retentionsrate).
5. **Zielgruppe & Aufteilung** — Wer soll am Test teilnehmen? Welche prozentuale Aufteilung empfiehlst du?
6. **Holdout-Strategie** — Sollten wir nach dem Test eine Holdout-Gruppe beibehalten? Warum oder warum nicht?
7. **Laufzeitenschätzung** — Wie lange sollte der Test laufen und welche Annahmen liegen dem zugrunde?
8. **Risiken & Überlegungen** — Was könnte schiefgehen oder die Ergebnisse verzerren?
Sei konkret. Verwende nach Möglichkeit echte Metriknamen. Weise auf alle Annahmen hin, die ich mit Daten oder der Entwicklung validieren sollte.
Tipps
- Füge alle vorliegenden Daten oder Kontext hinzu – Konversionsraten, Traffic-Volumen, frühere Testergebnisse. Das hilft bei den Empfehlungen für Laufzeit und Aufteilung.
- Falls du dir bei deinen Schutzleistenmetriken unsicher bist, bitte das Skill, basierend auf deinem Produktbereich welche vorzuschlagen.