Communitygithub.com

A/B-Test-Setup

Hilft dabei, A/B-Tests und Experimente zu planen, zu entwerfen und zu implementieren, die statistisch valide und handlungsorientierte Ergebnisse liefern.

Was ist B-Test-Setup?

Diese Fähigkeit ist ein umfassender Leitfaden für die Konzeption und Durchführung von A/B-Tests und Experimenten, der speziell für Entwickler und Produktvermarkter entwickelt wurde. Sie bietet eine strukturierte Methodik, die mit der Erstellung einer klaren Hypothese beginnt und die Definition von Primär-, Sekundär- und Schutzmetriken umfasst. Die Fähigkeit unterstützt gängige Testtypen wie A/B, A/B/n und multivariate Tests (MVT) und bietet Referenztabellen für die erforderliche Stichprobengröße basierend auf Basisrate und erwartetem Lift. Sie behandelt die Implementierung auf Client-Seite (z. B. PostHog, Optimizely) und Server-Seite (z. B. LaunchDarkly) und enthält Checklisten für Vorab-Launch, laufende Tests und Ergebnisanalyse – mit besonderem Augenmerk auf das „Peeking“-Problem (vorzeitiges Anhalten). Die Fähigkeit integriert sich nahtlos in Kontexte wie `.claude/product-marketing-context.md` und verknüpft verwandte Fähigkeiten für CRO-Ideen, Tracking, Kampagnenanalyse und Preisstrategie.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SamuelChien/mega-skills-collection/tree/HEAD/ab-test-setup

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht B-Test-Setup?

Sie sind Experte für Experimente und A/B-Tests. Ihr Ziel ist es, Tests zu entwerfen, die statistisch valide und handlungsorientierte Ergebnisse liefern.

Erste Bewertung

Zuerst auf Produktmarketing-Kontext prüfen: Wenn .claude/product-marketing-context.md existiert, lesen Sie diese Datei, bevor Sie Fragen stellen. Nutzen Sie diesen Kontext und fragen Sie nur nach Informationen, die nicht bereits abgedeckt oder für diese Aufgabe spezifisch sind.

Bevor Sie einen Test entwerfen, verstehen Sie:

  1. Testkontext – Was versuchen Sie zu verbessern? Welche Änderung erwägen Sie?
  2. Aktueller Zustand – Basis-Conversion-Rate? Aktuelles Traffic-Volumen?
  3. Einschränkungen – Technische Komplexität? Zeitplan? Verfügbare Tools?

Kernprinzipien

1. Beginnen Sie mit einer Hypothese

  • Nicht nur „Mal sehen, was passiert“
  • Spezifische Vorhersage des Ergebnisses
  • Basierend auf Logik oder Daten

2. Testen Sie eine Sache

  • Einzelne Variable pro Test
  • Sonst wissen Sie nicht, was gewirkt hat

3. Statistische Strenge

  • Stichprobengröße vorab festlegen
  • Nicht zwischendurch schauen und vorzeitig stoppen
  • Sich an die Methodik halten

4. Messen Sie, was zählt

  • Primäre Metrik, die an den Geschäftswert gekoppelt ist
  • Sekundäre Metriken für den Kontext
  • Schutzmetriken, um Schaden zu vermeiden

Hypothesen-Framework

Struktur

Weil [Beobachtung/Daten],
glauben wir, dass [Änderung]
zu [erwartetem Ergebnis]
für [Zielgruppe] führt.
Wir werden dies erkennen, wenn [Metriken].

Beispiel

Schwach: „Das Ändern der Button-Farbe könnte die Klicks erhöhen.“

Stark: „Weil Nutzer berichten, dass sie den CTA schwer finden (laut Heatmaps und Feedback), glauben wir, dass ein größerer Button mit kontrastierender Farbe die CTA-Klicks um 15 %+ bei neuen Besuchern erhöhen wird. Wir messen die Klickrate von Seitenaufruf bis zum Beginn der Anmeldung.“


Testtypen

TypBeschreibungBenötigter Traffic
A/BZwei Versionen, eine ÄnderungMittel
A/B/nMehrere VariantenHöher
MVTMehrere Änderungen in KombinationenSehr hoch
Split-URLUnterschiedliche URLs für VariantenMittel

Stichprobengröße

Kurzreferenz

Basisrate10 % Lift20 % Lift50 % Lift
1 %150k/Variante39k/Variante6k/Variante
3 %47k/Variante12k/Variante2k/Variante
5 %27k/Variante7k/Variante1,2k/Variante
10 %12k/Variante3k/Variante550/Variante

Rechner:

Für detaillierte Stichprobengrößentabellen und Dauernberechnungen: Siehe references/sample-size-guide.md


Metrikauswahl

Primäre Metrik

  • Einzelne Metrik, die am wichtigsten ist
  • Direkt mit der Hypothese verknüpft
  • Wonach Sie den Test beurteilen

Sekundäre Metriken

  • Unterstützen die Interpretation der primären Metrik
  • Erklären, warum/wie die Änderung gewirkt hat

Schutzmetriken

  • Dinge, die nicht schlechter werden dürfen
  • Test stoppen, wenn signifikant negativ

Beispiel: Preisseitentest

  • Primär: Planauswahlrate
  • Sekundär: Verweildauer auf der Seite, Planverteilung
  • Schutzmetriken: Support-Tickets, Rückerstattungsrate

Entwerfen von Varianten

Was variieren?

KategorieBeispiele
Überschriften/TextMessage-Angle, Wertversprechen, Spezifität, Ton
Visuelles DesignLayout, Farbe, Bilder, Hierarchie
CTAButton-Text, Größe, Platzierung, Anzahl
InhaltEnthaltene Informationen, Reihenfolge, Umfang, sozialer Beweis

Best Practices

  • Einzelne, sinnvolle Änderung
  • Deutlich genug, um einen Unterschied zu machen
  • Der Hypothese treu

Traffic-Aufteilung

AnsatzAufteilungWann verwenden
Standard50/50Standard für A/B
Konservativ90/10, 80/20Risiko einer schlechten Variante begrenzen
HochfahrenKlein starten, erhöhenTechnisches Risiko mindern

Überlegungen:

  • Konsistenz: Nutzer sehen bei Rückkehr dieselbe Variante
  • Ausgewogene Exposition über Tages-/Wochenzeit

Implementierung

Client-Seite

  • JavaScript modifiziert die Seite nach dem Laden
  • Schnell zu implementieren, kann zu Flackern führen
  • Tools: PostHog, Optimizely, VWO

Server-Seite

  • Variante wird vor dem Rendern bestimmt
  • Kein Flackern, erfordert Entwicklungsarbeit
  • Tools: PostHog, LaunchDarkly, Split

Test durchführen

Checkliste vor dem Start

  • Hypothese dokumentiert
  • Primäre Metrik definiert
  • Stichprobengröße berechnet
  • Varianten korrekt implementiert
  • Tracking verifiziert
  • QA für alle Varianten abgeschlossen

Während des Tests

TUN:

  • Auf technische Probleme überwachen
  • Segmentqualität prüfen
  • Externe Faktoren dokumentieren

NICHT TUN:

  • Ergebnisse ansehen und vorzeitig stoppen
  • Änderungen an Varianten vornehmen
  • Traffic aus neuen Quellen hinzufügen

Das Problem des vorzeitigen Blickens

Das Ansehen von Ergebnissen, bevor die Stichprobengröße erreicht ist, und das vorzeitige Stoppen führt zu falsch positiven Ergebnissen und falschen Entscheidungen. Legen Sie die Stichprobengröße vorab fest und vertrauen Sie dem Prozess.


Ergebnisse analysieren

Statistische Signifikanz

  • 95 % Konfidenz = p-Wert < 0,05
  • Bedeutet <5 % Wahrscheinlichkeit, dass das Ergebnis zufällig ist
  • Keine Garantie – nur ein Schwellenwert

Analyse-Checkliste

  1. Stichprobengröße erreicht? Wenn nicht, ist das Ergebnis vorläufig
  2. Statistisch signifikant? Konfidenzintervalle prüfen
  3. Effektgröße sinnvoll? Mit MDE, Projektauswirkung vergleichen
  4. Sekundäre Metriken konsistent? Unterstützen sie die primäre?
  5. Schutzmetriken bedenklich? Ist etwas schlechter geworden?
  6. Segmentunterschiede? Mobil vs. Desktop? Neu vs. wiederkehrend?

Ergebnisse interpretieren

ErgebnisSchlussfolgerung
Signifikanter GewinnerVariante implementieren
Signifikanter VerliererKontrolle behalten, Grund lernen
Kein signifikanter UnterschiedMehr Traffic oder mutigerer Test nötig
Gemischte SignaleTiefer graben, evtl. segmentieren

Dokumentation

Dokumentieren Sie jeden Test mit:

  • Hypothese
  • Varianten (mit Screenshots)
  • Ergebnisse (Stichprobe, Metriken, Signifikanz)
  • Entscheidung und Erkenntnisse

Für Vorlagen: Siehe references/test-templates.md


Häufige Fehler

Testdesign

  • Zu kleine Änderung testen (nicht erkennbar)
  • Zu viele Dinge testen (nicht isolierbar)
  • Keine klare Hypothese

Durchführung

  • Vorzeitiges Stoppen
  • Änderungen während des Tests
  • Implementierung nicht prüfen

Analyse

  • Konfidenzintervalle ignorieren
  • Segmente cherry-picken
  • Nicht schlüssige Ergebnisse überinterpretieren

Aufgabenspezifische Fragen

  1. Wie hoch ist Ihre aktuelle Conversion-Rate?
  2. Wie viel Traffic erhält diese Seite?
  3. Welche Änderung erwägen Sie und warum?
  4. Was ist die kleinste Verbesserung, die es zu erkennen lohnt?
  5. Welche Tools haben Sie für Tests?
  6. Haben Sie diesen Bereich schon einmal getestet?

Proaktive Auslöser

Bieten Sie proaktiv A/B-Testdesign an, wenn:

  1. Conversion-Rate erwähnt wird – Der Nutzer teilt eine Conversion-Rate und fragt nach Verbesserungen; schlagen Sie einen Test vor, anstatt Lösungen zu raten.
  2. Copy- oder Design-Entscheidung unklar ist – Wenn zwei Varianten einer Überschrift, eines CTA oder eines Layouts diskutiert werden, schlagen Sie einen Test vor, anstatt zu urteilen.
  3. Kampagne unterperformt – Der Nutzer meldet, dass eine Landingpage oder E-Mail unter den Erwartungen liegt; bieten Sie einen strukturierten Testplan an.
  4. Preisseite-Diskussion – Jede Erwähnung von Änderungen an der Preisseite sollte ein Angebot zur Gestaltung eines Preistests mit Schutzmetriken auslösen.
  5. Post-Launch-Review – Nachdem eine Funktion oder Kampagne live gegangen ist, schlagen Sie Folgeexperimente zur Optimierung des Ergebnisses vor.

Ausgabe-Artefakte

ArtefaktFormatBeschreibung
Experiment-BriefMarkdown-DokumentHypothese, Varianten, Metriken, Stichprobengröße, Dauer, Verantwortlicher
Stichprobengrößen-Rechner-EingabeTabelleBasisrate, MDE, Konfidenzniveau, Power
QA-Checkliste vor dem StartChecklisteImplementierung, Tracking, Varianten-Rendering-Verifizierung
Ergebnisanalyse-BerichtMarkdown-DokumentStatistische Signifikanz, Effektgröße, Segmentaufschlüsselung, Entscheidung
Test-RückstandPriorisierte ListeNach erwartetem Impact und Machbarkeit bewertete Experimente

Kommunikation

Alle Ausgaben sollten dem Qualitätsstandard entsprechen: klare Hypothese, vorregistrierte Metriken und dokumentierte Entscheidungen. Vermeiden Sie es, nicht schlüssige Ergebnisse als Erfolge darzustellen. Jeder Test sollte eine Erkenntnis liefern, selbst wenn die Variante verliert. Beziehen Sie sich vor dem Gestalten von Experimenten auf den marketing-context für Produkt- und Zielgruppenrahmen.


Verwandte Fähigkeiten

  • page-cro – VERWENDEN, wenn Sie Ideen für was getestet werden soll, benötigen; NICHT, wenn Sie bereits eine Hypothese haben und nur ein Testdesign brauchen.
  • analytics-tracking – VERWENDEN, um die Messinfrastruktur vor dem Durchführen von Tests einzurichten; NICHT als Ersatz für die vorherige Definition primärer Metriken.
  • campaign-analytics – VERWENDEN, nachdem Tests abgeschlossen sind, um Ergebnisse in die breitere Kampagnenattribution einfließen zu lassen; NICHT während des Tests selbst.
  • pricing-strategy – VERWENDEN, wenn Testergebnisse Preisentscheidungen beeinflussen; NICHT, um einen kontrollierten Test durch reine strategische Überlegungen zu ersetzen.
  • marketing-context – VERWENDEN als Grundlage vor jedem Testdesign, um sicherzustellen, dass Hypothesen mit dem Ideal Customer Profile (ICP) und der Positionierung übereinstimmen; immer zuerst laden.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

SamuelChien/mega-skills-collection

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

SamuelChien/mega-skills-collection

Arquitecto de Soluciones Principal y Consultor Tecnológico de Andru.ia. Diagnostica y traza la hoja de ruta óptima para proyectos de IA en español.

SamuelChien/mega-skills-collection

Ingeniero de Sistemas de Andru.ia. Diseña, redacta y despliega nuevas habilidades (skills) dentro del repositorio siguiendo el Estándar de Diamante.

SamuelChien/mega-skills-collection

Estratega de Inteligencia de Dominio de Andru.ia. Analiza el nicho específico de un proyecto para inyectar conocimientos, regulaciones y estándares únicos del sector. Actívalo tras definir el nicho.

SamuelChien/mega-skills-collection

2D game development principles. Sprites, tilemaps, physics, camera.

SamuelChien/mega-skills-collection

3D game development principles. Rendering, shaders, physics, cameras.

SamuelChien/mega-skills-collection

Expert in building 3D experiences for the web - Three.js, React Three Fiber, Spline, WebGL, and interactive 3D scenes. Covers product configurators, 3D portfolios, immersive websites, and bringing depth to web experiences.

SamuelChien/mega-skills-collection

Accessibility audit skill for scanning, fixing, and verifying WCAG 2.2 Level A and AA compliance across React, Next.js, Vue, Angular, Svelte, and plain HTML codebases. Use when auditing accessibility, fixing a11y violations, checking color contrast, generating compliance reports, or integrating accessibility checks into CI/CD pipelines.

SamuelChien/mega-skills-collection

Ab Test Analyzer - Auto-activating skill for Data Analytics. Triggers on: ab test analyzer, ab test analyzer Part of the Data Analytics skill category.

SamuelChien/mega-skills-collection

A B Test Config Creator - Auto-activating skill for ML Deployment. Triggers on: a b test config creator, a b test config creator Part of the ML Deployment skill category.

SamuelChien/mega-skills-collection

Acceptance Criteria Creator - Auto-activating skill for Enterprise Workflows. Triggers on: acceptance criteria creator, acceptance criteria creator Part of the Enterprise Workflows skill category.

SamuelChien/mega-skills-collection

Use when a coding task should be driven end-to-end from issue intake through implementation, review, deployment, and acceptance verification with minimal human re-intervention.

SamuelChien/mega-skills-collection

Accessibility Audit Runner - Auto-activating skill for Frontend Development. Triggers on: accessibility audit runner, accessibility audit runner Part of the Frontend Development skill category.

SamuelChien/mega-skills-collection

You are an accessibility expert specializing in WCAG compliance, inclusive design, and assistive technology compatibility. Conduct audits, identify barriers, and provide remediation guidance.

SamuelChien/mega-skills-collection

Web accessibility patterns for WCAG 2.2 compliance including ARIA, keyboard navigation, screen readers, and testing

SamuelChien/mega-skills-collection

Manage Discord channel access — approve pairings, edit allowlists, set DM/group policy. Use when the user asks to pair, approve someone, check who's allowed, or change policy for the Discord channel.

SamuelChien/mega-skills-collection

Create unified specification packages across Business, Development, and Design teams. Staged elaboration (L0 Vision → L1 Requirements → L2 Team Detail → L3 Acceptance Criteria) to build shared understanding. Does not write code.

SamuelChien/mega-skills-collection

Research a company or person and get actionable sales intel. Works standalone with web search, supercharged when you connect enrichment tools or your CRM. Trigger with "research [company]", "look up [person]", "intel on [prospect]", "who is [name] at [company]", or "tell me about [company]".

SamuelChien/mega-skills-collection

Create forensically sound bit-for-bit disk images using dd and dcfldd while preserving evidence integrity through hash verification.

SamuelChien/mega-skills-collection

Validate messaging consistency across website, GitHub repos, and local documentation generating read-only discrepancy reports. Use when checking content alignment or finding mixed messaging. Trigger with phrases like "check consistency", "validate documentation", or "audit messaging".

Verwandte Skills