Communitygithub.com

Experimentierung und A/B-Testing

Die Kausalitäts-Engine – manipuliert eine Variable unter kontrollierten Bedingungen, um zu erfahren, was wirklich einen KPI bewegt. Dieses Skill entwirft den Test und erstellt Varianten; Scheduling-and-Queue übernimmt die Veröffentlichung; Analytics-and-Reporting liest das Ergebnis aus.

Was ist B-Testing?

Dieses Skill befähigt einen KI-Agenten, rigorose Experimente für organische Social-Media-Inhalte durchzuführen. Es folgt dem strukturierten TEST-Framework (Target–Establish–Set–Tally), um kausale Zusammenhänge zu identifizieren, anstatt sich auf Bauchgefühl oder oberflächliche Vergleiche zu verlassen. Das Skill unterstützt die Entwicklung einer klaren Hypothese, das Festlegen einer Entscheidungsregel vor der Veröffentlichung und die mehrfache Wiederholung von Tests, um statistisches Rauschen von echten Signalen zu trennen. Hauptsächlich für Plattformen ohne native A/B-Tests wie WoopSocial gedacht, bereitet es Varianten für die sequenzielle Veröffentlichung vor und liest die Ergebnisse über das Analytics-and-Reporting-Skill aus. Eine wichtige Ausnahme ist der YouTube-Test & Compare, der native A/B-Tests für Titel und Thumbnails bietet. Das Skill betont Ehrlichkeit bei organischen Grenzen, verbietet p-Hacking, HARKing oder Cherry-Picking und stellt eine klare Abgrenzung zu verwandten Skills wie Analytics-and-Reporting, Goals-and-KPIs und Content-Recycling sicher.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/social-media-skills/skills/tree/main/skills/experimentation-and-ab-testing

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht B-Testing?

Die Kausalitäts-Engine — manipuliere eine Variable unter kontrollierten Bedingungen, um zu erfahren, was wirklich einen KPI bewegt. Dieses Skill entwirft den Test und erstellt Varianten; Scheduling-and-Queue → WoopSocial veröffentlicht sie; Analytics-and-Reporting liest das Ergebnis aus.

Die Sichtweise: Beweise, nicht Bauchgefühl

Die meisten „Tests“ in sozialen Medien sind Bauchgefühl — zwei Dinge posten, die Likes überfliegen, einen Gewinner ausrufen, nichts lernen. Echte Experimentierung verwandelt Vermutungen in Beweise: eine Variable ändern, alles andere kontrollieren, die Entscheidungsregel vor der Veröffentlichung festlegen und sie lang und oft genug laufen lassen, um Signal von Rauschen zu trennen. Organisch kann keine saubere statistische Signifikanz liefern (kleine Stichproben, ein Algorithmus dazwischen), also kompensiert man mit strengeren Kontrollen, einer ~20%+ Effektschwelle, Guardrail-Metriken und 3–5 Wiederholungen — und betrachtet einen einzelnen viralen Post als Rauschen, nicht als Strategie.

Diese zuerst lesen

  1. Brand-Profile — Einschränkungen zu Stimme/Format für die Varianten.
  2. Goals-and-KPIs — den KPI/die primäre Metrik, die der Test bewegen muss.

Das Framework: TEST

(Tiefe: references/the-test-framework.md.)

  • T — Target (Ziel) auf eine Variable: eine klare Hypothese; ändere EIN Element (Hook/erstes Bild/Bildunterschrift/CTA/Zeit/Format), alles andere identisch; wähle das mit der höchsten Hebelwirkung.
  • E — Establish (Festlegen) der Entscheidungsregel zuerst: setze die primäre Metrik + Gewinnschwelle + Guardrail vor der Veröffentlichung fest („B gewinnt, wenn Reichweite +15% und Saves/Reichweite nicht schlechter“); keine nachträgliche Rechtfertigung.
  • S — Set (Setzen) von Kontrollen + Stichprobe: gleiche Plattform/Format/Thema/Länge/Fenster; laufe ≥7 Tage (kleine Konten 2–4 Wochen); bewerte anhand eines ~20%+ konsistenten Effekts (ein Unentschieden = „woanders testen“).
  • T — Tally (Zählen), Repeat (Wiederholen), Scale (Skalieren): 3–5 gepaarte Wiederholungen vor einer „Best Practice“; protokolliere jeden Test; skaliere Gewinner in das Playbook (content-recycling), pensioniere den Rest.

Was zu testen ist (höchste Hebelwirkung, in Ihrer Kontrolle)

Hook/erstes Bild (Kurzvideo) → Veröffentlichungszeit (einfach) → Format → Bildunterschrift/CTA → Thumbnail → Hashtags — immer an den KPI gebunden; teste, was in Ihrer Kontrolle liegt, nicht algorithmusabhängige Faktoren. Führe einen 30-Tage-Sprint durch, bei dem immer ein Test läuft. Prioritätenliste, Entwurfsvorlage, Sprintplan, Testprotokoll + durchgearbeitete Beispiele: references/what-to-test-and-recipes.md. Vollständige Methode + Regeln: references/experimentation-2026-reality.md.

Ehrlicher Umfang (niemals verletzen)

  • Organisch ist nicht labortauglich — Ergebnisse sind richtungsweisend; kompensiere mit Kontrollen + Effektgröße + Wiederholung, nicht mit p-Wert-Theater.
  • WoopSocial hat keine A/B-/Zielgruppensplit-Oberfläche → organischer Test = kontrollierte sequenzielle Posts; der Agent entwirft + erstellt Varianten + plant ein; die primäre Metrik wird aus nativen Analysen gelesen (Analytics-and-Reporting). Ein echter nativer Split existiert: YouTube Test & Compare (YouTube Studio, Long-Form, nicht Shorts) — bis zu 3 Titel, Thumbnails oder Titel+Thumbnail-Kombinationen; nutze dies für YouTube-Titel/Thumbnail-Tests anstelle von sequenziellen Posts. (vierteljährlich überprüfen)
  • Kein p-Hacking / HARKing / Cherry-Picking — Entscheidungsregel vorab festgelegt; eine Änderung mehrerer Variablen kann nicht auf ein Element zurückgeführt werden; ein Post/ein Tag ist Rauschen. Erfinde niemals ein Ergebnis; ein Unentschieden ist gültig. (Umfang, die Rolle der Schleife + Verbindungen: references/scope-and-connections.md.)

Abgrenzung zu verwandten Skills (richtig routen)

Experimentation (dieses) = manipuliere eine Variable, um Kausalität festzustellen · Analytics-and-Reporting = beobachte/messe, was passiert ist · Goals-and-KPIs = setze das Ziel/die primäre Metrik · Content-Recycling = skaliere bewährte Gewinner · Viral-Reverse-Engineering = erkläre einen vergangenen Post (Rückschau) vs. Vorwärtstesten.

Wo dieses Skill anknüpft

Liest zuerst: Brand-Profile, Goals-and-KPIs. Varianten werden erstellt über: Hook-Writer, Caption-Writer, Reels-Script/TikTok-Script, Carousel-Writer, Image-Prompt/Ideogram/Nano-Banana, Thumbnail-Design. Auslesen: Analytics-and-Reporting (native Analysen). Skalieren/Planen: Content-Recycling, Social-Strategy, Content-Calendar/Batch-Content-Plan, jedes *-Growth-Skill. Varianten veröffentlichen: Scheduling-and-Queue → WoopSocial (kontrollierte sequenzielle Posts).

Definition of Done

Eine klare Hypothese, die EINE Variable testet, die an einen KPI gebunden ist; identischer kontrollierter Kontext; eine primäre Metrik + Gewinnschwelle + Guardrail, die vor der Veröffentlichung festgelegt wurden; Dauer ≥7 Tage (2–4 Wochen bei kleinen Konten) und 3–5 gepaarte Wiederholungen; Ergebnisse werden aus nativen Analysen gelesen und anhand eines ~20%+ konsistenten Effekts bewertet (Unentschieden werden anerkannt); Gewinner werden protokolliert und auf Content-Recycling/Strategie skaliert; organische Grenzen werden genannt, nichts wird erfunden oder p-gehackt, korrekt von Analytics-and-Reporting und Goals-and-KPIs abgegrenzt.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Verwandte Skills