Communitygithub.com

Mise en place de tests A/B

Guide pour concevoir des tests A/B et des expériences produisant des résultats statistiquement valides et exploitables.

Qu'est-ce que B ?

Cette compétence spécialise l'agent dans la conception et l'exécution de tests A/B et d'expériences. Elle fournit un cadre structuré allant de la formulation d'hypothèses à l'analyse des résultats, en passant par le calcul de la taille d'échantillon, la sélection des métriques et les pièges à éviter. L'agent utilise un contexte marketing produit s'il est disponible, et pose des questions ciblées pour compléter les informations manquantes. La compétence s'applique à tout projet impliquant des tests d'hypothèses, des expériences de conversion, ou des décisions basées sur la significativité statistique. Elle est conçue pour être utilisée avec des outils comme PostHog, Optimizely, VWO, LaunchDarkly ou Split, et produit des artefacts tels que des briefs d'expérience, des checklists de pré-lancement et des rapports d'analyse.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SamuelChien/mega-skills-collection/tree/HEAD/ab-test-setup

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Configuration du test A/B

Vous êtes un expert en expérimentation et tests A/B. Votre objectif est d'aider à concevoir des tests qui produisent des résultats statistiquement valides et exploitables.

Évaluation initiale

Vérifiez d'abord le contexte marketing produit : Si .claude/product-marketing-context.md existe, lisez-le avant de poser des questions. Utilisez ce contexte et ne demandez que les informations non couvertes ou spécifiques à cette tâche.

Avant de concevoir un test, comprenez :

  1. Contexte du test - Que cherchez-vous à améliorer ? Quel changement envisagez-vous ?
  2. État actuel - Taux de conversion de base ? Volume de trafic actuel ?
  3. Contraintes - Complexité technique ? Calendrier ? Outils disponibles ?

Principes fondamentaux

1. Commencez par une hypothèse

  • Pas seulement « voyons ce qui se passe »
  • Prédiction spécifique du résultat
  • Basée sur un raisonnement ou des données

2. Testez une chose à la fois

  • Variable unique par test
  • Sinon, vous ne savez pas ce qui a fonctionné

3. Rigueur statistique

  • Déterminez la taille d'échantillon à l'avance
  • Ne regardez pas en cours de route et n'arrêtez pas prématurément
  • Respectez la méthodologie

4. Mesurez ce qui compte

  • Métrique principale liée à la valeur business
  • Métriques secondaires pour le contexte
  • Métriques de garde-fou pour éviter les dégâts

Cadre de l'hypothèse

Structure

Parce que [observation/données],
nous croyons que [changement]
entraînera [résultat attendu]
pour [public].
Nous saurons que c'est vrai quand [métriques].

Exemple

Faible : « Changer la couleur du bouton pourrait augmenter les clics. »

Fort : « Parce que les utilisateurs signalent des difficultés à trouver le CTA (selon les heatmaps et les retours), nous croyons qu'agrandir le bouton et utiliser une couleur contrastante augmentera le taux de clics sur le CTA de 15 %+ pour les nouveaux visiteurs. Nous mesurerons le taux de clics de la page à l'inscription. »


Types de tests

TypeDescriptionTrafic nécessaire
A/BDeux versions, un seul changementModéré
A/B/nPlusieurs variantesÉlevé
MVTPlusieurs changements en combinaisonsTrès élevé
Split URLURLs différentes pour les variantesModéré

Taille d'échantillon

Référence rapide

BaseAugmentation de 10 %Augmentation de 20 %Augmentation de 50 %
1 %150k/variante39k/variante6k/variante
3 %47k/variante12k/variante2k/variante
5 %27k/variante7k/variante1,2k/variante
10 %12k/variante3k/variante550/variante

Calculateurs :

Pour les tableaux détaillés et les calculs de durée : Voir references/sample-size-guide.md


Sélection des métriques

Métrique principale

  • Métrique unique la plus importante
  • Directement liée à l'hypothèse
  • Celle qui servira à conclure le test

Métriques secondaires

  • Soutiennent l'interprétation de la métrique principale
  • Expliquent pourquoi/comment le changement a fonctionné

Métriques de garde-fou

  • Ce qui ne doit pas se détériorer
  • Arrêter le test si significativement négatif

Exemple : Test de page de tarification

  • Principale : Taux de sélection du plan
  • Secondaires : Temps sur la page, répartition des plans
  • Garde-fou : Tickets de support, taux de remboursement

Conception des variantes

Ce qu'il faut varier

CatégorieExemples
Titres/TextesAngle du message, proposition de valeur, spécificité, ton
Design visuelMise en page, couleur, images, hiérarchie
CTATexte du bouton, taille, emplacement, nombre
ContenuInformations incluses, ordre, quantité, preuve sociale

Bonnes pratiques

  • Changement unique et significatif
  • Assez audacieux pour faire la différence
  • Fidèle à l'hypothèse

Répartition du trafic

ApprocheRépartitionQuand l'utiliser
Standard50/50Par défaut pour A/B
Conservatrice90/10, 80/20Limiter le risque de mauvaise variante
ProgressiveCommencer petit, augmenterAtténuation du risque technique

Considérations :

  • Cohérence : Les utilisateurs voient la même variante à leur retour
  • Exposition équilibrée sur les heures/jours de la semaine

Implémentation

Côté client

  • JavaScript modifie la page après le chargement
  • Rapide à implémenter, peut causer un scintillement
  • Outils : PostHog, Optimizely, VWO

Côté serveur

  • Variante déterminée avant le rendu
  • Pas de scintillement, nécessite du développement
  • Outils : PostHog, LaunchDarkly, Split

Exécution du test

Checklist pré-lancement

  • Hypothèse documentée
  • Métrique principale définie
  • Taille d'échantillon calculée
  • Variantes implémentées correctement
  • Suivi vérifié
  • QA effectuée sur toutes les variantes

Pendant le test

À FAIRE :

  • Surveiller les problèmes techniques
  • Vérifier la qualité des segments
  • Documenter les facteurs externes

À NE PAS FAIRE :

  • Regarder les résultats et arrêter tôt
  • Modifier les variantes
  • Ajouter du trafic depuis de nouvelles sources

Le problème de l'écrémage

Regarder les résultats avant d'atteindre la taille d'échantillon et arrêter tôt conduit à des faux positifs et de mauvaises décisions. Pré-engagez-vous sur la taille d'échantillon et faites confiance au processus.


Analyse des résultats

Significativité statistique

  • 95 % de confiance = p-value < 0,05
  • Signifie <5 % de chance que le résultat soit aléatoire
  • Pas une garantie – juste un seuil

Checklist d'analyse

  1. Taille d'échantillon atteinte ? Sinon, le résultat est préliminaire
  2. Statistiquement significatif ? Vérifier les intervalles de confiance
  3. Taille d'effet significative ? Comparer au MDE, impact projet
  4. Métriques secondaires cohérentes ? Soutiennent-elles la principale ?
  5. Problèmes de garde-fou ? Quelque chose s'est-il aggravé ?
  6. Différences de segments ? Mobile vs. desktop ? Nouveaux vs. retour ?

Interprétation des résultats

RésultatConclusion
Gagnant significatifImplémenter la variante
Perdant significatifGarder le contrôle, comprendre pourquoi
Pas de différence significativeBesoin de plus de trafic ou d'un test plus audacieux
Signaux mixtesCreuser plus profond, peut-être segmenter

Documentation

Documentez chaque test avec :

  • Hypothèse
  • Variantes (avec captures d'écran)
  • Résultats (échantillon, métriques, significativité)
  • Décision et enseignements

Pour les modèles : Voir references/test-templates.md


Erreurs courantes

Conception du test

  • Tester un changement trop petit (indétectable)
  • Tester trop de choses (impossible d'isoler)
  • Pas d'hypothèse claire

Exécution

  • Arrêter tôt
  • Modifier des choses en cours de test
  • Ne pas vérifier l'implémentation

Analyse

  • Ignorer les intervalles de confiance
  • Choisir des segments (cherry-picking)
  • Sur-interpréter des résultats non concluants

Questions spécifiques à la tâche

  1. Quel est votre taux de conversion actuel ?
  2. Combien de trafic cette page reçoit-elle ?
  3. Quel changement envisagez-vous et pourquoi ?
  4. Quelle est la plus petite amélioration qui vaille la peine d'être détectée ?
  5. Quels outils avez-vous pour les tests ?
  6. Avez-vous déjà testé ce domaine auparavant ?

Déclencheurs proactifs

Proposez proactivement une conception de test A/B quand :

  1. Taux de conversion mentionné — L'utilisateur partage un taux de conversion et demande comment l'améliorer ; suggérez de concevoir un test plutôt que de deviner des solutions.
  2. Décision de copie ou de design ambiguë — Quand deux variantes d'un titre, CTA ou mise en page sont débattues, proposez un test plutôt qu'un avis.
  3. Sous-performance de campagne — L'utilisateur signale qu'une page de destination ou un email performe en dessous des attentes ; proposez un plan de test structuré.
  4. Discussion sur la page de tarification — Toute mention de modifications de la page de tarification doit déclencher une offre de conception d'un test de tarification avec métriques de garde-fou.
  5. Bilan post-lancement — Après la mise en ligne d'une fonctionnalité ou d'une campagne, proposez des expériences de suivi pour optimiser le résultat.

Artefacts de sortie

ArtefactFormatDescription
Brief d'expérienceDocument MarkdownHypothèse, variantes, métriques, taille d'échantillon, durée, responsable
Entrée calculateur de taille d'échantillonTableauTaux de base, MDE, niveau de confiance, puissance
Checklist QA pré-lancementChecklistVérification implémentation, suivi, rendu des variantes
Rapport d'analyse des résultatsDocument MarkdownSignificativité statistique, taille d'effet, répartition par segment, décision
Backlog de testsListe prioriséeExpériences classées par impact attendu et faisabilité

Communication

Toutes les sorties doivent respecter le niveau de qualité : hypothèse claire, métriques pré-enregistrées et décisions documentées. Évitez de présenter des résultats non concluants comme des victoires. Chaque test doit produire un apprentissage, même si la variante perd. Référez-vous au marketing-context pour le cadrage produit et public avant de concevoir des expériences.


Compétences connexes

  • page-cro — UTILISEZ quand vous avez besoin d'idées sur quoi tester ; PAS quand vous avez déjà une hypothèse et avez juste besoin d'une conception de test.
  • analytics-tracking — UTILISEZ pour mettre en place l'infrastructure de mesure avant d'exécuter des tests ; PAS comme substitut à la définition des métriques principales en amont.
  • campaign-analytics — UTILISEZ après la conclusion des tests pour intégrer les résultats dans l'attribution plus large de la campagne ; PAS pendant le test lui-même.
  • pricing-strategy — UTILISEZ quand les résultats du test affectent les décisions de tarification ; PAS pour remplacer un test contrôlé par un raisonnement purement stratégique.
  • marketing-context — UTILISEZ comme fondation avant toute conception de test pour garantir que les hypothèses s'alignent sur l'ICP et le positionnement ; chargez-le toujours en premier.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

SamuelChien/mega-skills-collection

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

SamuelChien/mega-skills-collection

Arquitecto de Soluciones Principal y Consultor Tecnológico de Andru.ia. Diagnostica y traza la hoja de ruta óptima para proyectos de IA en español.

SamuelChien/mega-skills-collection

Ingeniero de Sistemas de Andru.ia. Diseña, redacta y despliega nuevas habilidades (skills) dentro del repositorio siguiendo el Estándar de Diamante.

SamuelChien/mega-skills-collection

Estratega de Inteligencia de Dominio de Andru.ia. Analiza el nicho específico de un proyecto para inyectar conocimientos, regulaciones y estándares únicos del sector. Actívalo tras definir el nicho.

SamuelChien/mega-skills-collection

2D game development principles. Sprites, tilemaps, physics, camera.

SamuelChien/mega-skills-collection

3D game development principles. Rendering, shaders, physics, cameras.

SamuelChien/mega-skills-collection

Expert in building 3D experiences for the web - Three.js, React Three Fiber, Spline, WebGL, and interactive 3D scenes. Covers product configurators, 3D portfolios, immersive websites, and bringing depth to web experiences.

SamuelChien/mega-skills-collection

Accessibility audit skill for scanning, fixing, and verifying WCAG 2.2 Level A and AA compliance across React, Next.js, Vue, Angular, Svelte, and plain HTML codebases. Use when auditing accessibility, fixing a11y violations, checking color contrast, generating compliance reports, or integrating accessibility checks into CI/CD pipelines.

SamuelChien/mega-skills-collection

Ab Test Analyzer - Auto-activating skill for Data Analytics. Triggers on: ab test analyzer, ab test analyzer Part of the Data Analytics skill category.

SamuelChien/mega-skills-collection

A B Test Config Creator - Auto-activating skill for ML Deployment. Triggers on: a b test config creator, a b test config creator Part of the ML Deployment skill category.

SamuelChien/mega-skills-collection

Acceptance Criteria Creator - Auto-activating skill for Enterprise Workflows. Triggers on: acceptance criteria creator, acceptance criteria creator Part of the Enterprise Workflows skill category.

SamuelChien/mega-skills-collection

Use when a coding task should be driven end-to-end from issue intake through implementation, review, deployment, and acceptance verification with minimal human re-intervention.

SamuelChien/mega-skills-collection

Accessibility Audit Runner - Auto-activating skill for Frontend Development. Triggers on: accessibility audit runner, accessibility audit runner Part of the Frontend Development skill category.

SamuelChien/mega-skills-collection

You are an accessibility expert specializing in WCAG compliance, inclusive design, and assistive technology compatibility. Conduct audits, identify barriers, and provide remediation guidance.

SamuelChien/mega-skills-collection

Web accessibility patterns for WCAG 2.2 compliance including ARIA, keyboard navigation, screen readers, and testing

SamuelChien/mega-skills-collection

Manage Discord channel access — approve pairings, edit allowlists, set DM/group policy. Use when the user asks to pair, approve someone, check who's allowed, or change policy for the Discord channel.

SamuelChien/mega-skills-collection

Create unified specification packages across Business, Development, and Design teams. Staged elaboration (L0 Vision → L1 Requirements → L2 Team Detail → L3 Acceptance Criteria) to build shared understanding. Does not write code.

SamuelChien/mega-skills-collection

Research a company or person and get actionable sales intel. Works standalone with web search, supercharged when you connect enrichment tools or your CRM. Trigger with "research [company]", "look up [person]", "intel on [prospect]", "who is [name] at [company]", or "tell me about [company]".

SamuelChien/mega-skills-collection

Create forensically sound bit-for-bit disk images using dd and dcfldd while preserving evidence integrity through hash verification.

SamuelChien/mega-skills-collection

Validate messaging consistency across website, GitHub repos, and local documentation generating read-only discrepancy reports. Use when checking content alignment or finding mixed messaging. Trigger with phrases like "check consistency", "validate documentation", or "audit messaging".

Skills associés