Communitygithub.com

Tests A/B

Configuration d'expériences, répartition des variantes, significativité statistique et intégration des indicateurs de fonctionnalité.

Qu'est-ce que B ?

Ce skill permet aux agents IA d'orchestrer des tests A/B robustes et fiables, du cadrage initial à l'analyse des résultats. Il établit des règles strictes pour garantir la validité statistique : affectation déterministe par hash, configuration centralisée des expériences, coupure du trafic côté serveur pour éviter le scintillement, et calcul préalable de la taille d'échantillon minimale. Compatible avec n'importe quelle plateforme de développement (Claude Code, Cursor, Codex, etc.), il s'appuie sur des méthodes éprouvées (test z pour les proportions, seuil de confiance à 95%) et des bonnes pratiques d'ingénierie comme l'isolation par couches d'expériences et l'utilisation d'indicateurs de fonctionnalité (feature flags). En évitant les pièges classiques (observation prématurée des résultats, modification des paramètres en cours de test, trop de variantes), ce skill transforme un processus complexe en une procédure standardisée et exécutable par un agent.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/YepAPI/skills/tree/HEAD/skills/ab-testing

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait B ?

Règles

  • Affectation basée sur le hachage : sélection déterministe des variantes via hash(userId + experimentId) % 100 — pas de dérive aléatoire entre sessions.
  • Configuration des variantes : stocker les expériences dans un objet de configuration { id, name, variants: [{ id, weight }], status } — ne jamais coder en dur les variantes.
  • Répartir le trafic côté serveur : assigner dans un middleware ou une route API, définir un cookie pour la cohérence — les répartitions côté client provoquent du scintillement.
  • Significativité statistique : exiger un intervalle de confiance de 95 % (p < 0,05) avant de déclarer un gagnant — utiliser le test z pour les proportions.
  • Taille d'échantillon : calculer l'échantillon minimal avant de commencer — n = (Z^2 * p * (1-p)) / E^2 où E est l'effet minimum détectable.
  • Une métrique par expérience : définir une métrique principale à l'avance (taux de conversion, taux de clics, revenu) — les métriques secondaires sont uniquement exploratoires.
  • Exclusion mutuelle : les utilisateurs d'une expérience ne doivent pas chevaucher des expériences conflictuelles — utiliser des couches d'expérience.
  • Indicateurs de fonctionnalité : envelopper le code d'expérience dans des vérifications d'indicateurs de fonctionnalité — nettoyer les variantes perdantes après la fin de l'expérience.
  • Durée : exécuter pendant au moins 1 à 2 cycles d'activité complets (7 à 14 jours minimum) pour prendre en compte les effets de jour de semaine.
  • Journalisation : enregistrer experiment_id, variant_id, user_id, timestamp pour chaque événement d'impression et de conversion.

À éviter

  • Consulter les résultats avant que la taille d'échantillon ne soit atteinte — augmente le taux de faux positifs.
  • Modifier les paramètres de l'expérience en cours d'exécution — invalide l'analyse statistique.
  • Tester trop de variantes à la fois — augmente exponentiellement la taille d'échantillon requise.
  • Attribution côté client sans cookies — provoque du scintillement et des expériences incohérentes.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

YepAPI/skills

WCAG 2.1 AA — semantic HTML, keyboard navigation, screen readers.

YepAPI/skills

CRUD generators, data tables, user management, role-based access, and bulk operations.

YepAPI/skills

Monitor what ChatGPT and Gemini say about your brand using YepAPI.

YepAPI/skills

Queue workers with BullMQ/Inngest/Trigger.dev, job retries, dead letter queues, concurrency.

YepAPI/skills

Commander.js, interactive prompts with Clack, spinners, colors, config files, exit codes, and npm publishing.

YepAPI/skills

cmdk integration, Cmd+K trigger, fuzzy search, grouped actions, keyboard navigation, and dynamic action registration.

YepAPI/skills

Content planning with trend and sentiment data from YepAPI.

YepAPI/skills

Content calendar, keyword-driven planning, and content briefs.

YepAPI/skills

Theme switching with CSS variables, system preference detection, next-themes, and persistence.

YepAPI/skills

Threaded comments, @mentions, reactions, moderation queue, optimistic UI, and cursor pagination.

YepAPI/skills

Competitive analysis between domains using YepAPI.

YepAPI/skills

Layout grids, KPI cards, data tables with sorting/filtering, sidebar navigation, and responsive breakpoints.

YepAPI/skills

Data encryption — TLS everywhere, AES-256-GCM for PII, bcrypt passwords, encrypted backups.

YepAPI/skills

Chart patterns with Recharts/Nivo/D3, responsive containers, color scales, and accessibility.

YepAPI/skills

Drizzle schema definition, push vs migrate, type-safe queries, relations, transactions, and prepared statements.

YepAPI/skills

Upload handling, resize/compress, CDN delivery, blur placeholders, and next/image patterns.

YepAPI/skills

Local business and Google Maps research using YepAPI.

YepAPI/skills

Cursor-based pagination, IntersectionObserver, virtualized lists with @tanstack/react-virtual, and scroll position restoration.

YepAPI/skills

Tenant isolation (row-level vs schema), subdomain routing, per-tenant config, and data partitioning.

YepAPI/skills

Chat UI components, streaming responses with AI SDK, context window management, and RAG patterns.

Skills associés