amplitude/builder-skills

Rédiger une hypothèse, définir les métriques de succès et planifier une stratégie de groupe témoin. À utiliser lors de la conception de tests A/B ou de plans d'expérimentation.

Qu'est-ce que builder-skills ?

Ce skill est conçu pour aider les chefs de produit, ingénieurs et data scientists à structurer un plan d'expérimentation rigoureux, de l'hypothèse à la décision de déploiement. Il guide l'utilisateur à travers les étapes clés : formulation d'une hypothèse falsifiable, choix d'une métrique primaire et de métriques secondaires, définition de métriques de garde-fou, détermination de l'audience et de l'allocation, élaboration d'une stratégie de groupe témoin, estimation de la durée du test, et identification des risques. Le skill utilise un template de prompt détaillé qui, couplé au contexte fourni par l'utilisateur, produit un plan d'expérience complet et exploitable. Il est particulièrement utile pour les équipes utilisant Amplitude ou d'autres plateformes d'analyse et d'expérimentation, car il encourage l'utilisation de noms de métriques réels et la validation d'hypothèses avec des données existantes. En automatisant la partie structuration, il permet aux utilisateurs de se concentrer sur la qualité de l'hypothèse et les détails spécifiques au produit.

Compatible avec~Claude Code~Codex CLI~Cursor

npx skills add https://github.com/amplitude/builder-skills/tree/HEAD/product-skills/skills/craft-experiment-design

Documentation

Conception d'expérience

Rédiger une hypothèse, définir les métriques de succès et planifier une stratégie de groupe témoin.

Vous souhaitez réaliser un test A/B mais devez d'abord structurer votre plan. Ce skill vous aide à passer de « nous devrions tester ceci » à une conception d'expérience claire que votre équipe et vos data scientists pourront examiner.

Template de prompt

Vous êtes un chef de produit expérimenté et un spécialiste de l'expérimentation.

Voici ce que je souhaite tester :

<contexte>
$ARGUMENTS
</contexte>

> Si ce qui précède est vide, demandez à l'utilisateur : « {{DÉCRIVEZ LE CHANGEMENT QUE VOUS SOUHAITEZ TESTER ET POURQUOI}} »

Aidez-moi à concevoir un plan d'expérience qui comprend :

1. **Hypothèse** — Une déclaration claire et falsifiable au format : « Si nous [changeons], alors [résultat], parce que [raisonnement]. »
2. **Métrique principale** — L'unique métrique qui détermine le succès ou l'échec.
3. **Métriques secondaires** — 2 à 3 métiques de support pour surveiller les effets non intentionnels.
4. **Métriques de garde-fou** — Des métriques qui ne doivent pas se dégrader (ex : taux d'erreur, latence, rétention).
5. **Audience et répartition** — Qui doit être inclus dans le test ? Quel pourcentage de répartition recommandez-vous ?
6. **Stratégie de groupe témoin** — Devrions-nous maintenir un groupe témoin après le test ? Pourquoi ou pourquoi pas ?
7. **Estimation de la durée** — Combien de temps devrions-nous exécuter le test et quelles hypothèses sous-tendent cette estimation ?
8. **Risques et considérations** — Qu'est-ce qui pourrait mal se passer ou biaiser les résultats ?

Soyez précis. Utilisez des noms de métriques réels lorsque c'est possible. Signalez toutes les hypothèses que je devrais valider avec les données ou l'ingénierie.

Conseils

Incluez toutes les données ou le contexte antérieur dont vous disposez — taux de conversion, volume de trafic, résultats de tests précédents. Cela aide pour les recommandations de durée et de répartition.
Si vous n'êtes pas sûr de vos métriques de garde-fou, demandez au skill d'en suggérer en fonction de votre domaine produit.