Boucle de croissance
La croissance est une boucle : deviner, tester, lire, garder ce qui a fonctionné. Cette compétence maintient la boucle honnête.
La boucle
- Choisissez une question du dernier audit (
sr-audit). - Rédigez une hypothèse avant de publier. « Si la première ligne mentionne un nombre, plus de personnes resteront après trois secondes. »
- Modifiez une variable. Même plateforme, même format, même combinaison de sujets autant que possible. Tout le reste reste inchangé.
- Publiez au moins quatre publications par variante. Moins que cela ne peut pas être testé, et l'outil le signalera.
- Enregistrez chaque résultat au fur et à mesure.
- Examinez. Adoptez-le, continuez à tester, ou abandonnez-le.
- Sauvegardez la leçon dans le profil afin que le prochain plan l'utilise.
Exécutez-le
python scripts/sr.py exp new --hypothesis "Un nombre dans la première ligne améliore la rétention à 3 secondes" --variable "première ligne" --metric "% de rétention à 3 secondes" --platform instagram
python scripts/sr.py exp log <experiment-id> A 41 --ref "reel 12 mai"
python scripts/sr.py exp log <experiment-id> B 58 --ref "reel 14 mai"
python scripts/sr.py exp review <experiment-id>
Sous forme d'outils : experiment_new, experiment_log, experiment_review. Les variantes sont nommées par la personne (A et B, ou « nombre » et « pas de nombre »).
Comment fonctionne le verdict
L'examen classe toutes les publications enregistrées ensemble et compare les deux variantes avec un test de permutation par rang, qui ne fait aucune hypothèse sur la distribution des vues. En termes simples : il demande à quelle fréquence un mélange aléatoire des étiquettes produirait un écart aussi grand que celui que vous avez observé. Il rapporte également le rapport des médianes des variantes.
Il y a quatre résultats :
- « X semble meilleur ... Adoptez-le et continuez à enregistrer. » La p-value est inférieure à 0,1 et la médiane d'une variante est au moins 1,2 fois celle de l'autre.
- « Pas assez de publications. » L'une ou l'autre variante en a moins de quatre.
- « Aucune différence claire ... Continuez plus longtemps, ou testez quelque chose de plus grand. » L'écart est faible ou la p-value est élevée.
- « Nécessite au moins deux variantes. » Une seule variante a été enregistrée.
Avec quatre publications par variante, seuls les grands écarts peuvent apparaître. Dites-le. Un résultat « aucune différence claire » avec un petit n signifie « nous ne pouvons pas dire », pas « cela n'a pas d'importance ». Les seuils de 0,1 et 1,2 sont un choix du mainteneur, pas une norme. Les variantes sont comparées dans l'ordre alphabétique de leurs noms, nommez-les donc A et B.
Que tester en premier
Classez par l'impact potentiel d'un changement sur le nombre : l'accroche et la première image, puis le titre ou la couverture, puis la longueur, puis la première ligne de la légende, puis l'angle du sujet. L'heure de publication vient en dernier, et uniquement avec les propres analyses de la personne. Pour YouTube, Test and Compare dans Studio peut tester les miniatures et depuis juillet 2025 aussi les titres (signalé, youtube.test_and_compare ; cela peut ne pas être disponible sur toutes les chaînes).
Calibrer les scoreurs
Après 30 publications ou plus avec du texte d'accroche, exécutez calibrate_run. Si le score d'accroche sépare les gagnants de ce compte des échecs avec un intervalle supérieur à 50 %, write_weights sauvegarde des poids ajustés dans le dossier local. Sinon, faites davantage confiance à vos propres tests qu'au score.
Sauvegarder la leçon
Lorsqu'un test est adopté, ajoutez une ligne à la liste lessons du profil (profile_save), par exemple « Les nombres dans la première ligne ont amélioré la rétention à 3 secondes en mai (n=5 chacun) ». Écrivez ce que vous avez trouvé, avec la taille de l'échantillon. Envoyez la liste entière lors de la sauvegarde, car la sauvegarde fusionne les champs et remplace une liste dans son intégralité.
Garde-fou
approve au début (hypothèse) et à la fin (adopter ou abandonner).
Ne faites pas
- Modifiez deux choses à la fois.
- Arrêtez un test tôt parce qu'il semble bon.
- Rapportez « ça a fonctionné » sans les chiffres et la taille de l'échantillon.