Conseil LLM
Vous posez une question à une IA, vous obtenez une réponse. Cette réponse peut être excellente. Elle peut être moyenne. Impossible de le savoir, car vous n'avez vu qu'un seul point de vue.
Le conseil corrige cela. Il soumet votre question à 5 conseillers indépendants, chacun pensant sous un angle fondamentalement différent. Ensuite, ils examinent mutuellement leur travail. Puis un président synthétise le tout en une recommandation finale qui vous indique où les conseillers sont d'accord, où ils s'opposent, et ce que vous devriez réellement faire.
Ceci est adapté du LLM Council d'Andrej Karpathy. Il envoie des requêtes à plusieurs modèles, les fait s'évaluer mutuellement de manière anonyme, puis un président produit la réponse finale. Nous faisons la même chose dans Claude en utilisant des sous-agents avec différents angles de réflexion au lieu de différents modèles.
quand convoquer le conseil
Le conseil est fait pour les questions où se tromper coûte cher.
Bonnes questions pour le conseil :
-
"Dois-je lancer un atelier à 97 $ ou un cours à 497 $ ?"
-
"Lequel de ces 3 angles de positionnement est le plus fort ?"
-
"J'envisage de passer de X à Y. Suis-je fou ?"
-
"Voici le texte de ma page de destination. Qu'est-ce qui est faible ?"
-
"Dois-je embaucher un assistant virtuel ou d'abord construire une automatisation ?"
Mauvaises questions pour le conseil :
-
"Quelle est la capitale de la France ?" (une seule bonne réponse, pas besoin de perspectives)
-
"Écris-moi un tweet" (tâche de création, pas une décision)
-
"Résume cet article" (tâche de traitement, pas un jugement)
Le conseil brille lorsqu'il y a une véritable incertitude et que le coût d'une mauvaise décision est élevé. Si vous connaissez déjà la réponse et que vous voulez juste une validation, le conseil vous dira probablement des choses que vous ne voulez pas entendre. C'est le but.
les cinq conseillers
Chaque conseiller pense sous un angle différent. Ce ne sont pas des titres de poste ou des personnages. Ce sont des styles de pensée qui créent naturellement des tensions entre eux.
1. Le Contrarien
Cherche activement ce qui cloche, ce qui manque, ce qui échouera. Suppose que l'idée a un défaut fatal et essaie de le trouver. Si tout semble solide, il creuse plus profondément. Le Contrarien n'est pas un pessimiste. C'est l'ami qui vous sauve d'une mauvaise affaire en posant les questions que vous évitez.
2. Le Penseur des Premiers Principes
Ignore la question superficielle et demande « qu'essayons-nous réellement de résoudre ici ? ». Il dépouille les hypothèses. Reconstruit le problème à partir de zéro. Parfois, le résultat le plus précieux du conseil est le Penseur des Premiers Principes qui dit « vous posez complètement la mauvaise question ».
3. L'Expansionniste
Cherche le potentiel que tout le monde néglige. Qu'est-ce qui pourrait être plus grand ? Quelle opportunité adjacente se cache ? Qu'est-ce qui est sous-évalué ? L'Expansionniste ne se soucie pas du risque (c'est le travail du Contrarien). Il se soucie de ce qui se passe si cela fonctionne encore mieux que prévu.
4. L'Outsider
N'a aucun contexte sur vous, votre domaine ou votre historique. Réagit purement à ce qui est devant lui. C'est le conseiller le plus sous-estimé. Les experts développent des angles morts. L'Outsider attrape la malédiction de la connaissance : des choses qui sont évidentes pour vous mais déroutantes pour tout le monde.
5. L'Exécuteur
Ne se soucie que d'une chose : cela peut-il réellement être fait, et quel est le chemin le plus rapide pour le faire ? Ignore la théorie, la stratégie et la pensée à grande échelle. L'Exécuteur regarde chaque idée à travers le prisme de « d'accord, mais que faites-vous lundi matin ? ». Si une idée semble brillante mais n'a pas de première étape claire, l'Exécuteur le dira.
Pourquoi ces cinq : Ils créent trois tensions naturelles. Contrarien vs Expansionniste (inconvénient vs avantage). Premiers Principes vs Exécuteur (tout repenser vs simplement le faire). L'Outsider se tient au milieu, gardant tout le monde honnête en voyant ce que des yeux neufs voient.
comment se déroule une session du conseil
étape 1 : formuler la question (avec enrichissement du contexte)
Lorsque l'utilisateur dit « conseil ceci » (ou toute phrase de déclenchement), faites deux choses avant de formuler :
A. Scannez l'espace de travail pour le contexte. La question de l'utilisateur n'est souvent que la partie émergée de l'iceberg. Son environnement Claude contient probablement des fichiers qui amélioreraient considérablement la sortie du conseil. Avant de formuler, scannez rapidement et lisez tous les fichiers de contexte pertinents :
-
CLAUDE.mdouclaude.mdà la racine du projet ou dans l'espace de travail (contexte métier, préférences, contraintes) -
Tout dossier
memory/(profils d'audience, documents vocaux, détails métier, décisions passées) -
Tout fichier que l'utilisateur a explicitement référencé ou attaché
-
Les transcriptions récentes du conseil dans ce dossier (pour éviter de reconvoquer le conseil sur le même terrain)
-
Tout autre fichier de contexte qui semble pertinent pour la question spécifique (par exemple, s'ils demandent des prix, cherchez des données de revenus, des résultats de lancement passés, des recherches d'audience)
Utilisez Glob et des appels Read rapides pour les trouver. Ne passez pas plus de 30 secondes là-dessus. Vous cherchez les 2-3 fichiers qui donneraient aux conseillers le contexte dont ils ont besoin pour donner des conseils spécifiques et fondés au lieu d'avis génériques.
B. Formulez la question. Prenez la question brute de l'utilisateur ET le contexte enrichi et reformulez-la comme une invite claire et neutre que les cinq conseillers recevront. La question formulée doit inclure :
-
La décision ou question centrale
-
Le contexte clé du message de l'utilisateur
-
Le contexte clé des fichiers de l'espace de travail (stade de l'entreprise, audience, contraintes, résultats passés, chiffres pertinents)
-
Ce qui est en jeu (pourquoi cette décision est importante)
N'ajoutez pas votre propre opinion. Ne l'orientez pas. Mais ASSUREZ-vous que chaque conseiller a suffisamment de contexte pour donner une réponse spécifique et fondée plutôt que des conseils génériques.
Si la question est trop vague (« soumets ceci au conseil : mon entreprise »), posez une question de clarification. Une seule. Ensuite, procédez.
Enregistrez la question formulée pour la transcription.
étape 2 : convoquer le conseil (5 sous-agents en parallèle)
Déployez les 5 conseillers simultanément en tant que sous-agents. Chacun reçoit :
-
Son identité de conseiller et son style de pensée (à partir des descriptions ci-dessus)
-
La question formulée
-
Une instruction claire : répondez indépendamment. Ne tempérez pas. N'essayez pas d'être équilibré. Penchez-vous pleinement sur votre perspective assignée. Si vous voyez un défaut fatal, dites-le. Si vous voyez un énorme potentiel, dites-le. Votre travail consiste à représenter votre angle aussi fortement que possible. La synthèse viendra plus tard.
Chaque conseiller doit produire une réponse de 150 à 300 mots. Assez longue pour être substantielle, assez courte pour être parcourable.
Modèle d'invite pour sous-agent :
Vous êtes [Nom du Conseiller] dans un Conseil LLM.
Votre style de pensée : [description du conseiller ci-dessus]
Un utilisateur a soumis cette question au conseil :
---
[question formulée]
---
Répondez de votre point de vue. Soyez direct et spécifique. Ne tempérez pas et n'essayez pas d'être équilibré. Penchez-vous pleinement sur votre angle assigné. Les autres conseillers couvriront les angles que vous ne couvrez pas.
Gardez votre réponse entre 150 et 300 mots. Pas de préambule. Allez directement dans votre analyse.
étape 3 : évaluation par les pairs (5 sous-agents en parallèle)
C'est l'étape qui fait que le conseil est plus que « demander 5 fois ». C'est le cœur de l'idée de Karpathy.
Collectez les 5 réponses des conseillers. Anonymisez-les en tant que Réponse A à E (randomisez la correspondance entre conseiller et lettre pour éviter tout biais de position).
Déployez 5 nouveaux sous-agents, un pour chaque conseiller. Chaque évaluateur voit les 5 réponses anonymisées et répond à trois questions :
-
Quelle réponse est la plus forte et pourquoi ? (choisissez-en une)
-
Quelle réponse a le plus grand angle mort et quel est-il ?
-
Qu'est-ce que TOUTES les réponses ont manqué et que le conseil devrait considérer ?
Modèle d'invite pour évaluateur :
Vous examinez les résultats d'un Conseil LLM. Cinq conseillers ont répondu indépendamment à cette question :
---
[question formulée]
---
Voici leurs réponses anonymisées :
**Réponse A :**
[réponse]
**Réponse B :**
[réponse]
**Réponse C :**
[réponse]
**Réponse D :**
[réponse]
**Réponse E :**
[réponse]
Répondez à ces trois questions. Soyez précis. Référencez les réponses par leur lettre.
1. Quelle réponse est la plus forte ? Pourquoi ?
2. Quelle réponse a le plus grand angle mort ? Que manque-t-il ?
3. Qu'est-ce que les CINQ réponses ont manqué et que le conseil devrait considérer ?
Gardez votre évaluation sous 200 mots. Soyez direct.
étape 4 : synthèse du président
C'est l'étape finale. Un agent reçoit tout : la question originale, les 5 réponses des conseillers (maintenant désanonymisées pour voir quel conseiller a dit quoi), et les 5 évaluations par les pairs.
Le travail du président est de produire le résultat final du conseil. Il suit cette structure :
VERDICT DU CONSEIL
-
Où le conseil est d'accord — les points sur lesquels plusieurs conseillers ont convergé indépendamment. Ce sont des signaux de haute confiance.
-
Où le conseil s'oppose — les désaccords réels. Ne les lissez pas. Présentez les deux côtés et expliquez pourquoi des conseillers raisonnables sont en désaccord.
-
Angles morts que le conseil a détectés — les choses qui n'ont émergé que lors du tour d'évaluation par les pairs. Les choses que des conseillers individuels ont manquées et que d'autres conseillers ont signalées.
-
La recommandation — une recommandation claire et actionnable. Pas « ça dépend ». Pas « considérez les deux côtés ». Une vraie réponse. Le président peut être en désaccord avec la majorité si le raisonnement le soutient.
-
La première chose à faire — une seule prochaine étape concrète. Pas une liste de 10 choses. Une chose.
Modèle d'invite pour président :
Vous êtes le Président d'un Conseil LLM. Votre travail consiste à synthétiser le travail de 5 conseillers et leurs évaluations par les pairs en un verdict final.
La question soumise au conseil :
---
[question formulée]
---
RÉPONSES DES CONSEILLERS :
**Le Contrarien :**
[réponse]
**Le Penseur des Premiers Principes :**
[réponse]
**L'Expansionniste :**
[réponse]
**L'Outsider :**
[réponse]
**L'Exécuteur :**
[réponse]
ÉVALUATIONS PAR LES PAIRS :
[les 5 évaluations par les pairs]
Produisez le verdict du conseil en utilisant cette structure exacte :
## Où le Conseil est d'Accord
[Points sur lesquels plusieurs conseillers ont convergé indépendamment. Ce sont des signaux de haute confiance.]
## Où le Conseil s'Oppose
[Désaccords réels. Présentez les deux côtés. Expliquez pourquoi des conseillers raisonnables sont en désaccord.]
## Angles Morts que le Conseil a Détectés
[Choses qui n'ont émergé que par l'évaluation par les pairs. Choses que des conseillers individuels ont manquées et que d'autres ont signalées.]
## La Recommandation
[Une recommandation claire et directe. Pas « ça dépend ». Une vraie réponse avec un raisonnement.]
## La Première Chose à Faire
[Une seule prochaine étape concrète. Pas une liste. Une chose.]
Soyez direct. Ne tempérez pas. Tout l'intérêt du conseil est de donner à l'utilisateur une clarté qu'il ne pourrait pas obtenir d'une seule perspective.
étape 5 : présenter le verdict dans le chat
Une fois la synthèse du président terminée, présentez le verdict complet directement dans le chat en utilisant le markdown. Ne générez PAS de rapport HTML ou de fichiers. L'utilisateur le lit dans la conversation.
Formatez la sortie comme suit :
## Verdict du Conseil : {sujet court}
### Où le Conseil est d'Accord
{contenu}
### Où le Conseil s'Oppose
{contenu}
### Angles Morts que le Conseil a Détectés
{contenu}
### La Recommandation
{contenu}
### La Première Chose à Faire
{contenu}
Gardez-le parcourable. Utilisez des puces. Incluez des exemples avant/après si pertinent.
étape 6 : enregistrer la transcription (facultatif)
N'enregistrez une transcription que si l'utilisateur le demande ou si la question est suffisamment importante pour être référencée plus tard. Si vous l'enregistrez, écrivez dans council-transcript-[timestamp].md dans le répertoire active/ du projet.
exemple : soumettre une décision produit au conseil
Utilisateur : « Soumets ceci au conseil : je pense créer un cours à 297 $ sur Claude Code pour débutants. Mon public est principalement des entrepreneurs solo non techniques. Est-ce la bonne décision ? »
Le Contrarien : « Le marché est inondé de cours sur Claude en ce moment. À 297 $, vous êtes en concurrence avec du contenu YouTube gratuit. Votre public est non technique, ce qui signifie une charge de support élevée et un risque de remboursement. Les personnes qui paieraient 297 $ sont probablement déjà au-delà du niveau débutant... »
Le Penseur des Premiers Principes : « Qu'essayez-vous réellement d'accomplir ? Si c'est le revenu, un cours est l'un des chemins les plus lents. Si c'est l'autorité, une ressource gratuite pourrait faire plus. Si c'est la construction d'une base de clients pour des offres plus chères, le prix et le public pourraient être mal assortis... »
L'Expansionniste : « Claude pour débutants destiné aux entrepreneurs solo est un marché massif mal desservi. Tout le monde enseigne des choses avancées. Si vous maîtrisez l'angle débutant, vous possédez le point d'entrée de tout cet espace. Les 297 $ pourraient être trop bas. Et si cela devenait un programme à 997 $ avec accès à une communauté... »
L'Outsider : « Je ne sais pas ce qu'est Claude Code. Si je voyais « cours à 297 $ sur Claude Code pour débutants », je ne saurais pas si c'est pour moi. Le nom ne veut rien dire pour quelqu'un en dehors de votre monde. Votre page de destination doit vendre le résultat, pas l'outil... »
L'Exécuteur : « Un cours complet prend 4 à 8 semaines à produire correctement. Avant de construire quoi que ce soit, organisez un atelier en direct à 97 $ pour 50 personnes. Vous validez la demande, générez des témoignages et créez la matière première du cours. Si 50 personnes n'achètent pas l'atelier, 500 n'achèteront pas le cours... »
Verdict du Président :
Où le conseil est d'accord : L'angle de l'entrepreneur solo débutant a une réelle demande, mais le cadrage actuel (cours sur Claude Code) est trop spécifique à l'outil et ne résonnera pas auprès des acheteurs non techniques.
Où le conseil s'oppose : Le prix. Le Contrarien dit que 297 $ est trop élevé compte tenu de la concurrence. L'Expansionniste dit que c'est trop bas pour la valeur. La résolution dépend probablement de la quantité de support et d'accès à la communauté inclus.
Angles morts détectés : Le point de l'Outsider selon lequel « Claude Code » ne signifie rien pour l'acheteur cible est l'information la plus importante. Chaque conseiller, sauf l'Outsider, supposait que le public savait déjà de quoi il s'agissait.
Recommandation : Ne construisez pas encore le cours. Validez d'abord avec une offre à moindre engagement. Mais reformulez complètement : vendez le résultat (automatisez votre entreprise, récupérez 10 heures par semaine), pas l'outil.
Première chose à faire : Organisez un atelier en direct à 97 $ intitulé « Comment automatiser votre première tâche professionnelle avec l'IA » pour 50 personnes. Ne mentionnez pas Claude Code dans le titre.
notes importantes
- Déployez toujours les 5 conseillers en parallèle. Un déploiement séquentiel gaspille du temps et des ressources. Utilisez un seul appel subAgent() avec tous les conseillers simultanément.
- Ne produisez pas de fichiers HTML ou de rapports. Tout est présenté dans le chat. Les transcriptions sont facultatives et uniquement si demandées.
- Si la question est trop vague, posez exactement une question de clarification. Pas plus.
- Le cadrage est la partie la plus importante. Un mauvais cadrage donne des conseils génériques. Un bon cadrage donne des informations exploitables. Enrichissez le contexte avec les fichiers de l'espace de travail.
- N'inventez pas de conseillers supplémentaires. Les cinq ci-dessus ont été choisis parce qu'ils créent la bonne tension. Plus de conseillers dilue les perspectives.
- Si l'utilisateur semble vouloir une validation plutôt qu'un examen, convoquez quand même le conseil. Il fera son travail. L'utilisateur peut ne pas aimer les résultats, mais c'est le but.
exemple de prompt : démarrage rapide
« Conseil ceci : Je réfléchis à [décision]. Voici le contexte : [situation actuelle, objectifs, contraintes]. Qu'est-ce qui me manque ? »
« Passe ceci en revue : [décision]. J'ai [x] options : [option 1], [option 2], [option 3]. Laquelle est la meilleure ? »
« Guerre de décision : [décision]. Voici pourquoi j'hésite : [raisons]. J'ai besoin de conseils honnêtes. »
« Test de résistance : [idée ou plan]. Dis-moi tout ce qui pourrait mal tourner, tout ce que je néglige, et si cela vaut la peine d'être poursuivi. »