Synthèse de recherche

Une synthèse répond à une question qu'aucune source unique ne peut résoudre : ce que le corpus de preuves soutient, le degré de certitude possible, les points de désaccord entre les sources et leurs raisons, et les implications pour la décision à prendre. Une liste de résumés n'est pas une synthèse.

Les trois questions

Chaque affirmation dans le résultat doit pouvoir répondre à trois questions. L'ensemble de la méthode, et l'outil ledger.py, existent pour rendre les réponses vérifiables.

D'où cela provient-il exactement ? Un endroit nommé dans une source qui a été lue. La réponse est un localisateur.
Combien de fois distinctes cela a-t-il été observé ? Dix articles répétant une seule étude constituent une seule observation. La réponse est un nombre de lignées.
Quel degré de certitude cela nous autorise-t-il ? La structure des preuves fixe un plafond à la certitude ; le jugement ne peut que le réduire.

Règles non négociables

Ne citer que ce qui a été lu. Enregistrer comment cela a été lu (texte-intégral, résumé-seulement, citation-secondaire) ; tout ce qui est moins qu'un texte intégral ne peut pas porter une affirmation confiante.
Aucune référence, auteur, année, figure ou citation ne provient de la mémoire. Si cela ne peut être trouvé, cela n'est pas cité.
Chaque figure et citation possède un localisateur, saisi lors de la lecture.
Ce que les sources rapportent (constat), ce que cela signifie (interprétation) et ce qui devrait être fait (recommandation) sont séparés, et les deux derniers ne peuvent jamais être plus certains que les constats qui les sous-tendent.
Les preuves allant à l'encontre d'une affirmation sont enregistrées parallèlement aux preuves en sa faveur.
« Les preuves sont insuffisantes » est une réponse légitime. L'absence de preuve n'est pas une preuve d'absence.

Choisir un mode

En cas de doute, prendre le mode plus léger et le mentionner.

Mode	Quand l'utiliser	Sources	Recherche	Résultat
Rapide	Une réponse circonscrite, provenant principalement de documents fournis	environ 3 à 10	Aucune ou légère	Un briefing, souvent dans le chat (modèles/briefing-modele.md)
Standard	Une décision réelle en dépend	environ 10 à 30	Structurée, journalisée	Rapport complet (modèles/rapport-modele.md)
Systématique	La méthode doit être reproductible	Selon le protocole	Exhaustive, journalisée, comptabilisée	Rapport complet, protocole et tableaux

Deux variantes :

Données qualitatives primaires (entretiens, réponses ouvertes d'enquêtes, commentaires, tickets) : même flux de travail ; lire d'abord références/donnees-qualitatives.md.
Une synthèse existante à évaluer : allez à « Auditer la synthèse d'un autre » ci-dessous.

Flux de travail

Copier ceci dans les notes de travail et cocher au fur et à mesure. L'ordre est important : chaque étape produit ce dont la suivante a besoin, et en sauter une provoque un échec connu (références/modes-echec.md).

- [ ] 1 Cadrer       question, décision, portée, critères fixés avant la lecture
- [ ] 2 Rassembler    registre commencé ; recherches journalisées, ou corpus fourni inventorié
- [ ] 3 Évaluer       chaque source filtrée, critiquée, dotée d'une lignée
- [ ] 4 Extraire      preuves dans le registre avec localisateurs
- [ ] 5 Construire    affirmations entre les sources ; contradictions conciliées ou marquées inexpliquées
- [ ] 6 Noter         certitude au niveau ou en dessous de chaque plafond, avec une raison
- [ ] 7 Contre-vérifier  clés de voûte examinées, récits concurrents testés, affirmations révisées
- [ ] 8 Rédiger       réponse en premier, liée à la décision
- [ ] 9 Relire        feuille de travail confirmée ; `check` et `report` sans erreur ; grille réussie

1 Cadrer

Définir, en une ou deux lignes chacun : la question sous une forme qui pourrait être répondue par « non » ou « cela dépend » ; la décision qu'elle sert et qui l'utilise ; la portée (population ou contexte, période, lieu, types de sources) ; et les critères d'inclusion et d'exclusion.

Fixer les critères avant la lecture. Des critères ajustés après avoir vu les résultats sont la façon dont une synthèse en vient à confirmer ce que son auteur attendait. Si un changement est nécessaire, enregistrer le changement et la raison.

Poser au maximum deux ou trois questions à l'utilisateur, uniquement là où la réponse changerait le travail (généralement la décision, la limite de la portée, le mode). S'il préfère ne pas répondre, poursuivre et lister les hypothèses en haut du résultat.

Cadres de question, types de revue et plan de protocole : références/cadrage-et-protocole.md.

2 Rassembler

Commencer le registre. Cela fixe également la date du jour, qui ne doit pas être supposée :

python scripts/ledger.py nouveau ledger.json --question "..." --purpose "..." --mode standard --corpus recherche

--corpus est fourni, recherché ou mixte. Le registre est un seul fichier JSON contenant le protocole, chaque source considérée et chaque affirmation avec ses preuves. C'est la mémoire de travail de la synthèse : le garder sur le disque et à jour. Champs et un exemple rempli : références/registre-preuves.md et exemples/demarrage-flexible/.

Corpus fourni : donner à chaque élément un identifiant de source (S1, S2, ...) et indiquer dans le rapport que la synthèse ne couvre que ce qui a été fourni.

Recherche :

Commencer par des requêtes courtes et larges pour apprendre le vocabulaire du domaine, puis affiner.
Journaliser chaque requête dans le registre : où, requête, date, nombre de résultats.
Aller à l'original. Quand un article rapporte une étude, trouver et citer l'étude ; si elle ne peut être obtenue, citer l'article et enregistrer citation-secondaire.
Chercher délibérément les résultats nuls, les constats contraires et les éléments non publiés ou gris. Les preuves publiées surreprésentent les résultats positifs.
Suivre les listes de références en arrière et les citations en avant.
S'arrêter lorsque de nouvelles recherches renvoient principalement des sources connues, ou que le budget du mode est épuisé. Le mentionner.

Pour les travaux importants ou séparables où des sous-agents sont disponibles : références/recherche-parallele.md.

3 Évaluer

Appliquer les critères à chaque candidat. Les sources exclues restent dans le registre avec une raison.

Pour chaque source incluse, enregistrer :

une évaluation (élevée, modérée, faible, très-faible) avec les préoccupations spécifiques. Évaluer l'adéquation à cette question, pas le prestige : références/evaluation-source.md ;
une lignée (L1, L2, ...). Les sources partagent une lignée lorsqu'elles remontent à une origine unique : une étude et sa prépublication, la couverture médiatique et un suivi ; plusieurs articles sur un même ensemble de données ; des pages répétant un même rapport. La certitude dépend des lignées, pas des citations.

4 Extraire

Pour chaque source, enregistrer ce qui se rapporte à la question comme éléments de preuve : l'identifiant de la source, un localisateur, le type (citation, paraphrase, donnée) et le texte. Inclure la population et le contexte, et tout ce qui limite la portée. Paraphraser par défaut ; ne citer que les mots décisifs. Enregistrer ce que la source rapporte, pas ce qui serait commode.

5 Construire

Travailler entre les sources, jamais une source à la fois.

Choisir la méthode qui correspond à la question et aux preuves : synthèse thématique pour des preuves qualitatives ou mixtes ; synthèse narrative avec un résumé structuré des effets pour des preuves quantitatives variées ; méta-analyse uniquement lorsque les études sont suffisamment similaires pour qu'une moyenne ait un sens. références/methodes-synthese.md
Grouper les preuves par ce qu'elles disent, pas par source et pas par vocabulaire partagé.
Écrire chaque groupe comme une affirmation : une phrase qui pourrait être fausse. « Le moment du retour d'information » est un sujet. « Le retour d'information différé a surpassé le retour d'information immédiat pour les tâches de rétention mais pas pour les tâches procédurales » est une affirmation.
Attacher les preuves dans les deux sens : les éléments qui la soutiennent, et les éléments qui la contredisent.
Concilier chaque contradiction dans le champ concilie de l'élément : une différence de population, de mesure, de dose, d'horizon temporel, de comparaison, de qualité de plan expérimental ou d'intérêt. Si rien ne l'explique, écrire inexpliqué. Les contradictions non conciliées abaissent le plafond.
Ne jamais compter les études significatives contre les non significatives. Rapporter la direction, l'ampleur et la plage. Lire références/preuves-quantitatives.md avant de rapporter ou comparer un effet.
Compter honnêtement : « 9 participants sur 14 », « 3 essais sur 5 », pas « la plupart ».

Avoir autant d'affirmations que la décision le nécessite, et pas plus. Si un lecteur ne pouvait pas les garder en mémoire, le regroupement n'est pas terminé.

6 Noter

python scripts/ledger.py plafonds ledger.json

Cela affiche, pour chaque affirmation, la certitude maximale que ses preuves enregistrées peuvent porter et la contrainte qui la limite : une seule lignée, rien de fiable lu en intégralité, une contradiction non conciliée, ou une affirmation faible sous une recommandation.

Ensuite, juger. Fixer la certitude de chaque affirmation au niveau ou en dessous de son plafond, en la diminuant pour le risque de biais, l'incohérence, le caractère indirect, l'imprécision et les preuves manquantes probables, et donner une justification d'une phrase nommant ce qui l'a fixée. Formuler les affirmations pour correspondre :

Certitude	Formulation
Élevée	« X augmente Y »
Modérée	« X augmente probablement Y »
Faible	« X peut augmenter Y »
Très faible	« Il n'est pas clair si X augmente Y »

Règles, preuves qualitatives et non issues de la recherche, exemples pratiques : références/certitude.md.

7 Contre-vérifier

Essayer de briser les conclusions avant qu'un lecteur ne le fasse.

python scripts/ledger.py cles-de-voute ledger.json

Une clé de voûte est une lignée sans laquelle une affirmation ne peut pas tenir : la supprimer et l'affirmation perd ses preuves ou ne pourrait plus être notée comme indiqué. Ensuite, pour chaque affirmation dont dépend la conclusion finale :

Clé de voûte : relire chaque source clé de voûte en entier. Quoi d'autre serait vrai si elle avait raison, et cela est-il observé quelque part ?
Récit concurrent : écrire la meilleure explication alternative des mêmes preuves (hasard, sélection, confusion, mesure, causalité inverse, une source intéressée). Nommer l'observation qui distinguerait les deux, et la chercher.
Inversion : à partir du seul registre, rédiger la conclusion finale que quelqu'un s'attendant au contraire écrirait. Partout où cette ébauche est défendable, l'affirmation est exagérée.
Transfert : les preuves proviennent-elles de contextes similaires à celui de la décision concernée ? Sinon, les traiter comme indirectes et abaisser la note.
Silence : quelles preuves devraient exister si l'affirmation était vraie, et ont-elles été recherchées ?

Mettre ce qui en ressort dans le registre (nouveaux éléments contradictoires, notes modifiées, affirmations plus étroites). Ne rien trouver est un résultat acceptable lorsque c'est vrai. Lorsque des sous-agents existent, confier cette étape à un nouveau lecteur qui n'a que le registre.

8 Rédiger

Réponse en premier. Le rapport comporte sept parties (les briefings rapides peuvent omettre la méthode) :

Conclusion finale : la réponse en deux à quatre phrases, avec une formulation qui porte sa certitude.
Ce que cela signifie pour la décision : interprétations et recommandations, étiquetées, y compris « ne pas agir » et « les preuves ne peuvent pas trancher cela » lorsque c'est honnête, et ce qui changerait la conclusion.
Constatations : un sous-titre par affirmation, rédigé comme l'affirmation, avec son identifiant ([C1]), une ligne Certitude: avec la raison, les preuves et les citations ([S3, S7]), et pour qui elle s'applique.
Là où les preuves divergent, et pourquoi.
Lacunes et limites : des preuves, et de cette synthèse.
Comment cela a été fait : question, critères, recherche, comptages, évaluation, méthode.
Sources : chaque source citée par identifiant.

Être catégorique là où les preuves le permettent et simple là où ce n'est pas le cas. Héditer chaque phrase également cache la différence entre des constats solides et faibles, ce qui est ce dont le lecteur a le plus besoin.

9 Relire

python scripts/ledger.py feuille-de-travail ledger.json

La feuille de travail liste les preuves qui doivent être relues à leur localisateur : chaque figure, chaque citation et tout ce qui provient d'une clé de voûte. Ouvrir chaque source et comparer. Ensuite, enregistrer le résultat :

python scripts/ledger.py marquer ledger.json confirme C1.s1 C1.s2
python scripts/ledger.py marquer ledger.json discordance C2.s1 --note "Le tableau 3 donne 0,03, pas 0,30"

Corriger toute discordance dans le registre et le rapport avant de le confirmer. Marquer un élément comme confirmé sans le relire annule le seul contrôle qui détecte une citation erronée.

Ensuite, exécuter les vérifications, corriger ce qu'elles signalent et répéter jusqu'à ce que les deux soient propres :

python scripts/ledger.py verifier ledger.json
python scripts/ledger.py rapport rapport.md ledger.json

python scripts/ledger.py expliquer <CODE> indique pourquoi une règle existe. En dehors du mode rapide, rapport échoue tant que les preuves requises ne sont pas confirmées. Pour une annexe, python scripts/ledger.py tableaux ledger.json génère les tableaux de preuves, et tracer ledger.json C1 montre le chemin de toute affirmation jusqu'à ses sources.

Enfin, noter le brouillon par rapport à références/grille-qualite.md et corriger tout ce qui est en dessous de la note de passage.

Mise à jour d'une synthèse

Lorsque de nouvelles preuves arrivent, ajouter les sources au registre existant, définir en_date_du à la nouvelle date, extraire, et exécuter plafonds et cles-de-voute à nouveau : une nouvelle lignée peut relever un plafond, et une nouvelle contradiction peut en abaisser un. Noter ce qui a changé sous protocole.deviations, et indiquer dans le rapport quelles conclusions ont changé et pourquoi.

Auditer la synthèse d'un autre

Reconstruire sa question implicite, ses critères et sa méthode.
Vérifier ses citations par rapport aux sources, en commençant par celles sur lesquelles ses conclusions reposent. Ne pas affirmer ce qu'une source non lue « dit vraiment » ; le rapporter comme non vérifié.
Le noter avec références/grille-qualite.md et le tester avec références/modes-echec.md.
Rapporter le verdict en premier, puis ce qui tient, ce qui n'est pas étayé, et les modifications spécifiques qui le corrigeraient, par ordre d'importance.

Fichiers de référence

Fichier	À lire quand
références/cadrage-et-protocole.md	Cadrer la question, choisir un type de revue, rédiger un protocole
références/evaluation-source.md	Évaluer une source ou attribuer des lignées
références/registre-preuves.md	Éditer ou consulter le registre
références/methodes-synthese.md	Choisir une méthode de synthèse
références/preuves-quantitatives.md	Manipuler des données quantitatives
références/certitude.md	Noter la certitude
références/modes-echec.md	Suspecter une erreur
références/grille-qualite.md	Vérifier la qualité finale
références/donnees-qualitatives.md	Travailler avec des données qualitatives
références/recherche-parallele.md	Paralléliser la recherche

mleswell-ai/research-synthesis

Qu'est-ce que research-synthesis ?

Demander à votre IA préférée

Documentation