Évaluation de Grand Travail (Great Work Evaluation)

Évaluation de Grand Travail

Donnez à un auteur un retour d'information spécifique et honnête sur une proposition, mesuré par rapport à l'essai de Paul Graham How to Do Great Work (https://paulgraham.com/greatwork.html). Sa définition opérationnelle : un grand travail signifie faire quelque chose d'important si bien que vous élargissez les idées des gens sur ce qui est possible. L'essai couvre la recherche, les produits et les start-up, et cette compétence fait de même.

Ce que cette compétence décide et ne décide pas

Une proposition est jugée sur huit dimensions en deux groupes.

• Les trois questions de l'auteur appartiennent à l'auteur et à son conseiller. Elles portent sur la portée et l'ambition, la curiosité, et « pourquoi vous ». Elles demandent si la direction et la personne valent la peine d'être soutenues. Un document les montre rarement, donc l'auteur répond à chacune en une ou deux phrases dans une courte note, soumise séparément du document. Les trois forment une hiérarchie : chacune n'importe que si la précédente tient, un échec clair à n'importe quel niveau arrête le projet, et au moins une doit se démarquer. Cette décision est prise par l'auteur avec son conseiller. Ne notez pas ces trois questions et ne donnez pas de verdict global go / no-go.
• Les cinq dimensions de retour d'information sont les vôtres. Elles sont : vrai et nouveau ; honnêteté et rigueur ; généralité ; la question ; le premier pas et la valeur de l'échec. Notez chacune et donnez un retour sur lequel l'auteur peut agir.

Vous factcheckez également les trois réponses de l'auteur. Vous lisez l'intégralité du document et recherchez dans la littérature, afin de pouvoir voir des choses que l'auteur ne peut pas voir, comme un article publié le mois dernier qui fait déjà la même chose. Rapportez ce que vous trouvez et laissez le jugement aux personnes.

Le lecteur est l'auteur, et souvent son conseiller. Écrivez pour quelqu'un qui veut savoir quoi faire ensuite. Donnez des jugements clairs avec des preuves. Les formulations polies et équilibrées n'aident personne.

Entrées

• Le document à évaluer. Il peut s'agir d'une proposition, d'un rapport d'expérience ou d'un brouillon d'article, et il est autonome. Il peut arriver sous forme de chemin de fichier, de texte collé ou de lien. Lisez-le en entier, y compris les tableaux, les sections de configuration et les annexes. Les défauts se trouvent souvent dans la configuration. Cette compétence l'appelle « la proposition », quelle que soit sa forme.
• Les réponses de l'auteur aux trois questions, si fournies : un paragraphe sur le projet, puis les réponses sur la portée et l'ambition, la curiosité, et pourquoi vous. Elles sont généralement soumises séparément, comme un deuxième fichier ou comme texte dans la demande, et peuvent également se trouver en haut du document. Elles sont facultatives. Si elles ne sont pas fournies, évaluez le document comme d'habitude, sautez le factcheck, et mentionnez que l'auteur peut les soumettre.
• Matériel de référence, si l'utilisateur en fournit. Traitez-le comme un point de comparaison pour vous, et non comme une liste que la proposition aurait dû citer.

Avant la notation : trois étapes de préparation

Ces étapes déterminent la qualité de tout ce qui suit. La plupart des découvertes utiles en proviennent.

1. Reformulez l'idée centrale en une phrase simple

Supprimez chaque acronyme et terme à la mode et dites ce que la proposition affirme réellement. Les nouveaux noms donnent l'impression que les vieilles idées sont nouvelles. Une fois les noms supprimés, vous pouvez voir ce qu'est l'idée et vous pouvez la rechercher.

2. Trouvez vous-même les travaux existants les plus proches

Ne vous fiez pas à la liste de références de la proposition. Les auteurs ont tendance à citer les deux dernières années d'un sujet chaud. Recherchez avec votre reformulation en phrase simple et cherchez deux choses en particulier :

• L'ancêtre le plus ancien de l'idée. Il peut avoir dix ou vingt ans, être dans un autre sous-domaine, sous un autre nom.
• D'autres équipes (ou entreprises) faisant la même chose maintenant, et à quel point elles sont en avance.

Listez les 3 à 5 éléments les plus proches. Pour chacun, dites en une phrase ce que la proposition ajoute ou manque par rapport à lui. « Rien » est une réponse valide et courante. Donnez la date de chaque élément et indiquez s'il est antérieur ou postérieur à la rédaction de la proposition.

Les travaux existants ne sont utilisés que pour la comparaison. Ce qui importe, c'est de savoir si l'idée est vraie et nouvelle par rapport à ce qui existe, et non si la liste de références est complète. Une citation manquante n'est pas une faute en soi. Si un travail antérieur couvre déjà l'idée centrale, le problème est « l'idée n'est pas nouvelle », pas « vous ne l'avez pas cité ».

Indiquez dans quelle mesure vous avez vérifié chaque élément : lu l'article, lu uniquement le résumé ou un extrait de recherche, ou rappelé de mémoire sans vérification. Si vous ne pouvez pas rechercher, dites clairement que la liste provient de la mémoire et n'est pas vérifiée. Ne sous-entendez jamais une vérification que vous n'avez pas effectuée.

Vérifiez les propres citations de la proposition et classez-les en trois listes : introuvables ; trouvables mais le contenu ne correspond pas à la description de la proposition (le type le plus grave) ; trouvables et cohérentes. Listez les termes inventés et les acronymes qui n'ont pas de source. Signalez les chiffres rapportés par le fournisseur que personne n'a reproduits. S'il y a trop de citations à vérifier, vérifiez celles qui portent les affirmations centrales et marquez le reste comme « non vérifié ».

Gardez le nom de l'auteur, son institution et d'autres détails personnels hors des requêtes de recherche. Recherchez uniquement sur les idées techniques.

3. Trouvez la baseline simple la plus forte

Demandez-vous : dans le propre contexte de la proposition, existe-t-il une réponse qui ne nécessite aucune nouvelle méthode du tout ? Si oui, la méthode proposée doit la surpasser avant de signifier quoi que ce soit. Quatre vérifications concrètes :

• L'information que la méthode utilise déjà (les étiquettes, par exemple) rend-elle la quantité cible directement calculable ?
• Les exemples de succès montrent-ils réellement ce que la proposition dit qu'ils montrent ? Une proposition peut prétendre trouver des cas difficiles alors que son exemple vedette est un cas facile.
• L'aléatoire dans une expérience provient-il d'une distribution déjà connue ? Si oui, le résultat peut être calculé exactement et l'échantillonnage n'ajoute que du bruit.
• Un agent de codage tel que Claude Code ou Codex pourrait-il faire cela s'il était simplement invité à le faire ? Décrivez ce qu'il essaierait et jusqu'où il irait probablement. Si la réponse est « la plupart, en un jour », c'est la baseline, et la proposition doit dire ce qui reste difficile après cela. Jugez cela à partir de la proposition ; n'effectuez pas la tentative vous-même. Recommandez à l'auteur de l'exécuter d'abord et de rapporter le résultat.

Si la proposition contient des chiffres, recalculez les clés. Si elle n'a pas de chiffres expérimentaux propres, vérifiez trois choses à la place : si les chiffres cités sont exacts ; si ses propres estimations (coût, latence, temps) sont cohérentes en interne ; et si l'ensemble d'évaluation prévu est suffisamment grand pour séparer le gain attendu du bruit.

Pour une proposition de produit ou de start-up, les trois mêmes étapes s'appliquent : les « travaux existants les plus proches » incluent les produits et les entreprises, et la « baseline simple » est ce que les utilisateurs font aujourd'hui sans le produit.

Les cinq dimensions

Notez chaque dimension sur trois niveaux et citez des preuves du texte de la proposition elle-même.

• −1 — un problème qui doit être corrigé. Associez chaque −1 à une suggestion spécifique.
• 0 — pas de défaut grave et pas de point fort. Le niveau d'un article compétent et ordinaire.
• +1 — bien fait même selon le standard des meilleurs travaux. Dites ce qui est bon.

La plupart des dimensions de la plupart des propositions sont à 0. Donnez −1 ou +1 uniquement avec des preuves concrètes. Si le texte ne fournit aucune base de jugement, écrivez « preuves insuffisantes » et ne devinez pas.

Une proposition écrite avant toute expérience ne peut pas encore montrer que ses affirmations tiennent. Notez cela comme « preuves insuffisantes », pas −1, et dites quelle expérience la réglerait. L'absence de preuves est normale à ce stade. Réservez −1 pour les choses qui sont fausses sur la page : une idée centrale déjà couverte par des travaux existants, des estimations qui se contredisent, une source décrite de manière incorrecte, ou une conclusion présentée comme établie alors que rien ne la soutient.

Référez-vous aux dimensions par leur nom, jamais par leur numéro. Les sections de votre résultat sont numérotées, et les numéros de dimensions seraient confondus avec elles.

Une dimension obtient un seul score même lorsqu'elle couvre plusieurs choses. Lorsque les parties diffèrent, dites-le dans la raison. Par exemple, sous « vrai et nouveau », indiquez séparément si l'idée est nouvelle et si les affirmations tiennent, car les correctifs sont différents.

Ces scores sont un retour d'information. Ils ne sont ni additionnés ni moyennés, et ils ne constituent pas un verdict global.

Vrai et nouveau

Comparez l'idée centrale avec le travail que vous avez trouvé. Comparez l'idée elle-même, indépendamment de ce que la proposition cite.

• L'écart est-il réel ? Personne n'a-t-il fait cela, ou quelqu'un l'a-t-il fait ? L'auteur peut-il dire précisément ce que tout le monde néglige ? Sinon, l'affirmation se réduit à « ils ne comprennent pas ».
• Nouveau. Qu'est-ce qui est exactement nouveau par rapport aux travaux les plus proches : une nouvelle question ou un nouveau point de vue, ou un changement d'ensemble de données, de modalité ou d'un module ?
• Vrai. L'affirmation centrale tient-elle ? Vérifiez si la configuration rend le problème trivial, si les preuves soutiennent la conclusion, si l'évaluation peut séparer le succès du bruit, et si la méthode bat la baseline simple la plus forte de l'étape 3. S'il n'y a pas encore d'expériences, cette partie est « preuves insuffisantes ».
• Le test de Graham : une bonne idée a tendance à sembler à la fois nouvelle et évidente. Méfiez-vous d'une idée qui semble seulement nouvelle parce qu'elle est compliquée.

Honnêteté et rigueur

Graham doute qu'un grand travail soit possible sans honnêteté intellectuelle, car il n'y a pas de marge pour l'auto-tromperie.

• Les résultats défavorables, les limites et les cas d'échec sont-ils rapportés ?
• Les conclusions correspondent-elles aux preuves ? Lisez les affirmations principales dans le titre et le résumé, pas seulement le corps.
• La proposition dit-elle quel résultat prouverait qu'elle a tort ?
• L'auteur est-il plus strict que les autres : suit-il les choses qui semblent légèrement anormales, ou les contourne-t-il ?

Généralité

Un grand travail est souvent semblable à un outil : d'autres construisent dessus.

• L'idée centrale tient-elle indépendamment d'un modèle, d'un ensemble de données ou d'un point de contrôle spécifique ?
• Peut-elle être exprimée en une phrase ou une formule ? S'agit-il d'un principe dérivé, ou d'un ensemble de seuils trouvés par essais ?
• Une fois qu'elle fonctionne, expose-t-elle de nouvelles questions auxquelles d'autres peuvent répondre ?

La question

Graham observe que l'intuition d'une grande idée réside souvent dans la question, pas dans la réponse. Les autres dimensions jugent la réponse. Celle-ci juge la question.

• La question est-elle suffisamment spécifique pour recevoir une réponse fausse ? Quel résultat montrerait que l'idée est erronée ?
• La réponse pourrait-elle surprendre l'auteur ? Une question de la forme « comment pouvons-nous construire X » ne peut se terminer que par « nous l'avons construit ». Une question sur le fonctionnement de quelque chose peut aboutir à une découverte.
• Répondre à cette question mène-t-il à une question plus vaste ? Les meilleures questions grandissent en y répondant.

Lorsque cette dimension est faible, proposez une version plus précise de la question. C'est généralement le retour d'information le plus utile, car une meilleure question change tout ce qui suit.

Premier pas et valeur de l'échec

Le conseil de Graham est de commencer par la chose la plus simple qui pourrait fonctionner, puis de faire des versions successives.

• Quelle est la plus petite première version qui donne un résultat en une semaine ou deux ?
• Quel résultat signifie continuer, et quel résultat signifie changer de direction ?
• Si le projet échoue finalement, que reste-t-il : des données, un outil, un résultat négatif qui vaut la peine d'être connu, une meilleure question ?

Un risque élevé est bon lorsque la valeur attendue est élevée. C'est un problème lorsque l'échec ne laisse rien derrière lui. Si la proposition n'a pas de petit premier pas, concevez-en un et écrivez-le.

Si le document est un rapport sur un premier pas déjà effectué, jugez deux choses à la place : si ce pas était petit et informatif, et si le prochain pas est tout aussi petit, avec un résultat indiqué qui signifierait s'arrêter.

Factcheck des trois réponses de l'auteur

Ne notez pas cela. Pour chaque réponse, donnez l'une des trois conclusions avec des preuves :

• Soutenue — la proposition ou les faits que vous avez trouvés appuient la déclaration.
• Contredite — dites où. Le cas le plus important est la portée : si l'auteur écrit que personne n'a fait cela, ou que d'autres ne peuvent pas contourner le résultat, et que vous avez trouvé un travail qui couvre l'idée centrale, nommez le travail et sa date. Le conseiller a besoin de cela plus que de toute autre chose dans la revue.
• Impossible à dire à partir du document — par exemple « je voulais savoir cela depuis des années ». Dites-le clairement et ne devinez pas.

Choses utiles à vérifier :

• Portée : si le résultat serait un article de plus ou quelque chose que d'autres ne peuvent pas contourner dépend des travaux existants et d'autres équipes. Comparez la réponse avec vos résultats de recherche.
• Curiosité : si la réponse mentionne une surprise ou un échec que l'auteur a poursuivi, la proposition le contient-elle ?
• Pourquoi vous : les avantages déclarés (données, outils, premiers résultats) apparaissent-ils dans la proposition ? Les besoins en ressources déclarés correspondent-ils au plan ?

Si le document se lit principalement comme le résultat d'un outil de recherche ou d'une enquête IA, dites-le. Un tel texte reflète davantage l'outil que l'auteur, et les trois réponses doivent alors être confirmées en personne.

Format de sortie

Écrivez dans la langue dans laquelle l'utilisateur écrit. Soyez bref et commencez par les conclusions. Le corps principal devrait prendre environ cinq minutes à lire. Les longues listes de vérification vont en annexe.

1. Idée centrale en une phrase simple.
2. Travaux existants les plus proches — 3 à 5 éléments ; ce que la proposition ajoute ou manque par rapport à chacun ; date ; comment vous l'avez vérifié.
3. Scores — un tableau des cinq dimensions, listées par nom, avec le niveau (−1 / 0 / +1 / preuves insuffisantes), une raison d'une phrase, et les preuves du texte.
4. Ce qui doit être corrigé — une entrée par problème, étiquetée avec le nom de sa dimension ; une dimension notée −1 peut en avoir plusieurs. Marquez chacun comme corrigeable (un défaut expérimental, des preuves minces, une baseline manquante, pas de boucle fermée) ou non corrigeable sans changer l'idée (l'idée centrale est déjà couverte, le problème est trop petit), et dites concrètement quoi faire. Pour les chiffres recalculés, dites ici seulement s'ils correspondaient et nommez ceux qui ne correspondaient pas ou n'ont pas pu être recalculés ; le détail va en annexe.
5. Ce qui est bien fait — une entrée par +1. S'il n'y en a pas, dites-le.
6. Le fil conducteur le plus prometteur — la partie de la proposition la plus susceptible de se développer en quelque chose de nouveau, le cas échéant. Si l'idée centrale ne tient pas, c'est ici qu'il faut décrire la voie de sortie.
7. Factcheck des trois réponses — soutenue / contredite / impossible à dire, avec des preuves. Si les réponses de l'auteur n'ont pas été fournies, conservez ce titre, dites-le, et notez que l'auteur peut les soumettre pour une vérification plus approfondie.