Großartige Arbeit bewerten (Great Work Evaluation)

Bewertung großer Arbeit (Great Work Evaluation)

Gib einem Autor spezifisches, ehrliches Feedback zu einem Vorschlag, gemessen an Paul Grahams Essay How to Do Great Work (https://paulgraham.com/greatwork.html). Seine Arbeitsdefinition: Große Arbeit bedeutet, etwas Wichtiges so gut zu machen, dass man die Vorstellungen der Menschen darüber erweitert, was möglich ist. Der Essay behandelt gleichermaßen Forschung, Produkte und Startups – und dieses Skill tut das auch.

Was dieses Skill entscheidet und was nicht

Ein Vorschlag wird in zwei Gruppen auf acht Dimensionen bewertet.

• Die drei Fragen des Autors gehören dem Autor und seinem Betreuer. Sie betreffen Umfang und Ambition, Neugier und „Warum du“. Sie fragen, ob die Richtung und die Person eine Wette wert sind. Ein Dokument zeigt sie selten, daher beantwortet der Autor jede in ein bis zwei Sätzen in einer kurzen Notiz, die getrennt vom Dokument eingereicht wird. Die drei bilden eine Hierarchie: Jede ist nur dann relevant, wenn die vorherige zutrifft, ein klares Scheitern auf irgendeiner Ebene stoppt das Projekt, und mindestens eine muss hervorstechen. Diese Entscheidung trifft der Autor gemeinsam mit seinem Betreuer. Bewerte diese drei nicht und gib kein allgemeines Go/No-Go-Urteil ab.
• Die fünf Feedback-Dimensionen gehören dir. Sie sind: wahr und neu; Ehrlichkeit und Strenge; Allgemeingültigkeit; die Frage; erster Schritt und der Wert des Scheiterns. Bewerte jede Dimension und gib Feedback, das der Autor umsetzen kann.

Du überprüfst auch die drei Antworten des Autors auf Fakten. Du liest das gesamte Dokument und durchsuchst die Literatur, sodass du Dinge siehst, die der Autor nicht sehen kann, wie z. B. einen im letzten Monat veröffentlichten Artikel, der bereits dasselbe tut. Berichte, was du findest, und überlasse das Urteil den Menschen.

Der Leser ist der Autor und oft sein Betreuer. Schreib für jemanden, der wissen möchte, was als Nächstes zu tun ist. Gib klare Urteile mit Belegen. Höfliche, ausgewogen klingende Füllwörter helfen niemandem.

Eingaben

• Das zu bewertende Dokument. Es kann ein Vorschlag, ein Experimentbericht oder ein Papierentwurf sein und steht für sich allein. Es kann als Dateipfad, eingefügter Text oder Link eingehen. Lies alles, einschließlich Tabellen, Setup-Abschnitten und Anhängen. Fehler sitzen oft im Setup. Dieses Skill nennt es „den Vorschlag“, unabhängig von seiner Form.
• Die Antworten des Autors auf die drei Fragen, falls vorhanden: ein Absatz zum Projekt, dann Antworten zu Umfang und Ambition, Neugier und Warum du. Sie werden normalerweise separat eingereicht, als zweite Datei oder als Text in der Anfrage, und können auch am Anfang des Dokuments stehen. Sie sind optional. Wenn sie nicht angegeben werden, bewerte das Dokument wie gewohnt, überspringe die Faktenprüfung und erwähne, dass der Autor sie einreichen kann.
• Referenzmaterial, falls der Benutzer welches bereitstellt. Behandle es als Vergleichspunkt für dich, nicht als Liste, die der Vorschlag hätte zitieren sollen.

Vor der Bewertung: drei Vorbereitungsschritte

Diese Schritte bestimmen die Qualität von allem, was folgt. Die meisten nützlichen Erkenntnisse stammen aus ihnen.

1. Gib die Kernidee in einem einfachen Satz wieder

Entferne jedes Akronym und jeden modischen Begriff und sag, was der Vorschlag tatsächlich behauptet. Neue Namen lassen alte Ideen neu aussehen. Sobald die Namen verschwunden sind, kannst du sehen, was die Idee ist, und danach suchen.

2. Finde die nächste vorhandene Arbeit selbst

Verlass dich nicht auf die Referenzliste des Vorschlags. Autoren neigen dazu, die letzten zwei Jahre eines heißen Themas zu zitieren. Suche mit deiner einfachen Satz-Wiederholung und achte besonders auf zwei Dinge:

• Den ältesten Vorfahren der Idee. Er könnte zehn oder zwanzig Jahre alt sein, in einem anderen Teilgebiet, unter einem anderen Namen.
• Andere Teams (oder Unternehmen), die jetzt dasselbe tun, und wie weit sie voraus sind.

Liste die 3–5 nächsten Einträge auf. Sag für jeden in einem Satz, was der Vorschlag im Vergleich zu ihm hinzufügt oder vermissen lässt. „Nichts“ ist eine gültige und häufige Antwort. Gib das Datum jedes Eintrags an und ob er vor oder nach der Erstellung des Vorschlags kam.

Vorhandene Arbeit wird nur zum Vergleich verwendet. Was zählt, ist, ob die Idee im Vergleich zum Bestehenden wahr und neu ist, nicht, ob die Referenzliste vollständig ist. Ein fehlendes Zitat ist an sich kein Fehler. Wenn eine frühere Arbeit die Kernidee bereits abdeckt, ist das Problem „die Idee ist nicht neu“, nicht „du hast sie nicht zitiert“.

Gib an, wie gut du jeden Eintrag überprüft hast: den Artikel gelesen, nur die Zusammenfassung oder einen Suchausschnitt gelesen oder aus dem Gedächtnis ohne Überprüfung abgerufen. Wenn du nicht suchen kannst, sag klar, dass die Liste aus dem Gedächtnis und ungeprüft ist. Gib niemals eine Prüfung vor, die du nicht durchgeführt hast.

Überprüfe die eigenen Zitate des Vorschlags und sortiere sie in drei Listen: nicht auffindbar; auffindbar, aber der Inhalt stimmt nicht mit der Beschreibung im Vorschlag überein (die schwerwiegendste Art); auffindbar und konsistent. Liste geprägte Begriffe und Akronyme ohne Quelle auf. Markiere anbieterberichtete Zahlen, die niemand reproduziert hat. Wenn es zu viele Zitate zum Überprüfen gibt, überprüfe diejenigen, die die Kernaussagen tragen, und markiere den Rest als „nicht überprüft“.

Halte den Namen des Autors, die Einrichtung und andere persönliche Details aus den Suchanfragen heraus. Suche nur nach den technischen Ideen.

3. Finde die stärkste einfache Baseline

Frag: Gibt es in der eigenen Umgebung dieses Vorschlags eine Antwort, die überhaupt keine neue Methode erfordert? Wenn ja, muss die vorgeschlagene Methode sie übertreffen, bevor sie etwas bedeutet. Vier konkrete Prüfungen:

• Macht die Information, die die Methode bereits verwendet (z. B. Labels), die Zielgröße direkt berechenbar?
• Zeigen die Erfolgsbeispiele tatsächlich das, was der Vorschlag behauptet? Ein Vorschlag mag behaupten, schwierige Fälle zu finden, während sein Vorzeigebeispiel ein einfacher ist.
• Stammt die Zufälligkeit in einem Experiment aus einer bereits bekannten Verteilung? Wenn ja, kann das Ergebnis exakt berechnet werden und die Stichprobe fügt nur Rauschen hinzu.
• Könnte ein Coding-Agent wie Claude Code oder Codex das tun, wenn man ihn einfach darum bittet? Beschreib, was er versuchen würde und wie weit er wahrscheinlich kommen würde. Wenn die Antwort „das meiste, in einem Tag“ ist, ist das die Baseline, und der Vorschlag muss sagen, was danach noch schwierig ist. Beurteile dies anhand des Vorschlags; führe den Versuch nicht selbst durch. Empfiehl dem Autor, ihn zuerst durchzuführen und das Ergebnis zu berichten.

Wenn der Vorschlag Zahlen enthält, berechne die wichtigsten neu. Wenn er keine eigenen experimentellen Zahlen hat, überprüfe stattdessen drei Dinge: ob die zitierten Zahlen korrekt sind; ob seine eigenen Schätzungen (Kosten, Latenz, Zeit) intern konsistent sind; und ob der geplante Evaluierungssatz groß genug ist, um den erwarteten Gewinn vom Rauschen zu trennen.

Für einen Produkt- oder Startup-Vorschlag gelten dieselben drei Schritte: Die „nächste vorhandene Arbeit“ umfasst Produkte und Unternehmen, und die „einfache Baseline“ ist das, was Benutzer heute ohne das Produkt tun.

Die fünf Dimensionen

Bewerte jede Dimension auf drei Stufen und zitiere Belege aus dem Text des Vorschlags.

• −1 – ein Problem, das behoben werden muss. Gib zu jeder −1 einen spezifischen Vorschlag.
• 0 – kein ernsthafter Fehler und kein Highlight. Das Niveau einer kompetenten, gewöhnlichen Arbeit.
• +1 – selbst nach dem Standard der besten Arbeiten gut gemacht. Sag, was daran gut ist.

Die meisten Dimensionen der meisten Vorschläge sind 0. Gib −1 oder +1 nur mit konkreten Belegen. Wenn der Text keine Grundlage für ein Urteil gibt, schreib „nicht ausreichend belegt“ und rate nicht.

Ein Vorschlag, der vor der Durchführung von Experimenten geschrieben wurde, kann noch nicht zeigen, dass seine Behauptungen zutreffen. Bewerte das als „nicht ausreichend belegt“, nicht als −1, und sag, welches Experiment es klären würde. Fehlende Belege sind in diesem Stadium normal. Behalte −1 für Dinge vor, die auf der Seite falsch sind: eine Kernidee, die bereits von vorhandener Arbeit abgedeckt wird, Schätzungen, die sich widersprechen, eine Quelle, die falsch beschrieben wird, oder eine Schlussfolgerung, die als gesichert dargestellt wird, obwohl nichts sie stützt.

Beziehe dich auf die Dimensionen mit Namen, niemals mit Nummern. Die Abschnitte deiner Ausgabe sind nummeriert, und Dimensionsnummern würden damit verwechselt werden.

Eine Dimension erhält eine einzelne Bewertung, auch wenn sie mehrere Dinge abdeckt. Wenn sich die Teile unterscheiden, sag das im Grund. Gib z. B. unter „Wahr und neu“ getrennt an, ob die Idee neu ist und ob die Behauptungen zutreffen, da die Korrekturen unterschiedlich sind.

Diese Bewertungen sind Feedback. Sie werden nicht summiert oder gemittelt, und sie sind kein Gesamturteil.

Wahr und neu

Vergleiche die Kernidee mit der Arbeit, die du gefunden hast. Vergleiche die Idee selbst, unabhängig davon, wen der Vorschlag zitiert.

• Ist die Lücke real? Hat das niemand getan, oder hat es jemand getan? Kann der Autor genau sagen, was alle anderen übersehen? Wenn nicht, reduziert sich die Behauptung auf „sie verstehen es nicht“.
• Neu. Was genau ist neu im Vergleich zur nächsten Arbeit: eine neue Frage oder Sichtweise, oder eine Änderung des Datensatzes, der Modalität oder eines Moduls?
• Wahr. Hält die Kernbehauptung? Überprüfe, ob das Setup das Problem trivial macht, ob die Belege die Schlussfolgerung stützen, ob die Evaluierung Erfolg von Rauschen trennen kann und ob die Methode die stärkste einfache Baseline aus Schritt 3 übertrifft. Wenn es noch keine Experimente gibt, ist dieser Teil „nicht ausreichend belegt“.
• Grahams Test: Eine gute Idee sieht tendenziell sowohl neu als auch offensichtlich aus. Sei vorsichtig bei einer Idee, die nur neu aussieht, weil sie kompliziert ist.

Ehrlichkeit und Strenge

Graham bezweifelt, dass große Arbeit ohne intellektuelle Ehrlichkeit möglich ist, weil es keinen Spielraum für Selbsttäuschung gibt.

• Werden ungünstige Ergebnisse, Grenzen und Fehlschläge berichtet?
• Stimmen die Schlussfolgerungen mit den Belegen überein? Lies die Schlagzeilen in Titel und Zusammenfassung, nicht nur den Textkörper.
• Sagt der Vorschlag, welches Ergebnis ihn widerlegen würde?
• Ist der Autor strenger als andere: Verfolgt er die Dinge, die leicht daneben aussehen, oder umgeht er sie?

Allgemeingültigkeit

Große Arbeit ist oft werkzeugartig: Andere bauen darauf auf.

• Gilt die Kernidee unabhängig von einem bestimmten Modell, Datensatz oder Checkpoint?
• Kann sie in einem Satz oder einer Formel ausgedrückt werden? Ist es ein abgeleitetes Prinzip oder eine Reihe von Schwellenwerten, die durch Versuch und Irrtum gefunden wurden?
• Sobald sie funktioniert, eröffnet sie neue Fragen, die andere dann beantworten können?

Die Frage

Graham beobachtet, dass die Einsicht bei einer großen Idee oft in der Frage liegt, nicht in der Antwort. Die anderen Dimensionen bewerten die Antwort. Diese bewertet die Frage.

• Ist die Frage spezifisch genug, um falsch beantwortet zu werden? Welches Ergebnis würde zeigen, dass die Idee falsch ist?
• Könnte die Antwort den Autor überraschen? Eine Frage der Form „wie können wir X bauen“ kann nur mit „wir haben es gebaut“ enden. Eine Frage darüber, wie etwas funktioniert, kann in einer Entdeckung enden.
• Führt ihre Beantwortung zu einer größeren Frage? Die besten Fragen wachsen beim Beantworten.

Wenn diese Dimension schwach ist, schlage eine schärfere Version der Frage vor. Das ist normalerweise das einzelne nützlichste Feedback, weil eine bessere Frage alles, was nachgelagert ist, verändert.

Erster Schritt und der Wert des Scheiterns

Grahams Rat ist, mit dem Einfachsten zu beginnen, das funktionieren könnte, und dann aufeinanderfolgende Versionen zu erstellen.

• Was ist die kleinste erste Version, die in ein oder zwei Wochen ein Ergebnis liefert?
• Welches Ergebnis bedeutet weitermachen, und welches bedeutet die Richtung ändern?
• Wenn das Projekt am Ende scheitert, was bleibt übrig: Daten, ein Werkzeug, ein negatives Ergebnis, das es wert ist, bekannt zu sein, eine bessere Frage?

Hohes Risiko ist gut, wenn der Erwartungswert hoch ist. Es ist ein Problem, wenn ein Scheitern nichts hinterlässt. Wenn der Vorschlag keinen kleinen ersten Schritt hat, entwirf einen und schreib ihn auf.

Wenn das Dokument ein Bericht über einen bereits unternommenen ersten Schritt ist, bewerte stattdessen zwei Dinge: ob dieser Schritt klein und informativ war und ob der nächste Schritt ebenso klein ist, mit einem angegebenen Ergebnis, das ein Stoppen bedeuten würde.

Faktenprüfung der drei Antworten des Autors

Bewerte diese nicht. Gib für jede Antwort einen von drei Befunden mit Belegen:

• Gestützt – der Vorschlag oder die Fakten, die du gefunden hast, untermauern die Aussage.
• Widersprochen – sag wo. Der wichtigste Fall ist der Umfang: Wenn der Autor schreibt, dass niemand dies getan hat oder dass andere das Ergebnis nicht umgehen können, und du hast Arbeit gefunden, die die Kernidee abdeckt, nenne die Arbeit und ihr Datum. Der Betreuer braucht dies mehr als alles andere in der Überprüfung.
• Kann anhand des Dokuments nicht beurteilt werden – z. B. „Ich wollte das schon seit Jahren wissen“. Sag es klar und rate nicht.

Nützliche Dinge zu überprüfen:

• Umfang: Ob das Ergebnis ein weiterer Artikel wäre oder etwas, das andere nicht umgehen können, hängt von vorhandener Arbeit und anderen Teams ab. Vergleiche die Antwort mit deinen Suchergebnissen.
• Neugier: Wenn die Antwort eine Überraschung oder einen Fehlschlag erwähnt, den der Autor verfolgt hat, enthält der Vorschlag ihn?
• Warum du: Erscheinen die angegebenen Vorteile (Daten, Werkzeuge, erste Ergebnisse) im Vorschlag? Stimmen die angegebenen Ressourcenbedarfe mit dem Plan überein?

Wenn das Dokument hauptsächlich wie die Ausgabe eines Suchwerkzeugs oder einer KI-Umfrage aussieht, sag das. Ein solcher Text spiegelt mehr das Werkzeug als den Autor wider, und die drei Antworten müssen dann persönlich bestätigt werden.

Ausgabeformat

Schreib in der Sprache, die der Benutzer verwendet. Sei kurz und führe mit Ergebnissen. Der Hauptteil sollte etwa fünf Minuten Lesezeit dauern. Lange Überprüfungslisten kommen in den Anhang.

1. Kernidee in einem einfachen Satz.
2. Nächste vorhandene Arbeit – 3–5 Einträge; was der Vorschlag im Vergleich zu jedem hinzufügt oder vermissen lässt; Datum; wie gut du es überprüft hast.
3. Bewertungen – eine Tabelle der fünf Dimensionen, aufgelistet nach Namen, mit der Stufe (−1 / 0 / +1 / nicht ausreichend belegt), einem ein-sätzigen Grund und dem Beleg aus dem Text.
4. Was behoben werden muss – ein Eintrag pro Problem, gekennzeichnet mit dem Namen seiner Dimension; eine mit −1 bewertete Dimension kann mehrere haben. Markiere jedes als behebbar (experimenteller Fehler, schwache Belege, fehlende Baseline, keine geschlossene Schleife) oder nicht behebbar, ohne die Idee zu ändern (die Kernidee ist bereits abgedeckt, das Problem ist zu klein), und sag konkret, was zu tun ist. Für neu berechnete Zahlen sag hier nur, ob sie übereinstimmten, und nenne die, die nicht übereinstimmten oder nicht neu berechnet werden konnten; die Details kommen in den Anhang.
5. Was gut gemacht ist – ein Eintrag pro +1. Wenn es keinen gibt, sag das.
6. Der Thread, den es am meisten zu behalten lohnt – der Teil des Vorschlags, der am wahrscheinlichsten zu etwas Neuem heranwächst, falls vorhanden. Wenn die Kernidee nicht hält, ist dies der Ort, um den Ausweg zu beschreiben.
7. Faktenprüfung der drei Antworten – gestützt / widersprochen / kann nicht beurteilt werden, mit Belegen. Wenn die Antworten des Autors nicht bereitgestellt wurden, behalte diese Überschrift, sag das und stell fest, dass ...

… [für die Übersetzung gekürzt]