グレートワーク評価 (Great Work Evaluation)

Great Work Evaluation（素晴らしい仕事の評価）

提案に対して、著者に具体的で正直なフィードバックを提供します。基準はポール・グレアムのエッセイ How to Do Great Work (https://paulgraham.com/greatwork.html) です。グレアムの定義によれば、素晴らしい仕事とは「重要なことを非常にうまく行い、人々の可能性の概念を広げること」です。このエッセイは研究、製品、スタートアップをすべてカバーしており、このスキルも同様です。

このスキルが判断すること、判断しないこと

提案は2つのグループ、合計8つの次元で評価されます。

• 著者の3つの質問は著者とそのアドバイザーに属します。 それは「スコープと野心」、「好奇心」、そして「なぜあなたなのか」です。これらは、方向性と人物に賭ける価値があるかどうかを問うものです。文書にこれらの答えが示されることは稀なため、著者はそれぞれを1～2文の短いノートにまとめ、文書とは別に提出します。これら3つは階層構造を成しています。各質問は、その前の質問が成立している場合にのみ意味を持ち、どのレベルでも明らかな失敗があればプロジェクトは中止となり、少なくとも1つは際立っている必要があります。この判断は、著者がアドバイザーとともに行います。これら3つをスコアリングしたり、全体的なGO/NO-GOの判断を下したりしてはいけません。
• 5つのフィードバック次元はあなたのものです。 それは「真実かつ新しいか」、「誠実さと厳密さ」、「一般性」、「問いの質」、「第一歩と失敗の価値」です。それぞれをスコアリングし、著者が行動に移せるフィードバックを提供してください。

また、著者の3つの回答を事実確認します。あなたは文書全体を読み、文献を検索するため、著者には見えないこと（例えば、先月発表された同じことを行っている論文など）を発見できます。見つけたことを報告し、判断は人間に委ねてください。

読者は著者であり、多くの場合そのアドバイザーです。次に何をすべきかを知りたい人のために書いてください。証拠に基づいた明確な判断を下してください。礼儀正しくバランスの取れたように聞こえる無駄な言葉は誰の役にも立ちません。

入力

• 評価する文書。提案、実験レポート、論文草稿などがあり、独立した文書として扱います。ファイルパス、貼り付けられたテキスト、リンクの形で渡されます。表、セットアップセクション、付録を含め、すべてを読んでください。欠陥はセットアップ部分に潜んでいる傾向があります。このスキルでは、その形式に関わらず「提案」と呼びます。
• 著者の3つの質問への回答（提供された場合）。プロジェクトに関する1段落、続いて「スコープと野心」「好奇心」「なぜあなたなのか」への回答。通常は別のファイルとして、またはリクエスト内のテキストとして提出され、文書の冒頭に置かれることもあります。これらは任意です。提供されなかった場合は、通常通り文書を評価し、事実確認をスキップし、著者が提出可能であることを言及してください。
• 参考資料（ユーザーが提供した場合）。提案が引用すべきリストとしてではなく、比較のためのポイントとして扱ってください。

スコアリング前の3つの準備ステップ

これらのステップが、以降のすべての品質を決定します。最も有用な発見のほとんどはこれらから得られます。

1. 核となるアイデアを平易な一文で言い換える

すべての略語や流行語を取り除き、提案が実際に何を主張しているかを述べてください。新しい名前は古いアイデアを新しく見せます。名前がなくなれば、アイデアが何であるかがわかり、それを検索できるようになります。

2. 最も近い既存研究を自身で見つける

提案の参考文献リストに頼ってはいけません。著者はホットなトピックの過去2年間を引用する傾向があります。平易な一文に言い換えたもので検索し、特に以下の2つを探してください。

• アイデアの最も古い祖先。それは10年または20年前のもので、別のサブフィールド、別の名前で存在するかもしれません。
• 同じことを現在行っている他のチーム（または企業）、そして彼らがどれだけ先行しているか。

最も近いものを3～5件リストアップしてください。それぞれについて、提案が何を追加しているか、または欠いているかを一文で述べてください。「何もない」というのも有効で一般的な答えです。各項目の日付と、それが提案が書かれた時期より前か後かを示してください。

既存研究は比較のためにのみ使用されます。重要なのは、既存のものと比較してアイデアが真実で新しいかどうかであり、参考文献リストが完全かどうかではありません。引用の欠落自体は欠点ではありません。もし先行研究がすでに核となるアイデアをカバーしているなら、問題は「アイデアが新しくない」ことであり、「引用しなかったこと」ではありません。

各項目をどの程度検証したかを述べてください：論文を読んだ、アブストラクトまたは検索スニペットのみを読んだ、または確認せずに記憶から思い出した。検索できない場合は、リストが記憶に基づいており未検証であることを明確に述べてください。行っていないチェックを決して暗示してはいけません。

提案自身の引用をチェックし、3つのリストに分類してください：見つからないもの；見つかるが内容が提案の説明と一致しないもの（最も深刻な種類）；見つかり内容が一致するもの。出典のない造語や頭字語をリストアップしてください。誰も再現していないベンダー報告の数値をマークしてください。チェックすべき引用が多すぎる場合は、核となる主張を支えるものをチェックし、残りは「未検証」とマークしてください。

著者の名前、所属機関、その他の個人情報は検索クエリから除外してください。技術的なアイデアのみを検索してください。

3. 最も強力なシンプルベースラインを見つける

問いかけてください：この提案の設定において、まったく新しい方法を必要としない答えは存在するか？もし存在するなら、提案手法はそれを打ち負かして初めて意味を持ちます。4つの具体的なチェックポイント：

• 手法がすでに使用している情報（例えばラベル）によって、対象の量が直接計算可能か？
• 成功事例は、提案が主張するものを実際に示しているか？提案は難しいケースを見つけたと主張しながら、その披露事例が簡単なものである可能性があります。
• 実験におけるランダム性は、既知の分布から来ているか？もしそうなら、結果は正確に計算でき、サンプリングはノイズを追加するだけです。
• Claude CodeやCodexのようなコーディングエージェントが、単に依頼されただけでこれを行えるか？それが何を試み、どの程度まで達成できるかを説明してください。答えが「ほとんどの部分を1日で」であるなら、それがベースラインであり、提案はその後に何が難しいまま残るかを述べる必要があります。これは提案から判断してください。自分で試みを実行しないでください。著者に最初にそれを実行し、結果を報告することを推奨してください。

提案に数値が含まれている場合は、主要なものを再計算してください。独自の実験的数値がない場合は、代わりに3つのことをチェックしてください：引用された数値が正確かどうか；それ自身の見積もり（コスト、レイテンシ、時間）が内部で整合しているかどうか；計画された評価セットが、期待される改善をノイズから分離するのに十分な大きさかどうか。

プロダクトまたはスタートアップの提案の場合も、同じ3つのステップが適用されます。「最も近い既存研究」には製品や企業が含まれ、「シンプルベースライン」はユーザーがその製品なしで現在行っていることです。

5つの評価次元

各次元を3段階でスコアリングし、提案のテキストからの証拠を引用してください。

• −1 — 修正が必要な問題。すべての−1に具体的な提案をペアにしてください。
• 0 — 深刻な欠陥も特筆すべき点もない。有能で普通の論文のレベル。
• +1 — 最高の仕事の基準でもうまくできている。何が良いかを述べてください。

ほとんどの提案のほとんどの次元は0です。具体的な証拠がある場合にのみ−1または+1を付けてください。テキストが判断の根拠を与えない場合は「証拠不十分」と書き、推測しないでください。

実験が行われる前に書かれた提案は、その主張が成立することをまだ示せません。それを−1ではなく「証拠不十分」とスコアリングし、どの実験がそれを決着させるかを述べてください。証拠の欠如はその段階では正常です。−1はページ上で間違っているものに留めてください：核となるアイデアが既存研究にすでにカバーされている、見積もりが互いに矛盾している、出典が不正確に説明されている、何の根拠もないのに結論が確定していると述べられている。

次元は番号ではなく名前で参照してください。出力のセクションは番号付けされており、次元番号と混同される可能性があります。

次元が複数のものをカバーしている場合でも、1つのスコアが与えられます。部分が異なる場合は、理由の中でそのように述べてください。例えば、「真実かつ新しいか」の下で、アイデアが新しいかどうかと主張が成立するかどうかを別々に述べてください。なぜなら修正方法が異なるからです。

これらのスコアはフィードバックです。合計したり平均したりせず、全体的な評決ではありません。

真実かつ新しいか

核となるアイデアをあなたが見つけた研究と比較してください。提案が誰を引用しているかに関係なく、アイデア自体を比較してください。

• ギャップは本物か？ 誰もこれをやっていないのか、それとも誰かがやったのか？著者は他の誰もが見落としていることを正確に言えるか？そうでなければ、主張は「彼らは理解していない」に矮小化されます。
• 新しいか。 最も近い研究に対して正確に何が新しいのか：新しい問いや視点、データセットの変更、モダリティ、または1つのモジュール？
• 真実か。 核となる主張は成立するか？セットアップが問題を自明にしていないか、証拠が結論を支持しているか、評価が成功をノイズから分離できるか、手法がステップ3の最も強力なシンプルベースラインを打ち負かしているかをチェックしてください。まだ実験がない場合、この部分は「証拠不十分」です。
• グレアムのテスト：良いアイデアは、新しくかつ明白に見える傾向があります。複雑だからという理由だけで新しく見えるアイデアに注意してください。

誠実さと厳密さ

グレアムは、知的誠実さなしでは素晴らしい仕事は不可能だと疑っています。自己欺瞞の余地がないからです。

• 不利な結果、限界、失敗例は報告されているか？
• 結論は証拠と一致しているか？タイトルやアブストラクトの見出し的な主張だけでなく、本文も読んでください。
• 提案は、何が結果を間違っていると証明するかを述べているか？
• 著者は他人より厳格か：少しおかしいと思えることを追求するか、それとも避けて通るか？

一般性

素晴らしい仕事はしばしばツール的です。つまり、他の人がその上に構築します。

• 核となるアイデアは、特定のモデル、データセット、チェックポイントから独立して成立するか？
• 一文または一つの式で言えるか？それは導出された原理か、それとも試行錯誤で見つけた閾値のセットか？
• うまくいった場合、他の人が答えに進むことができる新しい問いを明らかにするか？

問いの質

グレアムは、大きなアイデアにおける洞察はしばしば答えではなく問いにあると観察しています。他の次元は答えを判断します。これは問いを判断します。

• 問いは、間違って答えられるほど具体的か？どの結果がアイデアが誤りであることを示すか？
• 答えは著者を驚かせる可能性があるか？「どのようにXを構築するか」という形式の問いは「私たちはそれを構築した」で終わることしかできません。何かがどのように機能するかについての問いは、発見に至る可能性があります。
• 答えることがより大きな問いにつながるか？最良の問いは、答える過程で成長します。

この次元が弱い場合は、より鋭いバージョンの問いを提案してください。それは通常、最も有用なフィードバックの一つです。なぜなら、より良い問いは下流のすべてを変えるからです。

第一歩と失敗の価値

グレアムのアドバイスは、おそらく機能する最も単純なものから始め、その後連続したバージョンを作ることです。

• 1～2週間で結果が出る最小の最初のバージョンは何か？
• どの結果が継続を意味し、どの結果が方向転換を意味するか？
• プロジェクトが最終的に失敗した場合、何が残るか：データ、ツール、知る価値のある否定的結果、より良い問い？

期待値が高い場合、高リスクは良いことです。失敗が何も残さない場合、問題です。提案に小さな第一歩がない場合は、それを設計し、書き留めてください。

文書がすでに取られた第一歩に関するレポートである場合は、代わりに2つのことを判断してください：そのステップが小さく有益だったかどうか、次のステップも同様に小さく、停止を意味する結果が明示されているかどうか。

著者の3つの回答の事実確認

これらをスコアリングしないでください。各回答について、証拠とともに3つの所見のうち1つを提供してください：

• 支持 — 提案またはあなたが見つけた事実がその記述を裏付けている。
• 矛盾 — どこで矛盾するかを述べてください。最も重要なケースはスコープです。著者が「誰もこれをやったことがない」「他の人はこの結果を回避できない」と書き、あなたが核となるアイデアをカバーする研究を見つけた場合、その研究とその日付を挙げてください。アドバイザーはこれを何よりも必要としています。
• 文書から判断不可 — 例えば「私はこれを何年も知りたいと思っていました」。そのように率直に述べ、推測しないでください。

チェックすべき有用なこと：

• スコープ： 結果がもう1本の論文になるのか、それとも他の人が回避できないものになるのかは、既存研究や他のチームに依存します。回答をあなたの検索結果と比較してください。
• 好奇心： 回答が著者が追いかけた驚きや失敗に言及している場合、提案はそれを含んでいるか？
• なぜあなたなのか： 述べられた利点（データ、ツール、初期結果）は提案に現れているか？述べられたリソースニーズは計画と一致しているか？

文書が主に検索ツールやAIサーベイの出力として読める場合は、そのように述べてください。そのようなテキストは著者よりもツールを反映しており、3つの回答は対面で確認する必要があります。

出力形式

ユーザーが書いている言語で書いてください。簡潔にし、発見事項を先に述べてください。本文は読むのに約5分かかる程度にしてください。長い検証リストは付録に入れてください。

1. 平易な一文での核となるアイデア。
2. 最も近い既存研究 — 3～5項目；提案が各項目に対して何を追加または欠いているか；日付；どの程度検証したか。
3. スコア — 5つの次元の表。名前でリストアップし、レベル（−1 / 0 / +1 / 証拠不十分）、一文の理由、テキストからの証拠を含む。
4. 修正すべき点 — 問題ごとに1エントリ、その次元の名前をラベル付け；−1とスコアリングされた次元は複数ある可能性があります。それぞれを修正可能（実験の欠陥、薄い証拠、欠落したベースライン、閉ループなし）またはアイデアを変えなければ修正不可（核となるアイデアがすでにカバーされている、問題が小さすぎる）としてマークし、具体的に何をすべきかを述べてください。再計算された数値については、ここではそれらが一致したかどうか、および一致しなかった、または再計算できなかったものの名前のみを述べてください。詳細は付録に記載します。
5. うまくいっている点 — +1ごとに1エントリ。ない場合はそのように述べてください。
6. 最も価値のある糸口 — 提案の中で、何か新しいものに成長する可能性が最も高い部分（もしあれば）。核となるアイデアが成立しない場合、ここで脱出方法を説明してください。
7. 3つの回答の事実確認 — 支持/矛盾/判断不可、証拠付き。著者の回答が提供されなかった場合は、この見出しを保持し、そのように述べ、…