LLCao-AI-Group/great-work-evaluation

偉大工作評估

對一份提案提供具體、誠實的回饋，依據 Paul Graham 的文章《如何做出偉大工作》（https://paulgraham.com/greatwork.html）。他的操作性定義：偉大工作意味著把某件重要的事情做得非常好，以至於拓展了人們對可能性的認知。這篇文章涵蓋研究、產品和新創公司，本技能也同樣適用。

此技能決定與不決定的事項

提案會根據兩個群組的八個維度進行評判。

• 作者的三個問題屬於作者及其顧問。 它們是：範圍與野心、好奇心，以及「為什麼是你」。這些問題探討的是方向和人選是否值得下注。文件通常無法呈現這些問題，因此作者需在一篇簡短的筆記中，用一兩個句子分別回答這些問題，並與文件分開提交。這三個問題形成一個層級結構：只有在前一個問題成立時，下一個問題才有意義；任何層級的明確失敗都會終止專案；且至少有一個問題必須表現突出。這個決定由作者及其顧問共同做出。請不要對這三個問題評分，也不要給出整體的「通過/不通過」裁決。
• 五個回饋維度是你的職責。 它們是：真實與新穎；誠實與嚴謹；通用性；問題；第一步與失敗的價值。為每個維度評分，並提供作者可以採取行動的回饋。

你還需要對作者的三個回答進行事實查核。你會閱讀整份文件並搜尋文獻，因此你能看到作者可能忽略的事物，例如上個月發表的一篇論文已經做了同樣的事情。報告你的發現，並將判斷權留給人。

讀者是作者本人，通常還有他們的顧問。請為那些想知道下一步該怎麼做的人撰寫回饋。提供明確的判斷並附上證據。禮貌而聽起來客觀的廢話對誰都沒有幫助。

輸入

• 要評估的文件。 它可以是提案、實驗報告或論文草稿，並且是獨立存在的。它可以以檔案路徑、貼上的文字或連結的形式出現。請閱讀所有內容，包括表格、設定部分和附錄。缺陷通常隱藏在設定中。此技能將其統稱為「提案」，無論其形式如何。
• 作者對三個問題的回答（如果有的話）：一段關於專案的段落，然後是關於範圍與野心、好奇心以及「為什麼是你」的回答。這些回答通常與文件分開提交，作為第二個檔案或請求中的文字，也可能位於文件的頂部。它們是可選的。如果沒有提供，則照常評估文件，跳過事實查核，並說明作者可以提交它們。
• 參考資料（如果使用者提供的話）。將其視為供你比較的參考點，而不是提案應該引用的清單。

評分前的三個準備步驟

這些步驟決定了後續所有工作的品質。大多數有用的發現都來自於它們。

1. 用一句白話重述核心概念

去除所有縮寫和流行術語，說出提案實際的主張是什麼。新名詞會讓舊點子看起來像新點子。一旦去除這些名詞，你就能看清這個點子是什麼，並能針對它進行搜尋。

2. 自行找出最接近的現有成果

不要依賴提案的參考文獻清單。作者往往傾向引用熱門領域最近兩年的資料。使用你的白話重述進行搜尋，並特別關注兩件事：

• 該點子最古老的源頭。 它可能是十年前或二十年前的，在另一個子領域中，以另一個名稱存在。
• 其他現在正在做同樣事情的團隊（或公司），以及他們領先了多少。

列出 3–5 個最接近的項目。對於每個項目，用一句話說明提案相對於它增加了什麼或缺少了什麼。「沒有」是有效且常見的答案。給出每個項目的日期，以及它是在提案撰寫之前還是之後出現的。

現有成果僅用於比較。重要的是相對於現有成果，這個點子是否真實且新穎，而不是參考文獻清單是否完整。遺漏引用本身並非缺陷。如果先前的工作已經涵蓋了核心點子，那麼問題是「這個點子不新」，而不是「你沒有引用它」。

說明你對每個項目的驗證程度：閱讀了論文全文、只閱讀了摘要或搜尋片段，或是憑記憶回想而未經查證。如果你無法搜尋，請直接說明清單是來自記憶且未經驗證。絕對不要暗示你做過實際上沒有做的查核。

檢查提案自己的引用文獻，並將其分類為三個清單：無法找到；可以找到但內容與提案的描述不符（最嚴重的一種）；可以找到且內容一致。列出沒有來源的創用名詞和縮寫。標記未經他人複現的廠商報告數據。如果引用太多無法一一檢查，則檢查支持核心主張的那些引用，並將其餘的標記為「未驗證」。

在搜尋查詢中不要包含作者姓名、所屬機構及其他個人詳細資訊。僅基於技術概念進行搜尋。

3. 找出最強的簡單基線

問：在提案自己的設定中，是否存在一個完全不需要新方法的答案？如果是，那麼在提案方法有任何意義之前，它必須勝過這個基線。四個具體檢查：

• 該方法已使用的資訊（例如標籤）是否使得目標數量可以直接計算？
• 成功範例是否真的展示了提案所說明的內容？提案可能聲稱找到了困難案例，但其展示的範例卻是個簡單案例。
• 實驗中的隨機性是否來自已知的分佈？如果是，結果可以精確計算，抽樣只會引入雜訊。
• 像 Claude Code 或 Codex 這樣的程式碼代理，如果直接被要求，是否能完成這項工作？描述它會嘗試什麼，以及它可能能做到什麼程度。如果答案是「大部分工作，一天內完成」，那麼這就是基線，而提案必須說明在這種情況下還有什麼是困難的。根據提案本身進行判斷；不要自己實際執行嘗試。建議作者先執行它並報告結果。

如果提案包含數字，請重新計算關鍵數字。如果提案沒有自己的實驗數字，則檢查三件事：引用的數字是否準確；提案自己的估計（成本、延遲、時間）在內部是否一致；以及計畫中的評估集是否足夠大，足以將預期收益與雜訊區分開來。

對於產品或新創公司提案，同樣的三個步驟適用：「最接近的現有成果」包括產品和公司，而「簡單基線」則是使用者今天在不使用該產品的情況下所做的。

五個維度

對每個維度進行三個級別的評分，並引用提案文字中的證據。

• −1 — 必須修復的問題。每個 −1 都要附上具體的建議。
• 0 — 沒有嚴重缺陷，但也沒有亮點。相當於一份稱職、普通的論文水準。
• +1 — 即便以最佳工作的標準來看也做得很好。說明它好在哪裡。

大多數提案的大多數維度都是 0。只有在有具體證據時才給出 −1 或 +1。如果文字沒有提供判斷的依據，則寫「證據不足」，不要猜測。

在運行任何實驗之前撰寫的提案，還無法證明其主張成立。將其評為「證據不足」，而不是 −1，並說明哪個實驗可以解決這個問題。在該階段，證據不足是正常的。將 −1 保留給紙面上錯誤的地方：現有工作已經涵蓋的核心點子、相互矛盾的估計、來源描述不正確，或者在沒有證據支持下就被當作定論陳述的結論。

提及維度時使用名稱，絕不使用編號。你輸出的部分是按編號排列的，而維度編號會與它們混淆。

即使一個維度涵蓋多個方面，也只給出一個分數。當各部分不一致時，在理由中說明。例如，在「真實與新穎」下，分別說明這個點子是否新穎以及主張是否成立，因為修正方法不同。

這些分數是回饋。它們不會被加總或平均，也不是最終裁決。

真實與新穎

將核心點子與你找到的成果進行比較。比較點子本身，無論提案引用了誰。

• 這個差距是真實的嗎？ 是沒有人做過，還是有人做過了？作者能否精確地說出每個人都忽略了什麼？如果不能，那麼主張就退化為「他們不懂」。
• 新穎。 相對於最接近的成果，究竟什麼是新穎的：一個新的問題或觀點，還是數據集、模態或模組的改變？
• 真實。 核心主張是否成立？檢查設定是否使問題變得微不足道、證據是否支持結論、評估能否將成功與雜訊區分開、以及該方法是否勝過步驟三中最強的簡單基線。如果還沒有實驗，則這部分為「證據不足」。
• Graham 的測試：一個好點子往往看起來既新穎又顯而易見。要警惕那些僅僅因為複雜而看起來新穎的點子。

誠實與嚴謹

Graham 懷疑，沒有知識上的誠實，偉大工作是否可能實現，因為沒有空間可以自我欺騙。

• 是否報告了不利的結果、限制和失敗案例？
• 結論是否與證據相符？不僅要閱讀正文，還要閱讀標題和摘要中的主要主張。
• 提案是否說明了什麼結果會證明它是錯的？
• 作者是否比其他人更嚴格：他們會追查那些看起來有點不對勁的事情，還是繞過去？

通用性

偉大工作通常具有工具性：其他人可以在此基礎上構建。

• 核心點子是否適用於某個特定模型、數據集或檢查點之外的情況？
• 能否用一句話或一個公式來表達？它是一個推導出的原則，還是一組透過試錯找到的閾值？
• 一旦它成功，是否會引出其他人可以繼續回答的新問題？

問題

Graham 觀察到，偉大點子中的洞察力通常在於問題，而非答案。其他維度評判的是答案。這個維度評判的是問題。

• 這個問題是否夠具體，以至於可能被回答錯誤？什麼結果會顯示這個想法是錯的？
• 答案是否能讓作者感到驚訝？像「我們如何建造 X」這樣的問題，只會以「我們建造了它」結束。而關於某事物如何運作的問題，則可能以發現告終。
• 回答這個問題是否會引導出一個更大的問題？最好的問題會在回答過程中不斷增長。

當這個維度表現不佳時，提出一個更尖銳的問題版本。這通常是最有價值的一條回饋，因為一個更好的問題會改變下游的一切。

第一步與失敗的價值

Graham 的建議是，從最簡單可行的東西開始，然後不斷迭代。

• 最小的第一個版本是什麼，能在一兩週內得到結果？
• 哪個結果意味著繼續，哪個意味著改變方向？
• 如果專案最終失敗了，會留下什麼：數據、工具、一個值得知道的負面結果、一個更好的問題？

高風險是好的，前提是期望值很高。當失敗什麼都不留下時，風險就是個問題。如果提案沒有小的第一步，請設計一個並寫下來。

如果文件是關於已經採取的第一步的報告，則改為判斷兩件事：這一步是否既小又具資訊性，以及下一步是否同樣小，並且有一個明確的結果會意味著停止。

對作者三個回答的事實查核

不要對這些回答評分。對於每個回答，給出以下三種發現之一，並附上證據：

• 支持 — 提案或你發現的事實支持了該陳述。
• 矛盾 — 指出矛盾之處。最重要的情況是範圍：如果作者寫道沒有人做過這個，或者其他人無法繞過這個結果，而你找到了涵蓋核心點子的工作，請指出該工作及其日期。顧問比審查中的其他任何東西都更需要這個資訊。
• 無法從文件中判斷 — 例如「我已經想知道這個問題好幾年了」。直接說明，不要猜測。

值得檢查的事項：

• 範圍： 結果是另一篇論文，還是其他人無法繞過的事物，取決於現有成果和其他團隊。將回答與你的搜尋結果進行比較。
• 好奇心： 如果回答中提到了一個作者追逐的意外或失敗，提案中是否包含它？
• 為什麼是你： 陳述的優勢（數據、工具、初步結果）是否出現在提案中？陳述的資源需求是否與計畫相符？

如果文件內容主要像是搜尋工具或 AI 調查的輸出，請直接說明。這樣的文字反映的是工具而非作者，因此這三個回答需要當面確認。

輸出格式

使用使用者使用的語言撰寫。簡潔扼要，以發現作為開頭。主體部分應在五分鐘左右讀完。長的驗證清單放在附錄中。

1. 一句白話的核心概念。
2. 最接近的現有成果 — 3–5 個項目；相對於每個項目，提案增加了什麼或缺少了什麼；日期；你的驗證程度。
3. 評分 — 一個五個維度的表格，按名稱列出，附有等級（−1 / 0 / +1 / 證據不足）、一句話的理由以及來自文字的證據。
4. 必須修復的問題 — 每個問題一個條目，標註其所屬維度的名稱；評分為 −1 的維度可能有多個問題。將每個問題標記為「可修復」（實驗缺陷、證據薄弱、缺少基線、沒有閉環）或「無法在不改變點子的情況下修復」（核心點子已被涵蓋、問題太小），並具體說明該怎麼做。對於重新計算的數字，在此僅說明它們是否相符，並指出任何不相符或無法重新計算的數字；詳細內容放在附錄中。
5. 做得好的地方 — 每個 +1 一個條目。如果沒有，請說明。
6. 最值得保留的線索 — 提案中最有可能發展成新事物的部分，如果有的話。如果核心點子不成立，則在此處描述出路。
7. 對三個回答的事實查核 — 支持 / 矛盾 / 無法判斷，附上證據。如果作者的答案未提供，則保留此標題，說明情況，並指出...