伟大工作评估是做什么的？

向作者提供针对提案的具体、诚实的反馈，参照保罗·格雷厄姆的文章《如何做卓越工作》(https://paulgraham.com/greatwork.html)。他的工作定义是：卓越工作意味着把某件重要的事情做得如此出色，以至于拓展了人们对可能性的认知。这篇文章涵盖了研究、产品和创业，本技能也是如此。

本技能做什么与不做什么

提案在两组共八个维度上接受评判。

作者的三个问题属于作者及其导师。 它们是：范围和雄心、好奇心，以及“为什么是你”。这些问题询问方向和人员是否值得下注。文档很少展示它们，因此作者在短注中用一两句话回答每个问题，与文档分开提交。这三个问题形成一个层级：只有在前一个问题成立时，后一个问题才有意义；任一层次的明显失败都会终止项目；且至少有一个问题必须突出。该决定由作者与导师共同做出。不要对这三点进行评分，也不要给出总体通过/不通过判决。
五个反馈维度属于你。 它们是：真实且新颖；诚实与严谨；通用性；问题本身；第一步与失败的价值。对每个维度评分并提供作者可以行动起来的反馈。

你还需要对作者的三个回答进行事实核查。你阅读整个文档并检索文献，因此能看到作者无法看到的东西，比如上个月刚发表的一篇已经做了同样事情的论文。报告你的发现，把判断留给真人。

读者是作者，通常也是他们的导师。为那些想知道下一步该怎么做的人写作。给出清晰的判断和证据。礼貌而听起来平衡的空话对谁都没帮助。

输入

要评估的文档。 它可以是提案、实验报告或论文草稿，并且应独立成篇。它可以是文件路径、粘贴文本或链接。阅读所有内容，包括表格、设置部分和附录。缺陷往往出现在设置部分。本技能通称其为“提案”，无论其形式如何。
作者对三个问题的回答（如提供）：关于项目的一段话，然后是对范围和雄心、好奇心以及“为什么是你”的回答。它们通常分开提交，作为第二个文件或请求中的文本，也可能位于文档顶部。它们是可选的。如果未提供，照常评估文档，跳过事实核查，并提及作者可以提交它们。
参考资料（如果用户提供）。将其视为供你进行比较的参考点，而非提案应该引用的清单。

评分前：三个准备步骤

这些步骤决定了后续一切的质量。大多数有用的发现来自它们。

1. 用一句简单的话重述核心思想

去掉每个缩写和流行术语，说出提案实际声称的内容。新名字让旧想法看起来新。一旦去掉名字，你就能看清想法是什么，并可以搜索它。

2. 自行找出最相似的现有工作

不要依赖提案的参考文献列表。作者倾向于引用热门话题最近两年的工作。使用你的重述句进行搜索，特别关注两件事：

该想法的最早祖先。 它可能已有十年或二十年，在另一个子领域，以另一个名字存在。
现在做同样事情的其他团队（或公司），以及他们领先多少。

列出最相似的 3–5 项。对每一项，用一句话说明提案相对它增加或缺少了什么。“没有”是一个有效且常见的答案。给出每项的日期，以及它是提案撰写之前还是之后。

现有工作仅用于比较。重要的是这个想法相对已有工作是否真实且新颖，而不是参考文献列表是否完整。缺失引用本身不是缺陷。如果已有工作已经涵盖了核心思想，问题在于“想法不新”，而不是“你没有引用它”。

说明你验证每项的程度：阅读了论文、仅阅读了摘要或搜索片段、或凭记忆回忆未检查。如果你无法搜索，坦诚说明列表来自记忆且未经核实。永远不要暗示你做过的检查。

检查提案自身的引用，并将其分为三类：找不到；能找到但内容与提案描述不符（最严重的一类）；能找到且一致。列出没有来源的创造术语和缩写。标记无人复现过的供应商报告数字。如果引文太多而无法全部检查，检查那些支撑核心主张的引文，并将其余标记为“未核实”。

在搜索查询中保留作者姓名、机构和其他个人细节。只搜索技术思想。

3. 找出最强的简单基线

问问：在提案自身的设定中，是否存在一个根本不需要新方法的答案？如果是，那么提出的方法必须超过它才有意义。四个具体的检查：

该方法已经使用的信息（例如标签）是否使目标量可以直接计算？
成功示例是否真的展示了提案声称的内容？提案可能声称发现了困难案例，而它的展示示例却是一个简单案例。
实验中的随机性是否来自一个已知分布？如果是，结果可以精确计算，抽样只是增加噪音。
如果简单地要求一个编码智能体（如 Claude Code 或 Codex）来做这个，它能否做到？描述它会尝试什么以及可能进展到什么程度。如果答案是“大部分工作，一天内完成”，这就是基线，提案必须说明在它之后还有什么困难。根据提案本身判断；不要自己运行尝试。建议作者先运行它并报告结果。

如果提案包含数字，重新计算关键数字。如果它没有自己的实验数字，则检查三件事：引用的数字是否准确；它自己的估计（成本、延迟、时间）是否内部一致；以及计划的评估集是否足够大，以将预期增益与噪音分开。

对于产品或创业提案，同样的三个步骤适用：“最近的现有工作”包括产品和公司，“简单基线”是用户今天没有产品时的做法。

五个维度

对每个维度在三个级别上评分，并引用提案自身文本中的证据。

-1 — 必须修复的问题。对每个 -1 配对给出具体建议。
0 — 没有严重缺陷也没有亮点。普通合格论文的水平。
+1 — 即使以最佳工作的标准来看也做得好。说明好在什么地方。

大多数提案的大多数维度是 0。只有在有具体证据时才给出 -1 或 +1。如果文本没有提供判断依据，写“证据不足”且不要猜测。

一份在任何实验进行之前撰写的提案还无法显示其主张成立。将其评分为“证据不足”，而不是 -1，并说明哪个实验能解决它。在那个阶段，缺失证据是正常的。把 -1 留给页面上真正错误的东西：核心思想已被现有工作覆盖、彼此矛盾的估计、描述不正确的来源、或没有证据支持却当作既定事实的结论。

通过名称引用维度，永远不要用数字。你的输出部分是按数字编号的，维度编号会与它们混淆。

即使一个维度涵盖了几个方面，也只获得一个分数。当各部分不同时，在理由中说明。例如，在“真实且新颖”下，分别说明想法是否新颖，以及主张是否成立，因为修复方法不同。

这些分数是反馈。它们不被求和或平均，也不是总体评判。

真实且新颖

将核心想法与你找到的工作进行比较。比较想法本身，不考虑提案的引用来自谁。

差距真实吗？ 是否没有人做过这个，还是有人做过？作者能否精确说出其他人忽略了什么？如果不能，那么主张就简化为“他们不懂”。
新颖。 相对于最相似的工作，什么确切地说是新的：一个新的问题或视角，还是数据集、模态或一个模块的改变？
真实。 核心主张成立吗？检查设置是否使问题变得微不足道；证据是否支持结论；评估能否将成功与噪音分开；方法是否击败了步骤 3 中的最强简单基线。如果还没有实验，这部分是“证据不足”。
格雷厄姆的测试：好的想法往往看起来既新颖又显而易见。警惕那些只是因为复杂才显得新颖的想法。

诚实与严谨

格雷厄姆怀疑没有知识上的诚实就不可能做出卓越工作，因为没有自我欺骗的空间。

是否报告了不利结果、限制和失败案例？
结论与证据匹配吗？阅读标题和摘要中的头条声明，而不仅仅是正文。
提案是否说明了什么结果会证明它是错的？
作者是否比其他人更严格：他们是否跟进看起来有点不对劲的地方，还是绕过它们？

通用性

卓越工作往往是工具式的：其他人可以在此基础上构建。

核心想法是否独立于特定的模型、数据集或检查点？
可以用一句话或一个公式说清楚吗？它是一条导出的原则，还是一组通过试错找到的阈值？
一旦它有效，是否暴露出其他人可以继续回答的新问题？

问题本身

格雷厄姆观察到，伟大想法的洞察力往往在于问题，而不是答案。其他维度评判答案。这个维度评判问题。

问题是否足够具体以至于可以被错误回答？什么结果会显示这个想法是错的？
答案能让作者吃惊吗？形式为“我们如何构建 X”的问题只能以“我们构建了它”结束。关于某事物如何工作的问题可以以发现结束。
回答它是否通向一个更大的问题？最好的问题在回答过程中成长。

当这个维度薄弱时，提出一个更尖锐的问题版本。这通常是单一最有用的反馈，因为更好的问题会改变下游的一切。

第一步与失败的价值

格雷厄姆的建议是，从最简单可能工作的东西开始，然后制作后续版本。

在一两周内给出结果的最小的第一个版本是什么？
哪个结果意味着继续，哪个意味着改变方向？
如果项目最终失败，留下什么：数据、工具、一个有价值的负面结果、一个更好的问题？

高风险是好的，当预期价值很高时。当失败什么也不留下时，它才是问题。如果提案没有小的第一步，设计一个并写下来。

如果文档是关于已经采取的第一步的报告，则评估两件事：那一步是否小而信息量大；以及下一步是否同样小，并有一个足以停止的明确结果。

对作者三个回答的事实核查

不要对它们评分。对每个回答，给出三种发现之一，并附上证据：

支持 — 提案或你发现的事实支持该陈述。
矛盾 — 说明在哪里。最重要的案例是范围：如果作者写道没有人做过这个，或者别人无法绕过这个结果，而你找到了覆盖核心思想的工作，请指出该工作及其日期。导师在评审中比任何其他内容都更需要这个。
无法从文档中判断 — 例如，“我多年来一直想知道这个”。如实说明，不要猜测。

有用的检查事项：

范围： 结果是又一篇论文还是别人无法绕过的东西，取决于现有工作和其他团队。将回答与你的搜索结果进行比较。
好奇心： 如果回答提到作者追踪的一个惊喜或失败，提案中包含它吗？
为什么是你： 所述优势（数据、工具、初步结果）是否出现在提案中？所述资源需求是否与计划匹配？

如果文档主要读起来像是搜索工具或 AI 调查的输出，请说明。这样的文本反映的是工具而非作者，这三个回答随后需要当面确认。

输出格式

使用用户所用的语言撰写。简洁，以发现开头。正文部分应花费大约五分钟阅读。长的验证清单放在附录。

用一句简单的话表达的核心思想。
最相似的现有工作 — 3–5 项；提案相对每项增加或缺少了什么；日期；你验证的程度。
评分 — 五个维度的表格，按名称列出，附有等级（-1 / 0 / +1 / 证据不足）、一句理由以及来自文本的证据。
必须修复的问题 — 每个问题对应一个条目，标有其维度名称；得分为 -1 的维度可能有多个。将每个标记为可修复（实验缺陷、证据薄弱、缺失基线、没有闭环）或不改变想法则不可修复（核心思想已被覆盖、问题太小），并具体说明该怎么做。对于重新计算的数字，这里只说明它们是否匹配，并指出任何不匹配或无法重新计算的数字；详情放在附录。
做得好的方面 — 每个 +1 对应一个条目。如果没有，请说明。
最值得保留的线索 — 提案中最有可能发展出新东西的部分（如果有）。如果核心想法不成立，这里描述出路在哪里。
对三个回答的事实核查 — 支持 / 矛盾 / 无法判断，附有证据。如果作者的答案未提供，保留此标题，说明情况，并注明…

伟大工作评估