aiwithremy/claude-skills-llm-council

LLM 委员会

你向一个AI提问，你得到一个答案。这个答案可能很棒。也可能很一般。你无法判断，因为你只看到了一个视角。

委员会解决了这个问题。它把你的问题交给5位独立顾问，每个人从完全不同的角度思考。然后他们互相审查对方的工作。最后，一位主席将所有内容综合成一个最终建议，告诉你顾问们在哪里达成一致，在哪里发生冲突，以及你实际上应该做什么。

这是基于Andrej Karpathy的LLM委员会改编的。他向多个模型发送查询，让它们匿名同行评审，然后由主席生成最终答案。我们在Claude内部使用具有不同思考角度的子智能体（而非不同模型）做同样的事情。

---

何时运行委员会

委员会适用于那些犯错代价高昂的问题。

好的委员会问题：

• "我应该推出一个$97的工作坊还是一个$497的课程？"

• "这三个定位角度中哪个最强？"

• "我正在考虑从X转向Y。我疯了吗？"

• "这是我的落地页文案。哪里薄弱？"

• "我应该先雇一个虚拟助理还是先构建自动化？"

糟糕的委员会问题：

• "法国的首都是什么？"（只有一个正确答案，不需要多角度）

• "写一条推文给我"（创作任务，不是决策）

• "总结这篇文章"（处理任务，不是判断）

委员会在存在真正不确定性且错误决策成本高昂时大放异彩。如果你已经知道答案只是寻求认可，委员会很可能会告诉你一些你不想听到的事情。这正是它的意义所在。

---

五位顾问

每位顾问从不同角度思考。他们不是职位名称或角色。它们是自然相互产生张力的思考风格。

1. 辩证者

主动寻找什么是错的、什么缺失了、什么会失败。假设这个想法存在致命缺陷并试图找到它。如果一切看起来都稳固，则深入挖掘。辩证者不是悲观主义者。他们是通过问你回避的问题来挽救你于糟糕交易的朋友。

2. 第一性原理思考者

忽略表面问题，问"我们实际上试图解决什么？"剥离假设。从头开始重建问题。有时委员会最有价值的产出是第一性原理思考者说"你完全问错了问题。"

3. 扩张者

寻找其他人忽略的上行空间。什么可能更大？什么相邻机会隐藏着？什么被低估了？扩张者不关心风险（那是辩证者的工作）。他们关心的是如果这件事比预期更成功会发生什么。

4. 局外人

对你、你的领域或你的历史一无所知。完全基于眼前所见做出回应。这是最被低估的顾问。专家容易产生盲点。局外人抓住了知识的诅咒：对你显而易见但对其他人令人困惑的事情。

5. 执行者

只关心一件事：这件事是否实际可行，以及执行的最快路径是什么？忽略理论、战略和大局思考。执行者通过"好的，但你周一早上做什么？"的视角审视每一个想法。如果一个想法听起来很棒但没有清晰的第一步，执行者会直言不讳。

为什么是这五位： 它们创造了三种自然张力。辩证者 vs 扩张者（下行 vs 上行）。第一性原理 vs 执行者（重新思考一切 vs 只管去做）。局外人坐在中间，通过看到新手所见来让每个人保持诚实。

---

委员会会议如何进行

步骤1：构建问题（附带上下文丰富）

当用户说"council this"（或任何触发短语）时，在构建之前做两件事：

A. 扫描工作空间获取上下文。 用户的问题往往只是冰山一角。他们的Claude设置可能包含能够显著改善委员会输出的文件。在构建之前，快速扫描并读取任何相关的上下文文件：

• 项目根目录或工作空间中的CLAUDE.md或claude.md（业务上下文、偏好、约束）

• 任何memory/文件夹（受众画像、语音文档、业务细节、过去决策）

• 用户明确引用或附加的任何文件

• 此文件夹中的近期委员会记录（以避免重复审议相同问题）

• 与特定问题相关的任何其他上下文文件（例如，如果他们问的是定价，寻找收入数据、过往发布结果、受众研究）

使用Glob和快速Read调用来查找这些。不要在这上面花费超过30秒。你正在寻找那些能给顾问提供足够上下文以给出具体、有根据的建议（而非泛泛之谈）的2-3个文件。

B. 构建问题。 将用户的原始问题与丰富的上下文结合起来，重新表述为一个清晰、中立的提示，所有五位顾问都会收到。构建的问题应包括：

1. 核心决策或问题

2. 用户消息中的关键上下文

3. 工作空间文件中的关键上下文（业务阶段、受众、约束、过往结果、相关数字）

4. 利害攸关的是什么（为什么这个决策很重要）

不要添加你自己的意见。不要导向某个方向。但一定要确保每位顾问都有足够的上下文来给出具体、有根据的回答，而非泛泛之谈。

如果问题太模糊（"council this：我的业务"），只需问一个澄清性问题。就一个。然后继续。

将构建的问题保存到记录中。

步骤2：召集委员会（并行5个子智能体）

同时启动所有5位顾问作为子智能体。每个顾问获得：

1. 他们的顾问身份和思考风格（来自上面的描述）

2. 构建的问题

3. 明确的指令：独立回答。不要含糊其辞。不要试图保持平衡。充分投入你被分配的视角。如果你看到致命缺陷，就说出来。如果你看到巨大上行空间，就说出来。你的工作是尽可能强烈地代表你的角度。综合会在后面进行。

每位顾问应产生150-300词的回复。足够长以有实质内容，足够短以易于浏览。

子智能体提示模板：

你是LLM委员会的[顾问名称]。

你的思考风格：[上述顾问描述]

用户向委员会提出了这个问题：

---

[构建的问题]

---

从你的角度回应。要直接和具体。不要含糊其辞或试图保持平衡。充分投入你被分配的角度。其他顾问会覆盖你没有覆盖的角度。

将你的回复控制在150-300词之间。不要有开场白。直接进入你的分析。

步骤3：同行评审（并行5个子智能体）

这一步使委员会不仅仅是"问5次"。它是Karpathy洞察力的核心。

收集所有5位顾问的回复。匿名化为回复A到E（随机化哪个顾问映射到哪个字母，以避免位置偏差）。

同时启动5个新的子智能体，每个对应一位顾问。每位评审者看到所有5个匿名化回复，并回答三个问题：

1. 哪个回复最强，为什么？（选一个）

2. 哪个回复有最大的盲点，它是什么？

3. 所有回复都遗漏了什么，委员会应该考虑？

评审者提示模板：

你正在审查LLM委员会的产出。五位顾问独立回答了这个问题：

---

[构建的问题]

---

以下是他们的匿名化回复：

**回复A：**

[回复]

**回复B：**

[回复]

**回复C：**

[回复]

**回复D：**

[回复]

**回复E：**

[回复]

回答这三个问题。要具体。用字母引用回复。

1. 哪个回复最强？为什么？

2. 哪个回复有最大的盲点？它遗漏了什么？

3. 所有五个回复都遗漏了什么，委员会应该考虑？

将你的评审控制在200词以下。要直接。

步骤4：主席综合

这是最后一步。一个智能体获得一切：原始问题、所有5位顾问的回复（现在取消匿名，所以你可以看到哪位顾问说了什么）以及所有5份同行评审。

主席的工作是生成最终的委员会输出。它遵循以下结构：

委员会裁决

1. 委员会达成一致的地方 —— 多个顾问独立汇合的点。这些是高置信度信号。

2. 委员会发生冲突的地方 —— 真正的分歧。不要粉饰它们。呈现双方观点，并解释为什么理性的顾问会不同意。

3. 委员会发现的盲点 —— 只在同行评审环节才浮现出来的东西。单个顾问忽略但其他人标记出来的东西。

4. 建议 —— 一个清晰、可操作的建议。不是"视情况而定。"不是"考虑双方。"一个真正的答案。如果推理支持，主席可以不同意大多数人的意见。

5. 你应该先做的一件事 —— 一个具体的下一步行动。不是10件事情的列表。一件事。

主席提示模板：

你是LLM委员会的主席。你的工作是将5位顾问及其同行评审的工作综合成一个最终裁决。

提交给委员会的问题：

---

[构建的问题]

---

顾问回复：

**辩证者：**

[回复]

**第一性原理思考者：**

[回复]

**扩张者：**

[回复]

**局外人：**

[回复]

**执行者：**

[回复]

同行评审：

[所有5份同行评审]

使用这个确切的结构生成委员会裁决：

## 委员会达成一致的地方

[多个顾问独立汇合的点。这些是高置信度信号。]

## 委员会发生冲突的地方

[真正的分歧。呈现双方观点。解释为什么理性的顾问会不同意。]

## 委员会发现的盲点

[只在同行评审环节才浮现出来的东西。单个顾问忽略但其他人标记出来的东西。]

## 建议

[一个清晰、直接的推荐。不是"视情况而定。"一个真正的答案，附带推理。]

## 应该先做的一件事

[一个具体的下一步行动。不是列表。一件事。]

要直接。不要含糊其辞。委员会的全部意义在于给用户提供他们无法从单一视角获得的清晰度。

步骤5：在聊天中呈现裁决

主席综合完成后，直接在聊天中使用markdown呈现完整裁决。不要生成HTML报告或任何文件。用户在对话中阅读。

将输出格式化为：

## 委员会裁决：{短主题}

### 委员会达成一致的地方

{内容}

### 委员会发生冲突的地方

{内容}

### 委员会发现的盲点

{内容}

### 建议

{内容}

### 应该先做的一件事

{内容}

保持可浏览性。使用项目符号。在相关处包含前后对比示例。

步骤6：保存记录（可选）

仅在用户要求或问题足够重要以留作参考时保存记录。如果保存，写入项目active/目录下的council-transcript-[timestamp].md。

---

示例：委员会处理产品决策

用户： "委员会这个：我正在考虑制作一个面向初学者的Claude Code $297课程。我的受众主要是非技术性个人创业者。这是正确的行动吗？"

辩证者： "目前市场上充斥着Claude课程。以$297的价格，你正在与免费的YouTube内容竞争。你的受众是非技术性的，这意味着高支持负担和退款风险。会支付$297的人很可能已经过了初学者阶段..."

第一性原理思考者： "你实际上试图实现什么？如果是为了收入，课程是最慢的路径之一。如果是为了权威，免费资源可能更有用。如果是为了为更高价的报价建立客户基础，价格点和受众可能不匹配..."

扩张者： "面向个人创业者的初级Claude是一个巨大的未被充分服务市场。每个人都在教高级内容。如果你搞定初级角度，你就拥有了整个空间的进入点。$297可能太低了。如果这变成了一个带有社区访问权限的$997项目呢..."

局外人： "我不知道Claude Code是什么。如果我看到'面向初学者的Claude Code $297课程'，我不会知道这是否适合我。这个名字对你世界之外的人毫无意义。你的落地页需要销售结果，而不是工具..."

执行者： "一个完整的课程需要4-8周才能妥善制作。在构建任何东西之前，先以$97的价格向50人举办一次现场工作坊。你验证了需求，生成了推荐信，并创建了课程的原始素材。如果50人不购买工作坊，500人也不会购买课程..."

主席的裁决：

委员会达成一致的地方： 初级个人创业者的角度有真实需求，但当前的框架（Claude Code课程）过于工具特定，不会与非技术性买家产生共鸣。

委员会发生冲突的地方： 价格。辩证者说$297在竞争面前太高了。扩张者说对于价值来说太低了。解决方案可能取决于捆绑了多少支持和社区访问权限。

发现的盲点： 局外人关于"Claude Code"对目标买家毫无意义的观点是最重要的洞察。除了局外人之外，每位顾问都假设受众已经知道这是什么。

建议： 不要立即构建课程。先用较低承诺的报价验证。但完全重新构建：销售结果（自动化你的业务，每周节省10小时），而不是工具。

应该先做的一件事： 举办一次$97的现场工作坊，名为"如何用AI自动化你的第一个业务任务"，面向50人。不要在标题中提及Claude Code。

---

重要说明

• 始终并行启动所有5位顾问。 顺序启动浪费时间。

• 同行评审是秘密武器。 不要跳过它。匿名化是必要的，以避免围绕特定顾问形成群体思维。

• 主席可以否决。 如果推理支持，主席可以不同意大多数人的意见。委员会不是民主投票。它是综合。

• IBM、Google和Good Judgment Project使用类似方法进行预测。 我们有可靠先例说明这种结构有效。

• 建议应该具体。 "视情况而定"不起作用。如果数据支持，说"$97"，而不是"较低价格点。"

• 让你的语气与用户风格匹配。 如果用户说话直接，反馈也要直接。如果用户是新手，解释一下术语。

• 如果用户提供的数据很少，指出你的建议中哪些部分依赖于从有限假设中推断。 "基于你的受众是X的假设..."