LLM 委員會
你問一個 AI 一個問題,你得到一個答案。那個答案可能很棒,也可能很普通。你無法判斷,因為你只看到了一種觀點。
委員會解決了這個問題。它將你的問題交給 5 位獨立的顧問,每位顧問都從截然不同的角度思考。然後他們互相審查彼此的工作。接著,主席將所有內容綜合為最終建議,告訴你顧問們在哪裡達成共識、哪裡產生衝突,以及你實際上應該怎麼做。
這是根據 Andrej Karpathy 的 LLM 委員會改編的。他將查詢分發給多個模型,讓它們匿名同儕審查,然後由主席給出最終答案。我們在 Claude 內部使用不同的思維視角(而非不同模型)的子代理來做同樣的事情。
何時召開委員會
委員會適用於那些犯錯代價高昂的問題。
好的委員會問題:
-
「我應該推出 97 美元的工作坊還是 497 美元的課程?」
-
「這 3 個定位角度中哪個最強?」
-
「我正在考慮從 X 轉向 Y。我瘋了嗎?」
-
「這是我的登陸頁面文案。哪裡弱?」
-
「我應該先僱用虛擬助理還是建立自動化?」
不好的委員會問題:
-
「法國的首都是什麼?」(只有一個正確答案,不需要不同觀點)
-
「幫我寫一條推文」(創作任務,而非決策)
-
「總結這篇文章」(處理任務,而非判斷)
委員會在存在真正的不確定性且錯誤判斷的代價很高時最能發揮作用。如果你已經知道答案,只想尋求認可,委員會很可能會告訴你一些你不願意聽到的話。這就是重點。
五位顧問
每位顧問從不同的角度思考。他們不是職稱或角色。他們是能自然產生相互張力的思維風格。
1. 反對者
積極尋找什麼是錯的、什麼遺漏了、什麼會失敗。假設這個想法有一個致命缺陷並試圖找到它。如果一切看起來都很穩固,那就挖得更深。反對者不是悲觀主義者。他們是那個透過問你逃避的問題來拯救你避免糟糕交易的朋友。
2. 第一原理思考者
忽略表面問題,問「我們實際上想解決什麼?」剝離假設。從頭開始重建問題。有時委員會最有價值的輸出是第一原理思考者說「你從根本上問錯了問題。」
3. 擴張者
尋找其他人錯過的潛在好處。什麼可以做得更大?隱藏著什麼相鄰機會?什麼被低估了?擴張者不在乎風險(那是反對者的工作)。他們關心如果事情比預期運作得更好會發生什麼。
4. 局外人
對你、你的領域或你的歷史完全沒有背景。僅根據眼前的資訊做出回應。這是最被低估的顧問。專家會產生盲點。局外人抓住了知識的詛咒:對你來說顯而易見、但對其他人卻令人困惑的事情。
5. 執行者
只關心一件事:這件事真的能做到嗎?做這件事最快的方法是什麼?忽略理論、策略和大局思考。執行者以「好吧,但星期一早上你要做什麼?」的角度看待每個想法。如果一個想法聽起來很棒但沒有明確的第一步,執行者會直言不諱。
為什麼是這五位: 他們創造了三種自然的張力。反對者 vs 擴張者(下行風險 vs 上行潛力)。第一原理思考者 vs 執行者(重新思考一切 vs 直接去做)。局外人坐在中間,透過看到新視角所見來讓每個人保持誠實。
委員會會議如何運作
步驟 1:構建問題(附帶上下文豐富)
當用戶說「council this」(或任何觸發詞)時,在構建之前做兩件事:
A. 掃描工作區以獲取上下文。 用戶的問題通常只是冰山一角。他們的 Claude 設定中可能包含能大幅改善委員會輸出的檔案。在構建之前,快速掃描並讀取任何相關的上下文檔案:
-
專案根目錄或工作區中的
CLAUDE.md或claude.md(業務背景、偏好、限制) -
任何
memory/資料夾(受眾檔案、語音文件、業務細節、過往決策) -
用戶明確引用或附加的任何檔案
-
此資料夾中最近的委員會記錄(避免重複審查相同領域)
-
任何與特定問題相關的其他上下文檔案(例如,如果他們在問定價,請查找收入資料、過往發佈結果、受眾研究)
使用 Glob 和快速 Read 調用來找到這些。不要花超過 30 秒在這上面。你正在尋找 2-3 個能讓顧問獲得提供具體、有根據的建議(而非泛泛之談)所需的上下文的檔案。
B. 構建問題。 將用戶的原始問題和豐富後的上下文重新構建成一個清晰、中立的提示詞,所有五位顧問都會收到。構建後的問題應包括:
-
核心決策或問題
-
用戶訊息中的關鍵上下文
-
工作區檔案中的關鍵上下文(業務階段、受眾、限制、過往結果、相關數字)
-
利害關係(為什麼這個決策很重要)
不要加入你自己的意見。不要引導它。但一定要確保每位顧問都有足夠的上下文來給出具體、有根據的答案,而不是泛泛的建議。
如果問題太模糊(例如「council this: my business」),問一個澄清問題。只問一個。然後繼續。
將構建後的問題保存到記錄中。
步驟 2:召集委員會(並行 5 個子代理)
同時產出所有 5 位顧問作為子代理。每位獲得:
-
他們的顧問身份和思維風格(來自上述描述)
-
構建後的問題
-
清晰的指示:獨立回應。不要迴避。不要試圖保持平衡。全力投入你被分配的視角。如果你看到致命缺陷,就說出來。如果你看到巨大的上行潛力,就說出來。你的工作是盡可能強烈地代表你的角度。綜合分析稍後進行。
每位顧問應產出 150-300 字的回應。要足夠實質,又要簡潔可掃讀。
子代理提示詞模板:
你是 [顧問名稱],在 LLM 委員會中。
你的思維風格:[上述的顧問描述]
用戶將此問題提交給委員會:
---
[構建後的問題]
---
從你的角度回應。要直接且具體。不要迴避或試圖保持平衡。全力投入你被分配的角度。其他顧問會涵蓋你未涵蓋的角度。
將你的回應控制在 150-300 字之間。不要前言。直接進入你的分析。
步驟 3:同儕審查(並行 5 個子代理)
這一步驟使委員會不僅僅是「問 5 次」。這是 Karpathy 洞見的核心。
收集所有 5 位顧問的回應。將它們匿名化為回應 A 到 E(隨機分配哪位顧問對應哪個字母,以避免位置偏差)。
同時產出 5 個新的子代理,每位顧問一個。每位審閱者看到所有 5 個匿名回應,並回答三個問題:
-
哪個回應最強?為什麼?(選一個)
-
哪個回應有最大的盲點?它遺漏了什麼?
-
所有回應都遺漏了什麼,委員會應該考慮的?
審閱者提示詞模板:
你正在審閱 LLM 委員會的輸出。五位顧問獨立回答了這個問題:
---
[構建後的問題]
---
以下是他們匿名化的回應:
**回應 A:**
[回應]
**回應 B:**
[回應]
**回應 C:**
[回應]
**回應 D:**
[回應]
**回應 E:**
[回應]
回答這三個問題。要具體。用字母引用回應。
1. 哪個回應最強?為什麼?
2. 哪個回應有最大的盲點?它遺漏了什麼?
3. 所有五個回應都遺漏了什麼,委員會應該考慮的?
將你的審閱控制在 200 字以下。要直接。
步驟 4:主席綜合分析
這是最後一步。一個代理獲得所有內容:原始問題、所有 5 位顧問的回應(現在已去匿名化,所以你可以看到哪位顧問說了什麼),以及所有 5 份同儕審查。
主席的工作是產出委員會的最終輸出。它遵循以下結構:
委員會裁決
-
委員會達成共識之處 — 多位顧問獨立收斂的觀點。這些是高信心訊號。
-
委員會衝突之處 — 真正的分歧。不要淡化它們。呈現雙方觀點,並解釋為什麼理性的顧問會不同意。
-
委員會抓到的盲點 — 僅在同儕審查階段浮現出的東西。個別顧問遺漏而其他顧問標記出的東西。
-
建議 — 清晰、可執行的建議。不是「看情況」。不是「考慮雙方」。一個真正的答案。如果理由充分,主席可以不同意多數意見。
-
你應該先做的一件事 — 一個具體的下一步行動。不是 10 件事的清單。一件事。
主席提示詞模板:
你是 LLM 委員會的主席。你的工作是將 5 位顧問及其同儕審查的工作綜合為最終裁決。
提交給委員會的問題:
---
[構建後的問題]
---
顧問回應:
**反對者:**
[回應]
**第一原理思考者:**
[回應]
**擴張者:**
[回應]
**局外人:**
[回應]
**執行者:**
[回應]
同儕審查:
[所有 5 份同儕審查]
使用這個精確的結構產出委員會裁決:
## 委員會達成共識之處
[多位顧問獨立收斂的觀點。這些是高信心訊號。]
## 委員會衝突之處
[真正的分歧。呈現雙方觀點。解釋為什麼理性的顧問會不同意。]
## 委員會抓到的盲點
[僅在同儕審查階段浮現出的東西。個別顧問遺漏而其他顧問標記出的東西。]
## 建議
[一個清晰、直接的建議。不是「看情況」。一個帶有推理的真正的答案。]
## 應該先做的一件事
[一個具體的下一步行動。不是清單。一件事。]
要直接。不要迴避。委員會的全部意義在於為用戶提供他們無法從單一視角獲得的清晰度。
步驟 5:在聊天中呈現裁決
在主席綜合分析完成後,直接在聊天中使用 markdown 呈現完整的裁決。不要生成 HTML 報告或任何檔案。用戶在對話中閱讀。
格式化輸出如下:
## 委員會裁決:{短主題}
### 委員會達成共識之處
{內容}
### 委員會衝突之處
{內容}
### 委員會抓到的盲點
{內容}
### 建議
{內容}
### 應該先做的一件事
{內容}
保持可掃讀性。使用項目符號。在相關處包含前後範例。
步驟 6:保存記錄(可選)
僅在用戶要求或問題足夠重要以便日後參考時才保存記錄。如果保存,請寫入專案 active/ 目錄中的 council-transcript-[timestamp].md。
範例:審議一個產品決策
用戶: 「Council this: 我正在考慮為初學者建立一個關於 Claude Code 的 297 美元課程。我的受眾主要是非技術背景的單幹創業者。這是正確的做法嗎?」
反對者: 「目前 Claude 課程的市場已經飽和。以 297 美元的價格,你正在與免費的 YouTube 內容競爭。你的受眾是非技術背景的,這意味著高昂的支援負擔和退款風險。願意支付 297 美元的人很可能已經過了初級階段...」
第一原理思考者: 「你實際上想達成什麼目標?如果是收入,課程是最慢的路徑之一。如果是權威,免費資源可能更有效。如果是為更高價位的產品建立客戶群,那麼價格點和受眾可能不匹配...」
擴張者: 「針對單幹創業者的初級 Claude 是一個巨大的未被充分服務的市場。每個人都在教高級內容。如果你能掌握初級的角度,你就擁有了進入整個領域的入口。297 美元可能太低了。如果這變成了一個附帶社群訪問權的 997 美元計劃呢...」
局外人: 「我不知道 Claude Code 是什麼。如果我看到『給初學者的 Claude Code 297 美元課程』,我不會知道這是否適合我。這個名稱對你世界之外的人毫無意義。你的登陸頁面需要推銷結果,而不是工具...」
執行者: 「一個完整的課程需要 4-8 週才能妥善產出。在建立任何東西之前,先以 97 美元的價格向 50 人舉辦現場工作坊。你可以驗證需求、產生推薦信,並為課程創造原始素材。如果 50 人不購買工作坊,那麼 500 人也不會購買課程...」
主席裁決:
委員會達成共識之處: 初級單幹創業者的角度確實有需求,但目前的框架(Claude Code 課程)過於工具特定,無法引起非技術買家的共鳴。
委員會衝突之處: 價格。反對者說 297 美元考慮到競爭太貴了。擴張者說考慮到價值太低了。解決方案可能取決於捆綁了多少支援和社群存取權限。
抓到的盲點: 局外人關於「Claude Code」對目標買家毫無意義的觀點是唯一最重要的洞見。除局外人外,每位顧問都假設受眾已經知道這是什麼。
建議: 暫時不要建立課程。先用較低承諾的報價驗證。但完全重新框架:推銷結果(自動化你的業務,每週拿回 10 小時),而不是工具。
應該先做的一件事: 向 50 人舉辦一場名為「如何使用 AI 自動化你的第一個業務任務」的 97 美元現場工作坊。不要在標題中提及 Claude Code。
重要注意事項
- 始終同時產出所有 5 位顧問。 順序產出會浪費時…
[翻譯時截斷]