menhguin/how-to-do-good-research

如何做好研究

何時使用

在進行實質性的科學或機器學習研究時載入此技能：選擇或重新定義問題、設計實驗、撰寫或重組提案/論文、審查證據是否支持主張，或決定下一步該做什麼。對於單一事實查詢或機械性的檔案編輯則跳過此技能。

這是一個刻意設計得較為精簡、以參考資料為主的技能。它的首要任務是讓模型在規劃實驗或撰寫論文之前，先查閱這些異常高訊號的參考資料。可以隨著使用者發展，加入更多來源和內部原則。

與此技能一同載入

• humanizer：每當此技能啟用時也載入它。 在起草或編輯任何面向使用者的提案、論文、摘要、引言、審查或研究備忘錄之前，先閱讀它。在最終的散文中應用其反 AI 痕跡處理，同時保持技術精確性和使用者自己的語氣。
• ai-research-custom： 當工作屬於使用者的研究系統時載入。該技能負責管理 artifact 路由、標準的專案/實驗記錄格式、終止條件和分類帳。
• deep-research-orchestration-custom： 當任務需要文獻搜尋或廣泛的來源綜合時載入。此技能管轄研究品質；而 deep-research-orchestration-custom 管轄分支探索與資訊檢索。

優先參考資料

在做出實質性的研究設計或論文結構決定之前，閱讀 Hamming、Carlini 和 Nanda 的相關部分。在選擇或執行 AI 輔助的量化工作時，也請查閱 Schwartz/BootLoops。當研究是在新創公司或其他應用環境中進行時，優先閱讀 Kei，因為其他四份資料假設的是學術或大型實驗室環境。如果任務很小，只需提取改變決策的原則即可；不要儀式性地總結每篇文章。

1. Richard Hamming, "You and Your Research"
   https://www.cs.virginia.edu/~robins/YouAndYourResearch.html

   用於問題選擇和研究方向定位。問問這個問題是否重要 且 有合理的切入點；一個明顯的限制條件是否可以轉化為成果；這個孤立的任務是否能成為關於某一類問題的可重用結果；以及哪些矛盾證據必須保持可視化。保留 Hamming 所描述的平衡：既要有足夠的信念去執行，也要有足夠的懷疑去發現其失敗之處。

2. Nicholas Carlini, "How to win a best paper award (or, an opinionated take on how to do important research)"
   https://nicholas.carlini.com/writing/2026/how-to-win-a-best-paper-award.html

   用於研究品味、執行和論文重點。用盡可能少的詞語陳述論文的一個核心想法；從最有可能導致專案失敗的子問題開始；進行精確的實驗、多次試驗和針對可預見反對意見的控制組；使論文在局部範圍內完整，無需執行每個僅相關的實驗；在投入大量精力之前，先撰寫最佳情況下的結論；了解目標讀者；並設計能獨立說明的圖表。

3. Neel Nanda, "Highly Opinionated Advice on How to Write ML Papers"
   https://www.alignmentforum.org/posts/eJGptPbbFPZGLpjsp/highly-opinionated-advice-on-how-to-write-ml-papers

   用於處理主張、證據和疊代寫作。將專案壓縮為一到三個具體主張、它們為何重要，以及每個主張的一到三個決定性實驗。偏好能夠區分競爭假說的實驗；對敘事進行紅隊測試；使用強大且調校良好的基線；標記探索性分析與驗證性分析；保留限制條件和無效結果；並分階段展開：壓縮的要點敘事 -> 引言大綱 -> 完整論文大綱 -> 圖表/結果 -> 散文 -> 反覆編輯。

4. Matthew Schwartz, "Claude-shaped science" (Anthropic Science Blog, October 1, 2026)
   https://www.anthropic.com/research/claude-shaped-science
   工具組與協定：https://bootloops.ai/harness.html · https://github.com/BootLoops-ai/bootloops · https://github.com/BootLoops-ai/skills

   用於使用研究代理進行問題選擇和可靠的執行。Schwartz 的 BootLoops 案例研究在 Hamming 的重要性與切入點測試之外，增加了一個能力匹配問題：哪些重要的問題，可以透過模型的廣度、編碼能力、機器規模的閱讀或窮舉計算變得易於處理？在強迫代理模仿人類研究者的工作流程之前，應跨學科搜尋共享的數學結構和現有方法。明確區分以下幾點：

   • 技術正確性和科學價值是兩個獨立的關卡。 根據當前文獻和領域專業知識檢查新穎性和相關性。在 Schwartz 的生態學和遺傳學例子中，專家發現最初的正確計算並不有趣，並將其引導至有用的問題上。優先考慮新近可回答的問題，而非僅是更多的數字或更快的重現；不要讓「AI 形塑」成為僅因易於處理而最佳化的藉口。
   • 在擴大規模之前，先改進方法。 先進行小規模運行測量，檢查瓶頸，並在啟動長時間計算之前搜尋現有工具和演算法。如果某個改進具有通用性，在已知案例上驗證它，並保留其目的、適用性、介面和驗證標準，以便下一個專案可以繼承它，包括來自失敗專案的有用工具。
   • 設計無法驗證自身輸入的檢查機制。 使用一個獨立的參考路徑和未曾用於擬合或選擇答案的保留點/資料；記錄參考來源。透過恢復植入的真實情況和拒絕刻意破壞的案例來測試檢查器本身。在適當時使用精度升級或帶有保證的錯誤邊界。數值一致性支持一個計算，但本身並不能證明一個通用恆等式。
   • 讓完成度成真。 保留可執行的重現腳本、量化驗收標準、圖表和未解決的假設。一個未經證明的承重引理、替代公理或模糊的「良好一致性」都不是一個完成的結果。使用獨立的、持懷疑態度的審查，解決發現的問題，並重新檢查實際的 artifact，而不是接受一個令人安心的摘要。在跨會話和壓縮過程中，將當前的計劃和證據保留在磁碟上。

   必要時閱讀相關的上游協定，特別是 acceptance-gate、planted-truth、independence-bookkeeping、timing-discipline、reading-contract 或 tool-stewardship；對於證明工作，請查閱 prove-protocol。這些是與模型無關的參考資料，而非自動安裝的技能或通用保證。Schwartz 在 Anthropic 的資助下擁有並維護 BootLoops；所報告的科學成就是由作者報告的，需要專案層級的驗證。隨著模型的變化，重新評估特定模型的能力限制。

5. Kei, "Doing a Research Startup" (September 5, 2024)
   https://web.archive.org/web/20240920140442/https://keiyuva.ai/posts/type.startup/
   存檔副本。原始網址 keiyuva.ai/posts/type.startup 在 2026 年域名到期後已離線。

   當研究是在新創公司或其他應用環境中進行時，作為入門讀物使用。那裡的實驗研究面臨的約束條件，既類似於學術界或大型實驗室，又在某些方面有所不同，從而改變了決策。大多數研究建議，包括上面四份參考資料，都假設了不同的節奏、環境和激勵機制，因此在應用任何建議之前，先確定這項工作的目的和場所。Kei 以一家研究新創公司創辦人的身份寫作。投資者為速度買單，但更多的資金並不一定能可靠地加速研究：「你可能嘗試 50 件事，全部失敗，或者在 1-2 次嘗試中就成功。」進展沒有清晰的指標，所以必須有人扮演強勢 PI 的角色，設定方向並決定關閉哪些項目，因為讓每個人都嘗試所有事情是公司倒閉的原因。支出與獨立性掛鉤，這有利於受限的賭注、能夠相互疊代的小型成功實驗，以及在回歸研究之間推出紮實的小型產品發布。資源緊張有時反而能強迫出比更大預算所能買到的更便宜、更好的方法。在報告結果時，要說明嘗試了什麼以及為何失敗；這篇文章將「沒成功」而沒有任何解釋的情況視為一個警示訊號。將其視為一位創辦人對一家公司的記述。

工作序列

1. 選擇問題。 寫下為什麼它重要、為什麼現在有合理的切入點，以及為什麼只有這個團隊有條件去做。對於 AI 輔助的工作，要明確指出特定的 AI 優勢，並分別建立其科學價值。說明研究環境以及這項工作的目的（一篇論文、一個產品、一個客戶、一輪募資），因為這決定了上述哪些建議適用。
2. 先壓縮，再展開。 寫下一句話的想法、最佳情況下的結論，以及不超過三個主張。
3. 將主張映射到證據。 對於每個主張，說明決定性的實驗、最強烈的替代解釋、最強大的基線，以及會使其無效或縮小範圍的結果。
4. 先攻擊最可能的失敗點。 在完善其他部分之前，先建構對最關鍵的不確定性進行測試的最便宜方案。
5. 及早設計論文的圖表。 每個計劃中的圖表都需要一句話的重點說明和一個它所支持的主張名稱。如果圖說無法解釋清楚，就將其拆分。
6. 保持論文主體單一，附錄廣泛。 每個正文實驗都必須推進這一個核心想法。將有用但不承重的掃描、默會知識和次要發現放在附錄或附註中。
7. 從冷讀者的角度寫作。 背景 -> 問題 -> 主張 -> 證據 -> 影響。定義讀者需要的術語；不要把一個簡單的想法藏在正式語言後面。
8. 載入並應用 humanizer。 移除 AI 化的措辭、文字牆般的節奏、不必要的標題、制式化的轉折、過度使用的破折號，以及空泛的重要性描述。當 artifact 很重要時，大聲朗讀或用 TTS 聽一遍。
9. 發布前進行審計。 檢查事實/引用準確性、證據強度、未報告的無效結果、事前/事後狀態、可重現性，以及結論是否真正回答了「那又怎樣？」的問題。

新專案的最低輸出

在撰寫長篇提案之前，產出以下內容：

• 一句話的核心想法
• 最佳情況下的結論
• 一到三個主張
• 主張 -> 證據 -> 反證映射
• 第一個殺手級測試
• 計劃中的主要圖表
• 已知的混淆變數和最強大的基線
• 刻意排除在範圍之外的內容

只有在完成這些之後，才展開為完整的文章。