menhguin/how-to-do-good-research

良い研究の進め方

使用タイミング

実質的な科学・ML研究（問題の選択・再構成、実験設計、提案書・論文の執筆・再構成、証拠が主張を支持するかの検証、次の実験の決定）を行う際にロードしてください。単一の事実確認や機械的なファイル編集には使用しないでください。

これは意図的に小さな参考文献中心のスキルです。最初の役割は、モデルが実験計画や論文執筆の前に、異常に高シグナルの参考文献を参照させることです。ユーザーが新たな情報源や基本原則を開発した場合は、それらを追加してください。

合わせてロードするスキル

• このスキルが有効になった際は必ずhumanizerをロードしてください。 ユーザー向けの提案書、論文、アブストラクト、イントロダクション、レビュー、研究メモを作成または編集する前にこれを読んでください。技術的正確性とユーザー自身の声を維持しながら、最終的な散文にAI回避パスを適用してください。
• 作業がユーザーの研究システムに属する場合、ai-research-customをロードしてください。 このスキルは、アーティファクトのルーティング、正規のプロジェクト/実験記録の形式、打ち切り基準、台帳を管理します。
• タスクに文献調査や広範な情報源の統合が必要な場合、deep-research-orchestration-customをロードしてください。 このスキルは研究の品質を管理し、deep-research-orchestration-customはファンアウトと情報検索を管理します。

優先参考文献

実質的な研究設計や論文構造の決定を行う前に、Hamming、Carlini、Nandaの該当部分を読んでください。また、エージェント支援による定量的作業を選択または実行する際には、Schwartz/BootLoopsも参照してください。研究がスタートアップやその他の応用環境で行われている場合は、まずKeiを読んでください。他の4つは学術環境や大規模ラボ環境を前提としているためです。タスクが小規模な場合は、決定を変える原則のみを抽出し、すべてのエッセイを儀式的に要約しないでください。

1. リチャード・ハミング「あなたとあなたの研究」
   https://www.cs.virginia.edu/~robins/YouAndYourResearch.html

   問題選択と研究の方向性に使用します。その問題が重要であり、かつ合理的な攻め方があるかどうかを問いかけます。見かけ上の制約を結果に変えられるか、孤立したタスクをクラス全体に再利用可能な結果にできるか、矛盾する証拠を可視化し続ける必要があるかを検討します。ハミングが述べるバランスを維持します：アイデアを実行に移すために十分信じ、それがどこで失敗するかに気づくために十分疑うこと。

2. ニコラス・カーリーニ「最優秀論文賞を獲る方法（あるいは、重要な研究をする方法についての独断的な見解）」
   https://nicholas.carlini.com/writing/2026/how-to-win-a-best-paper-award.html

   研究のセンス、実行、論文の焦点に使用します。論文の単一のアイデアを可能な限り少ない言葉で述べます。プロジェクトを頓挫させる可能性が最も高いサブ問題から始めます。予測可能な反論に対して精密な実験、複数試行、対照実験を実行します。論文を局所的に完結させ、単に関連するだけの実験すべてを実行する必要はありません。大幅な投資の前に最良の結果を想定した結論を書きます。想定読者を知り、図表は独立して理解できるように設計します。

3. ニール・ナンダ「ML論文の書き方に関する非常に独断的なアドバイス」
   https://www.alignmentforum.org/posts/eJGptPbbFPZGLpjsp/highly-opinionated-advice-on-how-to-write-ml-papers

   主張、証拠、反復的な執筆に使用します。プロジェクトを1〜3の具体的な主張、その重要性、各主張に対する1〜3の決定的な実験に圧縮します。競合する仮説を区別する実験を優先します。ナラティブへの反証を行います。強力かつ適切に調整されたベースラインを使用します。探索的分析と確認的分析を区別します。限界と否定的結果を保持します。段階的に拡張します：圧縮された箇条書きのナラティブ → イントロダクションの概要 → 論文全体の概要 → 図表/結果 → 散文 → 繰り返し編集。

4. マシュー・シュワルツ「Claudeが形作る科学」（Anthropic Science Blog, 2026年10月1日）
   https://www.anthropic.com/research/claude-shaped-science
   ツールキットとプロトコル：https://bootloops.ai/harness.html · https://github.com/BootLoops-ai/bootloops · https://github.com/BootLoops-ai/skills

   研究エージェントを用いた問題選択と信頼性のある実行に使用します。シュワルツのBootLoopsケーススタディは、ハミングの重要性と攻めやすさのテストに、能力適合性の問いを追加します：どの重要な問題が、モデルの広範さ、コーディング能力、機械規模の読解、または網羅的な計算を通じて扱いやすくなるか？ エージェントに人間研究者のワークフローを模倣させる前に、分野を超えて共有される数学的構造と既存の方法を検索します。以下の区別を明確に保ちます：

   • 技術的正確性と科学的価値は別々のゲートです。 新規性と関連性を現在の文献とドメイン専門知識に対して確認します。シュワルツの生態学と遺伝学の例では、専門家は最初の正しい計算を面白くないと判断し、有用な質問へと方向転換させました。単なる桁数の増加や高速な再現ではなく、新しく答えられる質問を優先します。「AIが形作る」ことを扱いやすさだけを最適化する言い訳にしないでください。
   • グラインドをスケールさせる前に方法を改善します。 小規模な実行を測定し、ボトルネックを検査し、長時間の計算を開始する前に既存のツールとアルゴリズムを検索します。改善が一般化する場合は、既知のケースで検証し、その目的、適用範囲、インターフェース、検証基準を保持して、次のプロジェクトがそれを継承できるようにします。失敗したプロジェクトからの有用なツールも含めます。
   • 自身の入力を認証できないチェックを設計します。 独立した参照ルートと、適合や選択に使用されていない保留点/データを使用します。参照の出典を記録します。植えられた真実を回復し、意図的に破損したケースを拒否して、チェッカー自体をテストします。必要に応じて精度の段階的向上や認定された誤差範囲を使用します。数値的一致は計算を支持しますが、それ自体が一般的な恒等式の証明ではありません。
   • 完了を文字通りにします。 実行可能な再現スクリプト、定量的な受理基準、プロット、未解決の仮定を保持します。証明されていない荷重ベアリングの補題、代用された公理、あいまいな「良好な一致」は完了した結果ではありません。独立した懐疑的レビューを使用し、結果を解決し、安心できる要約を受け入れずに実際のアーティファクトを再確認します。セッションと圧縮をまたいで、現在の計画と証拠をディスク上に保持します。

   必要に応じて、関連する上流プロトコルを読んでください。特にacceptance-gate, planted-truth, independence-bookkeeping, timing-discipline, reading-contract, tool-stewardship。証明作業にはprove-protocolを参照してください。これらはモデルに依存しない参考文献であり、自動的にインストールされるスキルや普遍的な保証ではありません。SchwartzはAnthropicの資金提供を受けてBootLoopsを所有・維持しています。報告された科学的成果は著者が報告したものであり、プロジェクトレベルでの検証が必要です。モデルが変化するにつれて、モデル固有の能力限界を再評価してください。

5. Kei「研究スタートアップの進め方」（2024年9月5日）
   https://web.archive.org/web/20240920140442/https://keiyuva.ai/posts/type.startup/
   アーカイブコピー。オリジナル（keiyuva.ai/posts/type.startup）は、ドメインが2026年に失効したためオフラインになりました。

   研究がスタートアップやその他の応用環境で行われている場合の入門書として使用します。そこでの実験研究は、学界や大規模ラボと類似した制約の下で実行されますが、決定を変える点でそれらとは異なります。上記の4つの参考文献を含むほとんどの研究アドバイスは、異なるリズム、環境、インセンティブのセットを前提としているため、それらのいずれかを適用する前に、作業が何のためであり、どこで行われているかを確立してください。Keiは研究スタートアップの創業者として執筆しています。投資家はスピードを重視しますが、より多くの資金が確実に研究を速くするわけではありません。「50のことを試してすべて失敗するか、1〜2回の試行で成功するかもしれません。」進捗には明確な指標がないため、誰かが強いPI（Principal Investigator）として機能し、方向性を設定し、何を終了するかを決定する必要があります。全員がすべてを試みることが会社の破綻につながるからです。支出は独立性と結びついており、制約のあるベット、互いに積み重なる小さな成功実験、そして研究への復帰の間に堅実な一口サイズの製品リリースを好みます。限られたリソースは、より大きな予算では買えなかった、より安価でより良い方法を強制することもあります。結果を報告する際には、何を試み、なぜ失敗したかを述べてください。このエッセイは、「うまくいかなかった」という理由の説明がない場合を警告サインとして扱います。ある創業者の一社の報告として扱ってください。

作業手順

1. 問題を選択します。 なぜそれが重要なのか、なぜ今合理的な攻め方があるのか、そしてこのチームだけができることは何かを書きます。エージェント支援作業の場合は、具体的なAIの利点を挙げ、科学的価値を別途確立します。設定と作業の目的（論文、製品、顧客、資金調達）を明記します。これにより、上記のアドバイスのどれが適用されるかが決まります。
2. 拡張する前に圧縮します。 一文のアイデア、最良の結果を想定した結論、そして最大3つの主張を書きます。
3. 主張を証拠にマッピングします。 各主張に対して、決定的な実験、最も強力な代替説明、最も強力なベースライン、そしてそれを否定または狭める結果を記述します。
4. 最初に起こりそうな失敗に取り組みます。 他の部分を磨く前に、最も荷重の大きい不確実性に対する最も安価なテストを構築します。
5. 論文の図を早期に設計します。 各計画図には、一文のポイントと、それが支持する主張を明記します。キャプションで説明できない場合は分割します。
6. 論文を単一に保ち、付録を広くします。 すべての本文実験は一つのアイデアを前進させなければなりません。有用だが荷重ベアリングではないスイープ、暗黙知、副次的発見は付録またはコンパニオンノートに配置します。
7. 冷めた読者の視点から書きます。 コンテキスト → 問題 → 主張 → 証拠 → インパクト。読者が必要とする用語を定義します。単純なアイデアを形式的な言葉の背後に隠さないでください。
8. humanizerをロードして適用します。 AI的な表現、壁のような文章のリズム、不要な見出し、定型の遷移、ダッシュの多用、一般的な重要性を示す表現を削除します。アーティファクトが重要な場合は、散文を声に出して読むかTTSを使用します。
9. 公開前に監査します。 事実/引用の正確性、証拠の強さ、報告されていない否定的結果、事前/事後ステータス、再現性、そして結論が実際に「だから何？」に答えているかを確認します。

新規プロジェクトの最小出力

長い提案書の前に以下を作成します：

• 一文のアイデア
• 最良の結果を想定した結論
• 1〜3の主張
• 主張 → 証拠 → 反証のマップ
• 最初のキルテスト
• 計画された主要図
• 既知の交絡因子と最強のベースライン
• 意図的に範囲外とするもの

その後でのみ散文に拡張します。