研究執筆 は何をしますか？
優れた研究執筆の大半は、文章が下手なのではない。反証不可能なのだ。つまり、読み心地の良い正確な散文でありながら、たとえ間違っていたとしても読者が何も行動を起こせないような主張を一切含んでいない。測定結果を示す。AIが生成した研究散文の一節は、単語レベルのリント全体で1万語あたり0.0ヒットを記録し、472語の中に1つの反証可能な主張を含んでいた。表面上のチェックはすべて通過したが、何も語っていなかった。
だからこそパス1は主張監査である。それ以外は二次的なものだ。
パス1 — 監査（常に実行すること）
最初にモードを選択する。 文書に対して間違った質問をしても何も得られない。
| あなたの立場… | 単位 | 質問 |
|---|---|---|
| 改訂する側 | 各段落 | これを偽とする観察は何か？ |
| ドラフトを作成する側 | あなたが述べようとしている各主張（書く前に） | 同上。散文が存在する前に答える。 |
| まだ結果がない設計段階 | 各重要な前提 | この前提が誤りだった場合、その作業は主張していることを実際に測定できるか？ |
設計モードは単なるバリエーションではない。設計における主張は、何を測定するかについてのものであり、「8層をスイープする」は偽になりえないため、反証可能性は機能しない。間違っていても問題ない前提は問題ない。そうでない前提は、作業を開始する前に制御すべき交絡因子である。
改訂とドラフト
| ¶ | 主張（一文で） | 自分の主張か、それとも引用か？ | 何があれば偽となるか？ |
|---|
- 自分の主張 vs 引用. 自分の主張は、たとえすべての引用が正確に報告されていても誤っている可能性がある。「QinらはXを報告している」は引用。「Xはゲートとして機能しない」は自分の主張。引用のみのドラフトは誤ることがありえない。それが欠陥である。
- 書かれたとおりに反証可能 — 読者は文だけで反証となる観察を挙げることができる。「強く相関する」は失敗。違反する閾値がない。「3つのモデルにわたってr > 0.5で相関する」は成功。
- 定量化されていない最上級表現は最も一般的な失敗である: 『最も明確な』、『主な』、『ほとんど』、『数少ないうちの一つ』。基準を示すか、ランキングをやめるか。
- 分析的な主張にはフラグ
[A]を付ける。 導出された主張（「係数は任意のuに対して正確に1である」）は、いかなる観察によっても反駁されず、導出エラーまたはその前提の失敗によってのみ反駁される。前提の反証条件を4列目に、主張の反証条件ではなく記述する。 なぜなら、そこに経験的内容が存在するからだ。具体例：ピン止めの主張は分析的であり、その前提は接頭辞共有であり、[E-017]と[E-018]が測定したのはその前提である。注意：分析的主張はその導出を文書内または引用によって示さなければならない。導出が示されていない場合は分析的ではなく、ただ反証不可能である。
4列目が空の行はすべて修正する — 明確化するか、明示的な引用に格下げするか、削除する。自分の主張がまったくない場合は、その旨を伝えて停止する。書き直しでは修正できない。
「どう扱えばいいかわからない」は、フォーマットではなく、ここで修正する。 ドラフトは実行不可能な指示で溢れている可能性がある — 「GradSimをプレ編集リスクスコアとして使用する」は動詞と目的語があり実行不可能である。なぜなら、ゲートには閾値と、ソースが決して提供しないエラー率が必要だからだ。空虚な指示は定量化されていない主張に基づいている。 このパスに失敗したドラフトに「次のアクション」リストを付け加えてはいけない。誰も実行できない項目の整然としたリストができるだけだからだ。
設計
| # | 重要な前提 | もし誤っていた場合、作業は成立するか？ | 制御方法 |
|---|
実現可能性を前提に含める：これは、私が実際に持っている計算、データ、依存関係の予算内で動作する。 呼び出しの半分で失敗する依存関係は、後で吸収するインシデントではなく、成果物を変える設計パラメータ（チェックポイント、再開可能性）である。3列目が「いいえ」は交絡因子である。チケットを起票する前に制御方法を明示すること。
第二の仕事、それが価値ある仕事である
すべての行に4列目が埋まったら、どの主張が重要であるかが見えてくる。
監査は何が重要かを教えてくれる。どの順序で配置するかを教えてくれるわけではない。ジャンルが決める。
- 論文は依存関係で順序付ける：他の主張が依存しているものを最初に、それを単に確認するだけのものは後回しにする。
- ラボノート、記録、またはナラティブは時系列で順序付ける。8つの主張が撤回された順序を示すことが仕事である投稿は、依存関係で順序付けると台無しになる。
- この2つは合成できる。時系列文書にも議論するセクションはあり、議論セクション内では依存関係が支配する。
これを逆にすることが、このパスが害を及ぼす唯一の方法である。したがって、何かを移動する前にジャンルを決定すること。
3つの実際の使用例で、フィルタリングはゼロの反証不可能な主張を捕捉した。すべてのソースはすでにその基準で書かれていた。一方、ランキングは毎回構造を変更した。フィルターではなくランキングを期待せよ。 何も捕捉しなかった監査は失敗ではない。表を読んで、何が何を凌駕しているかを確認せよ。
パス2 — 7つの構造的質問
順序通り。具体例: references/structure.md。質問2と3が、3回の実際の使用で実際に発動した質問である — 2が2回、3が1回。したがって、最初にそこに注意を向けること。3回の使用はランキングではない。どこを見るべきかの指針である。
- 見出し — それぞれを真理値を持つ文に書き換えられるか？ (ナビゲーションラベル — 参考文献、付録、方法、および制限事項の役割を果たすものは例外とする。)
- ギャップ — どのギャップか、それを埋めるコストは何か、何が変わるか？価格設定されていないギャップは願望である。
- 記号 — 各オブジェクトは、記号が与えられる前に、機能によって英語で命名されたか？
references/mathematics.md。 - 抑制 — 削除されたすべての項は、削除された場所で説明されているか？「…xは表記の簡単のため省略する。」
- 命名 — 既存の語彙がこれを正確に指示しているか？そうであれば借用せよ。不確かな場合は新造語を作成せよ。なぜなら、新造語は大きな音を立てて失敗し、悪い借用は静かに失敗するからだ。
- 曖昧表現 — 削減するのではなく隔離せよ。 すべての修飾は、Limits（制限事項）という名前のセクションに入れ、本文は修飾なしで記述する。同じ認識論的内容が集中し、より正直になる。曖昧な副詞の代わりに、具体的な限界が指名される。
- 批判 — ダメージが発生する前に範囲を固定するか？「XはAを行うために構築され、実際にそうである。Bは別の質問である。問題は下流にある。」
すべてのドラフトは、呼び方に関わらず制限事項セクションを持つ
隔離が要件であり、名前は要件ではない。 「攻撃対象」は、敵対的なレジスターで同じ役割を果たす。その役割を果たすセクションは、真理値を持つ見出しのルールから免除される。
ただし、3番目のカテゴリーが名前変更後も存続するかを確認すること。 敵対的枠組みはレビュアーが攻撃するであろうものを収集する。そして、誰も使用に関する制約を攻撃しない。したがって、そのエントリはセクションが別の名前で呼ばれると消える傾向がある。
3種類のエントリがあり、3番目は単独では現れない：
- 結果が示さないこと — 「知識が存在するかどうかを測定するものであり、モデルがそれを生成するかどうかではない。」
- 行われなかったこと — 「GPT-2-XLで制約付き測定を実行していない。」
- 結果がどのように使用されてはならないか — 「発見の結果であって、私が提供している方法ではない。」どのパス2の質問もこれを生成しない。意図的に追加すること。
パス3 — リント（ゲートではなくフロア）
python scripts/lint.py --rate DRAFT.md
参考レート：ハウススタイルの散文 1万語あたり0.0（27.7k語）、出版されたメカニスティック解釈論文 5.1、未編集のサーベイ報告散文 6.4。1.25倍の差 — これは優れた論文と悪い報告書を区別できない。
これは著者性テストでもない。 レートは誰が入力したかではなく、書き手がハウススタイルに従っているかどうかを追跡する。実際の使用でAIが書いた2つの文書が0.0を記録した（3.2k語と13.1k語）。クリーンなリントを品質や出所の証拠として報告してはならない。
ポジショニングの主張
新規性の判断 — 「これは未請求である」、「私たちは先を越された」 — は主張であるため、パス1がそのまま適用される。裸で述べられた判断は意見であり、最も近い論文が行っていないことを挙げた判断は検証可能である。監査が生成しない2つのルール：
棚上げには、続行よりも強力な証拠が必要である。 誤った「道は空いている」は、後で論文が出てきたときに明らかになる。誤った「私たちは先を越された」は、作業を静かに殺し、それが誤りであったという証拠を生み出さない。 検証されていない先取り判断は、検証する理由であり、棚上げする理由ではない。
判断が論文が行ったことに依存する場合、その散文ではなく方法または付録を読め。 序論は著者たちが構築がもたらすと期待したものを述べる。付録は実際に実行されたものを述べる。追加の検索ではそれを捕捉できない。
これができないこと
これらのパスは、ドラフトの認識論的構造を改善するのであって、その証拠基盤を改善するのではない。 測定結果：適用により、7つの反証可能な主張と0の新しい数値が追加された。ソースに数値がなかったからである。薄い証拠に対しては、証拠が薄いという明示的な記述を生成する。確信を持った薄さよりはマシだが、十分な証拠があることと同義ではない。
ドラフトに存在しない数値が必要な場合は、その旨を述べて停止する。
また、作業を行う価値があるかどうかを決定したり、文献検索を実行したり、次に何を構築するかを選択したりもしない。プロジェクトレベルの設計プロトコルがそれらを担当する。
参考文献
references/structure.md— 7つの質問と、Before/Afterの例references/mathematics.md— 記号より先に言葉を置く。名前の自由推論テストreferences/exemplars.md— 注釈付きの文章と、1つの加工された逆模範例references/voice.md— 何もないところからドラフトを作成する場合にのみ使用すること。 既存文書を拡張する場合？その文書のレジスターを引き継げ。