證據審查 是做什麼的?
一項獨立審計。它假設草稿中的所有內容在經過檢查之前都不是真的。將它作為 research-plan 的最後一步,或用於使用者自己的草稿或參考文獻列表,或在交付任何報告之前使用。
獨立性
- 最佳: 一個全新的子代理,只給定檔案(草稿、分類帳/參考文獻列表、筆記、原始文本)。永遠不要分叉自寫作對話。
- 無子代理: 同會話檢查。
- 在做出任何判斷之前,從磁碟重新讀取每個檔案,並且不要依賴您記憶中寫過的內容。
- 將結果標記為
same-session (not independent)。 - 告知使用者,對於任何高風險的內容,他們應該在相同資料夾的新聊天中執行此技能。
首先執行確定性檢查
首先執行內建的檢查器:python3 <此技能資料夾>/scripts/research_checks.py all <dir>(或 quotes <claims.json> / links <plan.md>)。它是標準庫 Python,並在您自己的程式碼沙箱中運行;使用者無需安裝任何東西。PDF 文本需要 pypdf:如果導入失敗,請在沙箱中執行 pip install pypdf 並重試。其錯誤即為發現:無法解析的錨點、缺少 ⚠ 標誌、計數不匹配、不在來源文本中的引用、偽造的 PDF。其警告是需要判斷的項目。
如果資料夾中沒有 claims.json(例如,審計使用者自己的草稿時),請在草稿旁邊為您標記為 supported 的每個主張寫一個,以便 quotes 檢查可以確認每個引用是逐字對應的。
輸入
草稿;參考文獻列表(ledger.md、.bib 或編號列表);筆記和原始來源文本(如有)。如果只給定草稿,請索取參考文獻列表一次。
步驟 1 — 提取主張
提取所有可驗證的斷言:
- 引用主張;
- 數字;
- 命名論文、資料集和工具;
- 存在性主張;
- 否定主張(「沒有前期工作…」);
- 未引用的確定性詞彙(證明、確立、治癒、預防、決定性地、總是、從不)。
跳過意見、建議和草稿本身的定義。
步驟 2 — 解析
每個引用對應到恰好一個參考文獻。列出雙向的孤兒引用和作者-年份衝突。
步驟 3 — 真實嗎?(每個參考文獻)
立即查詢每個:OpenAlex / Crossref / Semantic Scholar / PubMed,以及 Reference Checker 的 check_references 和 check_retractions。
| 判定 | 含義 |
|---|---|
verified | 標題、第一作者和年份與此次會話中找到的記錄相符 |
partial | 該作品存在,但某個事實有誤,或僅能確認部分內容(例如,書籍但不是章節) |
mismatch | DOI/ID 解析到不同的作品,或引用的書籍或期刊名稱錯誤 |
not_found | 正確搜尋後,沒有任何相符結果 |
unchecked | 無法查詢(被封鎖、預算不足、工具故障);不是虛構的證據 |
suspicious | 條目本身有危險信號 |
規則:
- 書籍章節: 將引用的書名、編輯者、頁碼和出版商與 Crossref 記錄(
container-title、page)進行比較。DOI 正確但書籍錯誤是mismatch;這個確切的錯誤曾通過試運行。 - 工具不一致: Crossref 或 OpenAlex 中的確切 DOI 匹配勝過標題搜尋的
not_found。記錄兩個結果。 - 什麼算作記錄: DOI 著陸頁、出版商、PubMed、PMC/Europe PMC、arXiv、OpenAlex、Crossref、Semantic Scholar、DBLP。片段或其他論文的參考文獻列表不算。記憶是
unchecked。 - 同時檢查撤稿狀態,以及預印本是否已正式發表。
步驟 4 — 支持嗎?(每個主張)
陳述來源必須說什麼才能使引用合理,然後:
| 支持度 | 規則 |
|---|---|
supported | 來自原始來源文本(API XML、PDF 文本、使用者檔案)的一段逐字對應的 40 個以上字元的段落,並附有定位標記。在報告中引用它。 |
partial | 來源說明的內容較狹窄或較弱 |
contradicted | 來源說的是其他內容 |
not-found-in-read-part | 僅持有部分文本,且主張不在其中 |
unverified-extracted | 僅透過 WebFetch 讀取,其返回模型的提取結果;永遠不能是 supported |
unverified | 無持有文本(僅摘要/元資料、付費牆後、被封鎖) |
依賴於步驟 4 的檢查:
- 數字: 確切複製,不能四捨五入。不在來源中的數字是
contradicted。 - 標誌: 每個主張需要與其證據匹配的標誌:
⚠ abstract-only·⚠ metadata-only·⚠ extracted·⚠ preprint。添加任何缺失的標誌。 - 獨立計數:「跨 N 項研究一致」必須說明有多少項是獨立的。
- 否定主張: 必須說明其背後的搜尋。否則重寫為「未在 <搜尋> 中找到」。
- 背景 vs 證據: 引用來支持發現的來源必須實際報告該發現。
步驟 5 — 結果
判斷修復後的最終狀態,並記錄每次修復(「在第 n 輪修復中:…」)。
- PASS: 無
not_found/mismatch/contradicted/ 孤兒引用。每個unverified*項目都已內聯標記。 - PARTIAL: 無錯誤,但某些項目無法解析(例如,無法檢查內容的章節)或保持
unchecked。列出它們。 - FAIL: 在最多 2 輪修復後,仍存在任何
not_found、mismatch、contradicted、已撤稿但被引用的來源,或孤兒引用。在頂部使用此橫幅交付,後跟未解決的項目:
無效證據 — 未解決的引用或支持失敗;不可視為已驗證。
反駁不是證據。僅在出現新來源或更好論點時讓步,並記錄原因。
輸出
在草稿末尾附加一個可折疊的證據審查區塊:
證據審查 — <日期> — PASS | PARTIAL | FAIL — <全新上下文 | 同會話(非獨立)> — 路線:<工具>
確定性檢查:research-checks <通過/失敗,n 個錯誤> | 不可用
參考文獻:n 個已驗證 · n 個部分 · n 個不匹配 · n 個未找到 · n 個未檢查 · n 個可疑 · n 個已撤稿
主張:n 個支持 · n 個部分 · n 個矛盾 · n 個未驗證-提取 · n 個未驗證 · 添加的標誌:n
修復:<輪次:更改的內容>
| # | 主張(簡短) | 引用 | 真實性 | 支持度 | 引用 / 定位標記或原因 | 修復 |
優先修復:<虛構/不匹配的參考文獻和矛盾的主張 → 孤兒引用 → 標誌 → 樣式>
隱私
僅使用標題、DOI 和主題詞進行搜尋。切勿將使用者的未發表文本粘貼到搜尋中。