Community研究與資料分析github.com

證據審查

審計任何研究產出(計畫、報告、文獻回顧、草稿)是否有虛構參考文獻、來源不支持的聲明、僅有摘要的聲明以及無邊界的「無人研究過 X」聲明。在交付研究成果前執行。

證據審查 是什麼?

此技能作為獨立審計機制,自動驗證研究草稿中每個可驗證的主張是否被其引用的來源文件實際支持。它結合了確定性腳本(基於標準庫 Python)和 LLM 驅動的推理,以檢測虛構參考文獻、引用錯誤、數字不匹配以及不支持的因果聲明。此技能支持所有主要平台(Claude Code、Cursor、Codex 等),並可應用於計畫、報告、文獻回顧或參考文獻列表。工作流程包括提取主張、解析引用、驗證參考文獻真實性(透過 OpenAlex、Crossref、Semantic Scholar 等)、逐字檢查支持證據,以及將最終結果分為 PASS、PARTIAL 或 FAIL。它要求對高風險審計使用新的、獨立的代理會話,以確保真正的審計獨立性。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Pushkar1-GitHub/D2D_Meta_Skills/tree/HEAD/skills/evidence-check

Installed? Explore more 研究與資料分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

證據審查 是做什麼的?

一項獨立審計。它假設草稿中的所有內容在經過檢查之前都不是真的。將它作為 research-plan 的最後一步,或用於使用者自己的草稿或參考文獻列表,或在交付任何報告之前使用。

獨立性

  • 最佳: 一個全新的子代理,只給定檔案(草稿、分類帳/參考文獻列表、筆記、原始文本)。永遠不要分叉自寫作對話。
  • 無子代理: 同會話檢查。
    • 在做出任何判斷之前,從磁碟重新讀取每個檔案,並且不要依賴您記憶中寫過的內容。
    • 將結果標記為 same-session (not independent)。
    • 告知使用者,對於任何高風險的內容,他們應該在相同資料夾的新聊天中執行此技能。

首先執行確定性檢查

首先執行內建的檢查器:python3 <此技能資料夾>/scripts/research_checks.py all <dir>(或 quotes <claims.json> / links <plan.md>)。它是標準庫 Python,並在您自己的程式碼沙箱中運行;使用者無需安裝任何東西。PDF 文本需要 pypdf:如果導入失敗,請在沙箱中執行 pip install pypdf 並重試。其錯誤即為發現:無法解析的錨點、缺少 ⚠ 標誌、計數不匹配、不在來源文本中的引用、偽造的 PDF。其警告是需要判斷的項目。 如果資料夾中沒有 claims.json(例如,審計使用者自己的草稿時),請在草稿旁邊為您標記為 supported 的每個主張寫一個,以便 quotes 檢查可以確認每個引用是逐字對應的。

輸入

草稿;參考文獻列表(ledger.md、.bib 或編號列表);筆記和原始來源文本(如有)。如果只給定草稿,請索取參考文獻列表一次。

步驟 1 — 提取主張

提取所有可驗證的斷言:

  • 引用主張;
  • 數字;
  • 命名論文、資料集和工具;
  • 存在性主張;
  • 否定主張(「沒有前期工作…」);
  • 未引用的確定性詞彙(證明、確立、治癒、預防、決定性地、總是、從不)。

跳過意見、建議和草稿本身的定義。

步驟 2 — 解析

每個引用對應到恰好一個參考文獻。列出雙向的孤兒引用和作者-年份衝突。

步驟 3 — 真實嗎?(每個參考文獻)

立即查詢每個:OpenAlex / Crossref / Semantic Scholar / PubMed,以及 Reference Checker 的 check_references 和 check_retractions。

判定含義
verified標題、第一作者和年份與此次會話中找到的記錄相符
partial該作品存在,但某個事實有誤,或僅能確認部分內容(例如,書籍但不是章節)
mismatchDOI/ID 解析到不同的作品,或引用的書籍或期刊名稱錯誤
not_found正確搜尋後,沒有任何相符結果
unchecked無法查詢(被封鎖、預算不足、工具故障);不是虛構的證據
suspicious條目本身有危險信號

規則:

  • 書籍章節: 將引用的書名、編輯者、頁碼和出版商與 Crossref 記錄(container-title、page)進行比較。DOI 正確但書籍錯誤是 mismatch;這個確切的錯誤曾通過試運行。
  • 工具不一致: Crossref 或 OpenAlex 中的確切 DOI 匹配勝過標題搜尋的 not_found。記錄兩個結果。
  • 什麼算作記錄: DOI 著陸頁、出版商、PubMed、PMC/Europe PMC、arXiv、OpenAlex、Crossref、Semantic Scholar、DBLP。片段或其他論文的參考文獻列表不算。記憶是 unchecked。
  • 同時檢查撤稿狀態,以及預印本是否已正式發表。

步驟 4 — 支持嗎?(每個主張)

陳述來源必須說什麼才能使引用合理,然後:

支持度規則
supported來自原始來源文本(API XML、PDF 文本、使用者檔案)的一段逐字對應的 40 個以上字元的段落,並附有定位標記。在報告中引用它。
partial來源說明的內容較狹窄或較弱
contradicted來源說的是其他內容
not-found-in-read-part僅持有部分文本,且主張不在其中
unverified-extracted僅透過 WebFetch 讀取,其返回模型的提取結果;永遠不能是 supported
unverified無持有文本(僅摘要/元資料、付費牆後、被封鎖)

依賴於步驟 4 的檢查:

  • 數字: 確切複製,不能四捨五入。不在來源中的數字是 contradicted。
  • 標誌: 每個主張需要與其證據匹配的標誌:⚠ abstract-only · ⚠ metadata-only · ⚠ extracted · ⚠ preprint。添加任何缺失的標誌。
  • 獨立計數:「跨 N 項研究一致」必須說明有多少項是獨立的。
  • 否定主張: 必須說明其背後的搜尋。否則重寫為「未在 <搜尋> 中找到」。
  • 背景 vs 證據: 引用來支持發現的來源必須實際報告該發現。

步驟 5 — 結果

判斷修復後的最終狀態,並記錄每次修復(「在第 n 輪修復中:…」)。

  • PASS: 無 not_found / mismatch / contradicted / 孤兒引用。每個 unverified* 項目都已內聯標記。
  • PARTIAL: 無錯誤,但某些項目無法解析(例如,無法檢查內容的章節)或保持 unchecked。列出它們。
  • FAIL: 在最多 2 輪修復後,仍存在任何 not_found、mismatch、contradicted、已撤稿但被引用的來源,或孤兒引用。在頂部使用此橫幅交付,後跟未解決的項目:

無效證據 — 未解決的引用或支持失敗;不可視為已驗證。

反駁不是證據。僅在出現新來源或更好論點時讓步,並記錄原因。

輸出

在草稿末尾附加一個可折疊的證據審查區塊:

證據審查 — <日期> — PASS | PARTIAL | FAIL — <全新上下文 | 同會話(非獨立)> — 路線:<工具>
確定性檢查:research-checks <通過/失敗,n 個錯誤> | 不可用
參考文獻:n 個已驗證 · n 個部分 · n 個不匹配 · n 個未找到 · n 個未檢查 · n 個可疑 · n 個已撤稿
主張:n 個支持 · n 個部分 · n 個矛盾 · n 個未驗證-提取 · n 個未驗證 · 添加的標誌:n
修復:<輪次:更改的內容>
| # | 主張(簡短) | 引用 | 真實性 | 支持度 | 引用 / 定位標記或原因 | 修復 |
優先修復:<虛構/不匹配的參考文獻和矛盾的主張 → 孤兒引用 → 標誌 → 樣式>

隱私

僅使用標題、DOI 和主題詞進行搜尋。切勿將使用者的未發表文本粘貼到搜尋中。

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

相關技能