Community研究&データ分析github.com

エビデンスチェック

研究アウトプット(計画書、レポート、文献レビュー、ドラフト)に含まれる捏造された参考文献、ソースが裏付けていない主張、アブストラクトのみの主張、根拠のない「誰も研究していない」という主張を監査します。成果物を納品する前に実行してください。

エビデンスチェック とは?

エビデンスチェックスキルは、AIエージェントが生成した研究アウトプットの信頼性を独立した視点で監査するためのツールです。ドラフト内のすべての引用・数値・存在主張を抽出し、それらが実際のソースによって裏付けられているかを検証します。OpenAlex、Crossref、Semantic Scholar、PubMedなどの学術APIとローカルのPythonスクリプト(research_checks.py)を組み合わせて使用し、捏造された参考文献、誤った引用、ソースと矛盾する主張を特定します。このスキルはClaude Code、Cursor、Codexなどの主要なAIエージェントプラットフォームで動作し、独立したサブエージェントで実行することで最大の効果を発揮します。最終評価はPASS/FAILで示され、問題がある場合は具体的な修正指示が提供されるため、研究者やエンジニアは検証済みの高品質な成果物を納品できます。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Pushkar1-GitHub/D2D_Meta_Skills/tree/HEAD/skills/evidence-check

Installed? Explore more 研究&データ分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

エビデンスチェック は何をしますか?

独立した監査です。ドラフト内の記述は、チェックが完了するまでは何も真実と見なされません。research-planの最終ステップとして、ユーザー自身のドラフトや参考文献リスト、あるいは納品前の任意のレポートに対して使用してください。

独立性

  • 最良: ファイル(ドラフト、元帳/参考文献、ノート、生テキスト)のみを与えられた新しいサブエージェントで実行します。決して執筆中の会話のフォーク(分岐)を使用しないでください。
  • サブエージェントなし: 同一セッション内でのチェック。
    • 判断する前に、すべてのファイルをディスクから再読み込みし、自分の記憶に頼らないでください。
    • 結果に同一セッション(非独立)とラベル付けします。
    • 重要な内容については、このスキルを新しいチャットで同じフォルダに再度実行するようユーザーに伝えてください。

決定論的チェックを最初に

バンドルされているチェッカーを最初に実行します: python3 <このスキルのフォルダ>/scripts/research_checks.py all <dir>(または quotes <claims.json> / links <plan.md>)。これは標準ライブラリのPythonであり、あなた自身のコードサンドボックス内で動作します。ユーザーは何もインストールする必要はありません。PDFテキストにはpypdfが必要です: importに失敗した場合は、サンドボックス内でpip install pypdfを実行してから再試行してください。このチェッカーのエラーは、解決しないアンカー、欠落した⚠フラグ、カウントの不一致、ソーステキストに存在しない引用、偽のPDFなど、発見事項です。警告は判断を要する項目です。

フォルダにclaims.jsonがない場合(例:ユーザー自身のドラフトを監査する場合)、supportedとマークした主張ごとにドラフトの隣にJSONファイルを作成し、quotesチェックが各引用が正確に原文通りであることを確認できるようにしてください。

入力

ドラフト、参考文献リスト(ledger.md、.bib、または番号付きリスト)、および保有している場合はノートと生のソーステキスト。ドラフトのみが提供された場合は、参考文献リストを一度だけ尋ねてください。

ステップ1 — 主張の抽出

検証可能なすべての主張を抽出します:

  • 引用に関する主張
  • 数値
  • 名前付きの論文、データセット、ツール
  • 存在に関する主張
  • 否定の主張(「先行研究はない…」)
  • 引用のない確信語(証明する、確立する、治す、予防する、決定的に、常に、決して~ない)

意見、提案、ドラフト自身の定義はスキップします。

ステップ2 — 解決

各引用は正確に1つの参考文献に対応付けます。両方向の孤立参考文献と著者-年の衝突をリストアップします。

ステップ3 — 実在?(参考文献ごとに)

各参考文献を今すぐ検索します: OpenAlex / Crossref / Semantic Scholar / PubMed、さらにReference Checkerのcheck_referencesとcheck_retractionsも使用します。

判定意味
verifiedタイトル、筆頭著者、年が今回のセッションで見つかったレコードと一致する
partial作品は存在するが、事実にずれがあるか、一部のみ確認できた(例:書籍は確認できたが章は確認できない)
mismatchDOI/IDが別の作品に解決される、または引用が誤った書籍やジャーナルを指定している
not_found適切に検索したが、何も一致しない
unchecked検索できなかった(ブロック、予算制限、ツールダウン)。捏造の証拠にはならない
suspiciousエントリ自体に危険信号がある

ルール:

  • 書籍の章: 引用された書籍タイトル、編者、ページ、出版社をCrossrefのレコード(container-title、page)と比較します。正しいDOIで誤った書籍を参照している場合はmismatchです。この正確なエラーが試験運用をすり抜けたことがあります。
  • ツール間の不一致: CrossrefまたはOpenAlexでの正確なDOI一致は、タイトル検索でのnot_foundに優先します。両方の結果を記録します。
  • レコードと見なすもの: DOIランディングページ、出版社、PubMed、PMC/Europe PMC、arXiv、OpenAlex、Crossref、Semantic Scholar、DBLP。スニペットや他の論文の参考文献リストはレコードと見なしません。記憶はuncheckedです。
  • 撤回状況も確認し、プレプリントがその後出版されたかどうかも確認します。

ステップ4 — 裏付け?(主張ごとに)

引用が公正であるためにソースが何を述べていなければならないかを明記し、その後:

裏付けルール
supported生のソーステキスト(API XML、PDFテキスト、ユーザーファイル)からの40文字以上の逐語的な箇所がそれを述べており、ロケーターが付いている。レポート内で引用すること。
partialソースはより狭いまたは弱い内容を述べている
contradictedソースは異なる内容を述べている
not-found-in-read-partテキストの一部のみを保有しており、主張はその中にない
unverified-extractedWebFetchを通じてのみ読み取った。WebFetchはモデルによる抽出結果を返す。決してsupportedにはならない。
unverifiedテキストを保有していない(アブストラクト/メタデータのみ、ペイウォール、ブロック)

ステップ4に依存するチェック:

  • 数値: 正確にコピーされ、丸められていないこと。ソースにない数値はcontradicted。
  • フラグ: 各主張にはその証拠に一致するフラグが必要: ⚠ abstract-only · ⚠ metadata-only · ⚠ extracted · ⚠ preprint。不足しているものを追加します。
  • 独立したカウント: 「N件の研究で一貫している」という場合、そのうちのいくつが独立した研究かを明記する必要があります。
  • 否定の主張: その背後にある検索内容を明記する必要があります。そうでなければ、「<検索>では見つからなかった」と書き換えます。
  • 背景対証拠: ある知見のために引用されたソースは、実際にその知見を報告していなければなりません。

ステップ5 — 結果

修正後の最終的な状態を判断し、各修正を記録します(「ラウンドnで修正: …」)。

  • PASS: not_found / mismatch / contradicted / 孤立参考文献がない。すべてのunverified*項目はインラインでフラグ付けされている。
  • PARTIAL: エラーはないが、一部の項目が解決できない(例:内容をチェックできない章)か、uncheckedのままである。それらをリストアップします。
  • FAIL: 最大2回の修正ラウンド後も、not_found、mismatch、contradicted、撤回済みだが引用されているソース、または孤立参考文献が残っている。このバナーを先頭に、未解決の項目を続けて出力します:

無効な証拠 — 未解決の引用または裏付けの失敗。検証済みとして扱わないでください。

反論は証拠ではありません。新しいソースやより良い議論にのみ譲歩し、その理由を記録します。

出力

折りたたみ可能なエビデンスチェックブロックをドラフトに追加します:

エビデンスチェック — <日付> — PASS | PARTIAL | FAIL — <新しいコンテキスト | 同一セッション(非独立)> — 経路: <ツール>
決定論的チェック: research-checks <合格/不合格、nエラー> | 利用不可
参考文献: n 検証済み · n 部分一致 · n 不一致 · n 未検出 · n 未チェック · n 疑わしい · n 撤回済み
主張: n 裏付けあり · n 部分的な裏付け · n 矛盾 · n 未検証抽出 · n 未検証 · 追加フラグ: n
修正: <ラウンド: 変更内容>
| # | 主張(短縮) | 引用 | 実在 | 裏付け | 引用 / ロケーターまたは理由 | 修正 |
修正の優先順位: <捏造/不一致の参照と矛盾する主張 → 孤立参考文献 → フラグ → スタイル>

プライバシー

タイトル、DOI、トピックワードのみを使用して検索します。ユーザーの未発表テキストを決して検索に貼り付けないでください。

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

関連スキル