Communitygithub.com

QinghongLin/paperdoctor

PaperDoctor: 科学的根拠に基づいた、進行中の論文への実用的なフィードバック

paperdoctor とは?

PaperDoctorは、科学論文の執筆過程において、再現可能な実験とコードの品質を保証するためのAIエージェントスキルです。このスキルは、まず論文の実験計画とコードの問題点を分析し、その後、ユーザーの承認を得て自動的に実験環境を構築・実行します。主なプラットフォームは想定されておらず、ローカルの論文ディレクトリ構造に依存します。スキルは、conda環境の作成、READMEに従った依存関係のインストール、データのダウンロード、そして優先順位付けられた実験の実行を自動化します。各実験の結果は論文の数値と比較され、パス/警告/エラーのステータスでレポートされます。これにより、論文の主張がコードによって再現可能であることを確認し、質の高いフィードバックを提供します。OOM(メモリ不足)などの問題はエラーとして記録され、無制限な再試行は行われません。

対応~Claude Code~Codex CLI~Cursor
npx skills add QinghongLin/paperdoctor

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

実験の実行

このスキルは実行前にユーザーの明示的な承認が必要です。 Phase 2 後に自動的に開始せず、再現計画のサマリーを提示してユーザーの確認を待ってください。

前提条件

  • {paper_dir}/reports/check_exp.json — read-exp からの実験計画(優先度、実現可能性、コマンド)
  • {paper_dir}/reports/check_code.json — read-code からのコードの問題点(実行前に修正すること)

ワークフロー

- [ ] ステップ 1: 環境を作成
- [ ] ステップ 2: 実験を実行

ステップ 1: 環境を作成

conda create -n paperdr-{paper_stem} python=<version> -y
conda activate paperdr-{paper_stem}
# インストールは README に従う

必要に応じてデータ/チェックポイントをダウンロードします。実行前に、check_code.json の warning/error 項目をすべて修正してください。


ステップ 2: 実験を実行

check_exp.json の実験を優先順位(高いものから)に従って実行します。トレーニングよりも評価を優先してください。

各実験について、出力を論文の数値と比較します。check_exp.json を以下のように更新します。

{
  "our_result": {"metric": 0.0},
  "status": "pass",
  "note": "..."
}
ステータス意味
pass論文と約1-2%以内で一致
warning部分一致または修正が必要
error大きな差異がある、または実行不可

ヒント

  • リポジトリのREADMEに従ってください。推測はしないでください。
  • OOMは error です。原因を記録し、無制限に再試行しないでください。
  • 使用した正確なコマンドとハードウェアを記録してください。

関連スキル