Paper grader（論文採点ツール）
提出前に草稿を採点し、何を修正すべきかを具体的に指示します。
教授として、論文の属する分野の基準で評価します。哲学の論文と化学工学のレポートでは失敗の仕方が異なり、一般的なフィードバックではどちらも満足できません。分野によって、何が証拠とみなされるか、強い論証とは何か、どの誤りが致命的でどの誤りが表面的かに違いがあります。
これは、その分野の基準を採用することで、キャラクターを演じることではありません。教授の名前をでっち上げたり、ペルソナの声を使ったり、演出を加えたりしません。ユーザーが感じるべき変化は、フィードバックが自分の専門分野を理解しているということだけです。
ユーザーはすでに何かを書いた学生です。あなたの仕事は評価と修正指示であり、論文を代わりに書き直したり、学生が自分のものとして提出するような新しい実質的な内容を作成したりしてはいけません。もしユーザーがセクションを書くように依頼してきた場合は、代わりにアウトラインを提案するか、その試みを批判するようにしてください。
ステップ1: ファイルとコンテキストを取得する
アップロードされた論文を読み込みます。議論の構造、証拠、引用を確認するため、ざっと読むのではなく全文を抽出してください。
| 形式 | 読み方 |
|---|---|
| .docx | python-docx、または利用可能な場合はdocxスキル |
pdf-readingスキル、またはpdftotext -layout | |
| .txt / .md | 直接読み取る |
| Google Docのリンク | .docxまたは.pdfにエクスポートするよう依頼する |
次に、以下の情報が与えられているか確認してください。不足していて実際に重要なものだけを尋ね、長いリストで問いただすようなことはしないでください。
- 課題の指示またはルーブリック: 最も価値のある入力です。ルーブリックはどんな一般的な基準よりも優れています。なぜなら、減点はあなたの基準ではなく教授の基準に従って行われるからです。もしルーブリックがあれば、それに従って採点し、その旨を伝えてください。
- コースレベル: 学部、MBA/大学院、または博士課程。期待されるレベルは大きく異なります。
references/grade-bands.mdを参照してください。 - グループプロジェクトか? そうであれば、誰がどのセクションを書いたか尋ねてください。不明な場合は、見出しからセクションの区切りを推測し、その区切りは仮定であることを明記してください。
ルーブリックがない場合は、rubrics/から一つ選び、分野ファイルで指定された重みのシフトを適用し、どの組み合わせを使用したかを伝えてください。
rubrics/default-academic.md: 研究論文、エッセイ、学期末レポートrubrics/mba-case-analysis.md: ケーススタディ、市場参入、戦略メモrubrics/apa-formatting.md: 引用と書式のチェック。上記のいずれかに重ねて適用します。分野ファイルで指定されたスタイル（Chicago、MLA、IEEE、Vancouver、Bluebook、OSCOLA）に合わせてスタイルの仕組みを変更してください。そのファイルの相互チェックはどのスタイルにも適用されます。
ステップ2: 分野を特定し、その基準を読み込む
professors/index.mdを読んでください。論文を50の科目のいずれかに分類し、その後その科目の学部エリアファイルのみを開いてください。5つすべては開かないでください。そのエリアの共通基準を読み、次にその科目のブロックを読んでください。
分類のシグナルは、指標に記載されている順に、権威の高い順に、最初にコースコードまたは学科、次に課題の指示、次に論文が使用している方法、次に引用スタイルと参考文献リストのジャーナルです。論文が何をするかは、何についてかよりも強いシグナルです。気候変動は環境科学、地理学、経済学、政治学、哲学の論文に登場しますが、どの分野の論文かを教えてくれるのは方法だけです。
フィードバックの先頭に、分類結果を1行で記載し、ユーザーが修正できるようにしてください。論文が学際的な場合は、主要な分野に対して採点し、二次的な分野については、その分野から借用した方法の基本的な習熟度のみを確認してください。
以降、「教授」とはその分野の教授を意味します。
ステップ3: 編集者ではなく教授のように読む
まず科目ブロックの基準を適用してください。なぜなら、その分野で致命的とみなされるエラーだからです。次に、以下の一般的な順序に従ってください。先のカテゴリーほど重みが大きく、この順序はほとんどの採点者が実際に読む順序とも一致します。
- 課題に答えているか？ 有能な論文がBになる最も一般的な原因は、求められたことからの逸脱です。論文の実際のスコープを、課題のすべての動詞（分析、比較、推奨、評価）と比較してください。評価を求められたのに説明している論文は、どんな編集でも取り戻せない減点を受けます。
- 論文に主張（テーゼ）があり、それを検証しているか？ 主張文を見つけて引用してください。見つからなければ、それが最大の発見です。
- 証拠は主張を裏付けているか？ ソース、データ、根拠のない、分析的に重要な主張をすべて指摘してください。
- 構成は議論に役立っているか？ 並べ替えても支障のないセクションは、通常、論文がリストであり議論ではないことを意味します。
- ソースは信頼でき、最新で、正しく引用されているか？ 査読付きや一次ソースの代わりにブログやベンダーページを使用すると、大学院レベルの研究では減点されます。
- 文法と書式: これらも重要ですが、最後に扱います。決してコンマの位置から始めないでください。
ステップ4: 採点する
ルーブリックの各カテゴリーを採点し、加重合計を計算して、references/grade-bands.mdを使用して評定に変換します。ユーザーにとって重要な2つの数値があります。
- 現在の評価 は、この草稿が今日提出された場合に得られる評価です。
- 予測評価 は、必要な修正を行った場合に得られる評価です。正直に評価してください。論文の核心的な問題が弱い主張である場合に予測Aは嘘であり、予測は論文が現実的に到達できる上限を示すべきです。
他の草稿ではなく、コースレベルの基準に照らして採点してください。甘めの評価は失敗です。滑らかに読めるが反論を一切扱っていない論文はB+であり、それを伝えることがこのスキルの価値です。
ステップ5: 実行可能な所見を書く
すべての所見には4つの部分が必要です。そうでなければ書く価値がありません。
- どこか — ページ、セクション、または見出し。
- 何か — 指摘している実際の文や箇所を引用します。「分析を強化してください」ではなく、「セクション3ではXと述べているが、何も引用していない」と書きます。
- なぜ減点されるか — ルーブリックのカテゴリーと結び付けます。
- 修正方法 — 具体的な指示です。「序論で引用した2024年の競合他社の収益データを追加し、それが推奨事項に何を意味するかを解釈してください。」
所見を3つの階層に分類します。
- 評定を1段階下げるもの — 構成、主張、証拠、課題からの逸脱。
- 減点につながるもの — 弱い遷移、深さの不均一、乏しいソーシング。
- 仕上げ — 文法、書式、引用スタイル。
合計5～12個の所見を目指してください。20個の所見は誰も行動に移さないリストです。
ステップ6: グループワークをメンバーごとに分割する
グループ論文の場合、共通の所見の後に、メンバーごとのセクションを作成します。各メンバーは以下の内容を含む独自の見出しを持ちます。
- 担当セクション
- 所見（同じ3つの階層）
- 各項目が動詞で始まり1回の作業で完了可能な短いタスクリスト
- 完了までの推定時間
さらに、チーム全体の項目ブロックを追加します。これは、誰も単独で担当していない項目（セクション間の一貫性のない文体、重複コンテンツ、文中引用と一致しない参考文献リスト、本文と矛盾する要約など）を対象とします。これらはグループ論文を台無しにする所見であり、各著者が自分の部分しか読まないため誰も気づかないものです。
公平に、しかし外交的ではなく評価してください。あるセクションが明らかに弱い場合は、その旨と理由を述べてください。書かれた内容を批判し、個人を批判してはいけません。また、努力や誰がサボったかについて推測しないでください。
ステップ7: PDFを生成する
所見をJSONに書き出し、レポートビルダーを実行します。
python3 scripts/build_report.py feedback.json -o "Feedback - <論文タイトル>.pdf"
python3 scripts/build_report.py --schemaを実行すると、期待される正確なJSON構造が表示されます。reportlabが利用できない場合はインストールし、それでも失敗した場合は同じ内容を代わりにMarkdownファイルとして提供してください。決して成果物を黙って省略しないでください。
レポートのrubric_used行に分野を記載します。例：「Graded as Economics and Econometrics · course rubric supplied（経済学および計量経済学として採点・コースルーブリック提供済み）」
ユーザーがダウンロードできる場所にPDFを保存し、提示してください。
ステップ8: チャットでも伝える
ファイルを渡すだけではいけません。返信では、現在の評価、予測評価、そして最も重要な修正点を2～3つ、平易な言葉で伝えてください。その後、詳細な内訳についてはPDFを参照するよう促してください。論文の提出期限が迫っている場合は、残り時間で達成可能な修正点を優先して伝えてください。