学術評価

学術評価 は何をしますか？

このスキルを使用して、反復可能なルーブリックで学術的・科学的な成果物を評価します。

使用するタイミング

• 研究論文、プロポーザル、学位論文の章、文献レビューをレビューするとき。
• 主張が引用されたエビデンスによって裏付けられているかを確認するとき。
• 方法論、研究デザイン、分析、限界を評価するとき。
• 2つ以上の論文の質や関連性を比較するとき。
• 改訂のための構造化フィードバックを作成するとき。

評価範囲

まず、成果物の種類を特定します。

• 実証研究論文
• 理論論文
• 技術報告書
• 体系的またはナラティブ文献レビュー
• 研究プロポーザル
• 学位論文または博士論文の章
• 学会抄録またはショートペーパー

次に、範囲を選択します。

• 包括的: ルーブリックの全次元
• 対象絞り込み: 1つまたは2つの次元（例：方法論または引用）
• 比較評価: 複数の成果物を同一ルーブリックでランク付け

ルーブリック

該当する各次元を1～5でスコアリングします。

• 5: 優れている。明確で厳密、出版可能
• 4: 良い。軽微な改善が必要
• 3: 十分。意味のあるギャップはあるが使用可能
• 2: 弱い。大幅な改訂が必要
• 1: 不十分。主要な妥当性や明確性の問題あり

該当しない次元には N/A を使用します。

1. 問題と研究課題

• 問題は明確かつ具体的か？
• 貢献は有意義か？
• 範囲と前提条件は明示されているか？
• 研究課題は主張された貢献と一致しているか？

2. 文献とコンテキスト

• 関連する先行研究は網羅されているか？
• 研究は単に情報源を列挙するのではなく、統合しているか？
• ギャップは正確に特定されているか？
• 最新の研究と基礎的な研究のバランスは取れているか？

3. 方法論

• 方法は研究課題に答えているか？
• 研究デザインの選択は正当化されているか？
• 変数、データセット、参加者、または材料は明確に記述されているか？
• 他の研究者がこの研究を再現できるか？
• 倫理的および実用的な制約は認識されているか？

4. データとエビデンス

• データソースは信頼でき適切か？
• サンプルサイズまたはコーパスのカバレッジは十分か？
• 包含、除外、前処理の決定は文書化されているか？
• 欠損データとバイアスのリスクは議論されているか？

5. 分析

• 統計、定性、または計算手法は適切か？
• ベースラインとコントロールは公平か？
• 不確実性、感度分析、ロバスト性チェックは必要に応じて含まれているか？
• 代替説明は検討されているか？

6. 結果と解釈

• 結果は明確に提示されているか？
• 主張はエビデンスの範囲内に留まっているか？
• 図、表、指標は理解可能か？
• 否定的またはヌルの結果は正直に扱われているか？

7. 限界と妥当性への脅威

• 限界は一般的ではなく具体的か？
• 内的妥当性、外的妥当性、構成概念妥当性、結論妥当性のリスクは扱われているか？
• 論文は推測と実証結果を区別しているか？

8. 執筆と構成

• 議論は追いやすいか？
• セクションは研究課題に沿って整理されているか？
• 定義と表記は明確か？
• トーンは正確で学術的か？

9. 引用

• 引用された論文は、それらに付随する主張を裏付けているか？
• 可能な限り一次資料が使用されているか？
• レビュー論文はレビューとして明示されているか？
• プレプリントはプレプリントとして明示されているか？
• 引用メタデータとリンクは正しいか？

レビュープロセス

1. 主張された貢献を把握するために、抄録、序論、図、結論を読む。
2. エビデンスの質を評価するために、方法と結果を読む。
3. 最も強い主張を引用元と照合する。
4. 該当する各次元をスコアリングする。
5. 致命的なブロッカーと改訂提案を分離する。
6. 具体的な次の編集で締めくくる。

出力テンプレート

# 学術評価: <成果物>

## 全体評価

- 全体スコア: <1-5 または N/A>
- 確信度: <高 | 中 | 低>
- 要約: <3-5文>

## 次元別スコア

| 次元 | スコア | エビデンス | 改訂優先度 |
| --- | ---: | --- | --- |
| 問題と研究課題 |  |  |  |
| 文献とコンテキスト |  |  |  |
| 方法論 |  |  |  |
| データとエビデンス |  |  |  |
| 分析 |  |  |  |
| 結果と解釈 |  |  |  |
| 限界 |  |  |  |
| 執筆と構成 |  |  |  |
| 引用 |  |  |  |

## 批判的課題

## 推奨改訂

## 必要なエビデンスチェック

落とし穴

• スコアを具体的なフィードバックの代わりに使用しないこと。
• 論文の範囲外の次元を省略したことを理由に減点しないこと。
• 引用数、発表誌、著者の評判を質の証明として扱わないこと。
• 抄録に記載されているという理由だけで、裏付けのない主張を受け入れないこと。