学术评估

学术评估 是做什么的？

使用此技能，以可重复的评分标准评估学术或科学工作。

使用时机

• 审阅研究论文、提案、论文章节或文献综述时。
• 检查主张是否获得引用证据支持时。
• 评估方法论、研究设计、分析或局限性时。
• 比较两篇或多篇论文的质量或相关性时。
• 为修改提供结构化反馈时。

评估范围

首先明确评估对象：

• 实证研究论文
• 理论论文
• 技术报告
• 系统或叙述性文献综述
• 研究提案
• 学位论文或论文章节
• 会议摘要或短文

然后选择评估范围：

• 全面评估：涵盖所有评分维度
• 针对性评估：聚焦一两个维度，例如方法或引文
• 比较性评估：在同一评分标准下对多篇作品进行排名

评分标准

对每个适用的维度按1到5分进行评分：

• 5：优秀；清晰、严谨，可发表。
• 4：良好；需要小幅改进。
• 3：合格；存在明显差距但仍可接受。
• 2：薄弱；需要大幅修改。
• 1：差；存在重大有效性问题或清晰度问题。

对于不适用的维度，使用 N/A。

1. 问题与研究问题

• 问题是否清晰具体？
• 贡献是否有意义？
• 范围和假设是否明确？
• 问题是否与声称的贡献一致？

2. 文献与背景

• 是否涵盖了相关的前期工作？
• 是否对文献进行了综合而非简单罗列？
• 是否准确识别了研究空白？
• 近期文献和基础文献是否平衡？

3. 方法论

• 方法是否能够回答研究问题？
• 设计选择是否合理？
• 变量、数据集、参与者或材料描述是否清晰？
• 其他人能否复现该研究？
• 是否承认了伦理和实践约束？

4. 数据与证据

• 数据来源是否可信且合适？
• 样本量或语料覆盖范围是否充足？
• 纳入、排除和预处理决策是否记录在案？
• 是否讨论了缺失数据和偏倚风险？

5. 分析

• 统计方法、定性方法或计算方法是否合适？
• 基线和对照是否公平？
• 必要时是否包含不确定性、敏感性或稳健性检验？
• 是否考虑了其他解释？

6. 结果与解释

• 结果是否清晰呈现？
• 主张是否不超出证据范围？
• 图表、表格和指标是否易于理解？
• 负面或无效结果是否得到诚实对待？

7. 局限性与效度威胁

• 局限性是否具体而非泛泛而谈？
• 是否处理了内部效度、外部效度、构念效度和结论效度风险？
• 论文是否区分了推测与已证明的结果？

8. 写作与结构

• 论证是否易于理解？
• 各节是否围绕研究问题组织？
• 定义和符号是否清晰？
• 语气是否精准且学术？

9. 引文

• 引用的论文是否支持其声称？
• 是否尽可能使用一手来源？
• 综述是否明确标注为综述？
• 预印本是否明确标注为预印本？
• 引文元数据和链接是否正确？

审阅流程

1. 阅读摘要、引言、图表和结论，了解声称的贡献。
2. 阅读方法部分和结果部分，评估证据质量。
3. 将最强的主张与引用来源进行对照。
4. 对每个适用的维度进行评分。
5. 将关键阻碍与修改建议分离。
6. 最后给出具体的下一步编辑建议。

输出模板

# 学术评估：<评估对象>

## 总体评估

- 总体评分：<1-5 或 N/A>
- 置信度：<高 | 中 | 低>
- 总结：<3-5句话>

## 各维度评分

| 维度 | 评分 | 证据 | 修改优先级 |
| --- | ---: | --- | --- |
| 问题与研究问题 |  |  |  |
| 文献与背景 |  |  |  |
| 方法论 |  |  |  |
| 数据与证据 |  |  |  |
| 分析 |  |  |  |
| 结果与解释 |  |  |  |
| 局限性 |  |  |  |
| 写作与结构 |  |  |  |
| 引文 |  |  |  |

## 关键问题

## 推荐修订

## 需进行的证据检查

常见误区

• 不要用评分代替具体的反馈。
• 不要因为论文省略了超出其范围的维度而扣分。
• 不要将引用次数、发表场所或作者声誉作为质量证明。
• 不要仅仅因为主张出现在摘要中就接受无依据的宣称。