学术评估 是做什么的？
使用此技能对学术或科学工作进行可重复的评估。
使用时机
- 审阅研究论文、提案、论文章节或文献综述时。
- 检查研究主张是否得到引用证据支持时。
- 评估方法论、研究设计、分析或局限性时。
- 比较两篇或多篇论文的质量或相关性时。
- 为修改提供结构化反馈意见时。
评估范围
首先确定成果类型：
- 实证研究论文
- 理论论文
- 技术报告
- 系统性或叙述性文献综述
- 研究提案
- 学位论文或论文章节
- 会议摘要或简短论文
然后选择评估范围：
- 全面评估：涵盖所有评分维度
- 针对性评估：只评估一或两个维度，例如方法或引用
- 比较评估：基于同一评分标准对多篇成果进行排名
评分表
对每个适用的维度从1到5分进行评分：
- 5: 优秀；清晰、严谨、可发表。
- 4: 良好；需要小幅改进。
- 3: 合格；存在明显不足但尚可使用。
- 2: 薄弱；需要大幅修改。
- 1: 差；存在严重的有效性或清晰度问题。
对于不适用的维度，使用 N/A。
1. 问题与研究问题
- 问题是否清晰具体？
- 贡献是否有意义？
- 范围和假设是否明确？
- 研究问题是否与声称的贡献相匹配？
2. 文献与背景
- 是否涵盖了相关的前期工作？
- 是否对文献进行了综合，而非简单罗列？
- 是否准确识别了研究空白？
- 近期文献和基础文献是否平衡？
3. 方法论
- 方法是否能够回答研究问题？
- 设计选择是否有充分理由？
- 变量、数据集、参与者或材料是否描述清晰？
- 其他研究者能否重现该工作？
- 是否承认了伦理和实际条件的限制？
4. 数据与证据
- 数据来源是否可信且合适？
- 样本量或语料库覆盖范围是否足够？
- 纳入、排除和预处理决策是否有文档记录？
- 是否讨论了缺失数据和偏差风险？
5. 分析
- 统计、定性或计算方法是否合适？
- 基线和对照组是否公平？
- 必要时是否包含不确定性、敏感性或稳健性检查？
- 是否考虑了其他可能的解释？
6. 结果与解读
- 结果是否清晰呈现？
- 研究主张是否不超出证据范围？
- 图表和指标是否易于理解？
- 负面或无效结果是否得到诚实处理？
7. 局限性与有效性威胁
- 局限性是否具体而非泛泛而谈？
- 是否涉及内部、外部、构念和结论效度方面的风险？
- 论文是否区分了推测与已证实的成果？
8. 写作与结构
- 论证是否易于理解？
- 各章节是否围绕研究问题组织？
- 定义和符号是否清晰？
- 语气是否精确且具学术性？
9. 引用
- 引用的论文是否支持与之相关的观点？
- 是否尽可能使用一手来源？
- 综述类文章是否被标注为综述？
- 预印本是否被标注为预印本？
- 引用元数据和链接是否正确？
审阅流程
- 阅读摘要、引言、图表和结论，了解声称的贡献。
- 阅读方法和结果部分，评估证据质量。
- 对照最有力的主张，检查其引用的来源。
- 对每个适用的维度进行评分。
- 区分关键阻碍项与修改建议。
- 最后列出具体的后续修改步骤。
输出模板
# 学术评估：<成果名称>
## 总体评估
- 总体评分：<1-5 或 N/A>
- 信心水平：<高 | 中 | 低>
- 总结：<3-5 句话>
## 维度评分
| 维度 | 评分 | 证据 | 修改优先级 |
| --- | ---: | --- | --- |
| 问题与研究问题 | | | |
| 文献与背景 | | | |
| 方法论 | | | |
| 数据与证据 | | | |
| 分析 | | | |
| 结果与解读 | | | |
| 局限性 | | | |
| 写作与结构 | | | |
| 引用 | | | |
## 关键问题
## 建议修改
## 需要检查的证据
常见误区
- 不要用评分代替具体的反馈意见。
- 不要因论文未涉及某个在其范围之外的维度而扣分。
- 不要将引用量、出版方或作者声誉当作质量的证明。
- 不要仅因为主张出现在摘要中就盲目接受未经支持的说法。