Community研究与数据分析github.com

心理测量学审稿

审查心理测量验证分析或稿件(针对问卷、患者报告结局测量或专家评分面板的Rasch、IRT、CFA或多面Rasch/评分者中介设计)。主要用于自我审查:在投稿前检查自己的分析和稿件,以便在期刊审稿人发现之前解决问题。也可评估已发表论文,并为他人的稿件撰写同行评审(审稿人)报告。

心理测量学审稿 是什么?

该技能专注于心理测量学验证研究的全面审查,涵盖问卷、患者报告结局测量(PROM)和专家评分面板。它支持Rasch模型、项目反应理论(IRT)、验证性因素分析(CFA)以及多面Rasch模型(MFRM)。技能的核心价值在于其双重功能:作为自我审查工具,在作者提交稿件前发现并修复问题;以及作为评估工具,用于评估已发表论文或为期刊撰写同行评审报告。评估框架围绕四个核心测量标准构建:单维性、局部独立性、不变性(项目功能差异,DIF)和单调性。技能的一个重要特点是其基于证据的方法,挑战经验法则的临界值(如0.5-1.5的拟合指标),并推荐使用基于模拟的、数据自适应方法。技能集成了包含关键方法学论文的引用库,提供具体的、可操作的建议,并可为不同的使用场景生成格式化报告。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/pgmj/psychometrics-skill/tree/HEAD

Installed? Explore more 研究与数据分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

心理测量学审稿 是做什么的?

审查问卷和PROM验证工作(Rasch, IRT, CFA)的工作指南。以理论为先导:指出问题,引用方法学论文,然后推荐修复方案(方法和相关软件)。要直接且具有建设性。

三种模式

当用户提供自己的工作时,默认使用自我审查模式。如果不清楚是谁的工作,或者是否已发表,请询问。

  1. 自我审查(默认)。 用户自己的分析和稿件,在提交之前。目标是发现并修复期刊审稿人会反对的问题。输出:一份内部审查备忘录(templates/self-review.qmd),按严重程度对问题进行排序,每个问题均附有具体的修复方案。
  2. 对已发表论文的评估。 一篇已发表的论文,由正在决定是否使用该工具、引用它、将其纳入系统综述或在期刊俱乐部展示它的用户阅读。目标是判断论文的测量主张中哪些得到了报告证据的支持,以及这对于任何使用分数的人意味着什么。输出:一份评估备忘录(templates/appraisal.qmd),每个问题按削弱主要主张(该主张在报告证据上不成立)、削弱主张(主张可能成立,但证据比呈现的要薄弱)或次要进行排序,并附上对用户的影响以替代修复方案。
  3. 审稿人报告。 为他人的稿件,为期刊进行审稿。输出:一份致作者和编辑的审稿人报告(templates/referee-report.qmd)。审稿中的稿件是保密的。不要将其发送给用户未批准的服务。根据方法的功能而非编写者来推荐它们,并避免能让审稿人身份被识别的措辞。不得将引用审稿人自己的论文作为条件。如果用户自己的工作是最佳来源,尽可能与其他来源一起引用,并将选择权留给用户。

下面的评估框架在三种模式中相同。不同的是输入、自我审查中的额外检查以及输出。

工作流程

  1. 确定模式以及模型类型:Rasch或IRT(二分法或多分法)、CFA、多面Rasch或组合。只关注与该模型相关的部分。
  2. 收集下面列出的输入,并在撰写之前阅读所有内容。
  3. 在自我审查中,从仅有作者才能运行的检查开始(见“自我审查中的额外检查”):对照输出的数字和对照文本的代码。
  4. 系统地处理两个交叉关注点、四个标准、适用的额外检查以及特定模型部分(CFA或MFRM)。
  5. 对问题进行排序,并填写该模式的模板。

只提出本稿件中存在(或未报告)的问题,并指出证据(章节、表格、引用的段落、代码行)。区分“未报告”和“已报告且失败”。删除不适用的模板部分,不要用稿件不需要的一般性建议来填充报告。

首先,收集输入

自我审查。

  • 稿件草稿,包括表格、图表和补充材料。
  • 分析代码及其输出(R脚本、Quarto/R Markdown文件、软件输出)。许多问题仅在此处可见:实际使用的估计器、实际应用的阈值、实际删除的项目。
  • 目标期刊及其要求的任何报告指南。

对已发表论文的评估。

  • 已发表的文章及其补充材料,以及任何共享的数据和代码。大多数已发表的论文两者都没有,因此要评估报告的内容,并说明哪些主张仅凭论文本身无法检查。缺失的检验是证据中的空白,而不是标准成立的证据。
  • 读者需要该论文的目的(选择工具、特定人群或语言版本、总分与分量表分数)。同一弱点可能对一种用途重要,而对另一种用途不重要。如果预期用途未说明,请询问,或评估论文本身推荐的使用场景。
  • 以论文发表时期的方法来衡量它,但也要说明后期方法学工作表明某个选择(例如固定的拟合阈值)是不可靠的,因为这会影响今天对该结果的可信程度。将这两种判断分开,使评估看起来是对证据的判断,而不是对作者的判断。
  • 对于每个未决问题,说明哪个分析可以解决它(例如基于模拟的拟合检验、局部依赖性检验、预期用途所需群体的DIF、严格不变性检验),以及共享数据的重新分析是否足够,还是需要新数据。

审稿人报告。

  • 稿件PDF(正文、表格、图表和任何补充材料)。
  • 对于修订稿:作者逐点回复以及之前的审稿意见。对评论进行编号(例如R2.1, R2.2),并在后续轮次中追踪哪些已解决、哪些用回答了不同问题的材料回应、哪些被拒绝。“这是惯例”或“对我们的目标足够”不是反驳。要明确指出这一点,并重申所要求的内容。
  • 如果论文没有页码或行号,引用被评论的段落,以便作者能找到它。

在撰写之前阅读所有内容。将每个测量主张映射到其所属的标准,然后依次检查每个标准。

评估框架

将方法和结果批判围绕支撑区间尺度测量的四个标准进行构建 [@christensenPsychometricValidationPROM2021; @kreinerValidityObjectivityReflections2007]。两个关注点通常贯穿所有四个标准。在前面一次性提出它们。

交叉关注点1:样本量和统计功效

校准稳定性不是约束条件。检测正在被检验的偏离的功效才是。小样本(以及小DIF亚组)意味着对失拟、局部依赖性和DIF的敏感性低,因此“未发现问题”的结果是初步的。不要接受来自非同行评审来源(如Rasch Measurement Transactions、rasch.org、Linacre笔记)的最小N规则。请引用 [@johanssonSimulationbasedCutoffsConditional2026] 关于统计功效的内容。

交叉关注点2:经验法则与基于模拟的阈值

这是该文献中反复出现的问题。固定的临界值(项目拟合MSQ 0.5至1.5或0.7至1.3,Q3 > 0.2,第一对比特征值 > 2.0,Hu和Bentler的CFA阈值,ΔCFI 0.01用于不变性)依赖于样本量和项目属性,并且在任何方向上都是错误的 [@mullerItemFitStatistics2020; @marshSearchGoldenRules2004; @mcneishHowPsychologistsDetermine2026]。推荐数据自适应、基于模拟(参数自助法)的阈值 [@johanssonDetectingItemMisfit2025; @johanssonSimulationbasedCutoffsConditional2026]。关于迭代、决策规则和族系错误率校正(Westfall-Young,至少400次迭代),请引用 [@johanssonSimulationbasedCutoffsConditional2026]。关于在中等数量检验(例如每个项目一个检验)中选择族系错误率控制还是假发现率控制,请引用 [@ferreiraMethodsTestingSmall2024]。

对于CFA拟合,Groskurth等人 [-@groskurthWhyWeNeed2024, p. 3907] 给出了最具体的演示:在一个包含6个项目且N=200的单因素模型中,当负荷为0.40时,拒绝5%正确指定模型的CFI值为.813;当负荷为0.80时,该值为.979。一个固定值不能同时服务两者。《欧洲心理评估杂志》的编辑现在要求作者“放弃所有固定的阈值规则(不仅仅是Hu & Bentler, 1999建议的那些)” [@goretzkoStopUsingFixed2026, p. 80],当作者为阈值辩护为公认实践时,审稿人可以引用这句话。CFA、MGCFA和双因素工具在其下方的章节中介绍。

质疑每一个固定阈值,无论其来源如何,基于两个理由。它源自何处,是模拟、推导还是不正式的提议后来固化成了规则?以及它是否能推广到当前的模型、估计器、类别数、样本量和负荷?这同样适用于审稿人可能忍不住提供的替代固定值:残差相关±.10、修正指数高于10、ECV为.70、dMACS为.40。如果必须使用某个值,请称之为启发式方法并给出其来源,并且不要让裁决仅依赖于它。

同样的原则适用于被视为精确的渐近p值。项目-剩余分检验将项目与其剩余分之间观察到的Goodman-Kruskal伽马值与Rasch模型下预期的伽马值进行比较 [@kreinerNoteItemRestscore2011]。Kreiner [-@kreinerNoteItemRestscore2011, p. 559] 指出,随着项目数和类别数的增加,项目×剩余分表格变得大而稀疏,因此渐近分布是一个差的近似,他建议使用Monte Carlo或参数自助法p值。对iarm实现的零假设模拟显示了问题的大小 [@johanssonCalibrationAsymptoticItemRestscore2026]。由于预期的伽马值是从相同数据估计的,z统计量太小。欠拟合尾端在名义2.5%水平下拒绝了0.2%至1.2%的样本。小样本偏差则作用相反:使用Benjamini-Hochberg校正对20个二分法项目,一个真实的Rasch模型在n=150时有13.5%的样本至少有一个被标记的项目,当量表目标错配时这一比例达到30.5%。多分法项目在每个n上都是保守的。对名义水平的简单校正无法同时解决这两个问题。要求使用在每次重复中重新估计项目参数的参数自助法p值(easyRasch2中的RMitemRestscoreCutoff())。

1. 单维性

  • 残差PCA的第一个对比特征值 < 2.0是一个经验法则,在多种情境下失败 [@chouCheckingDimensionalityItem2010]。预期特征值随N变化。跨研究的特征值比较需要每个研究的预期范围才能解释。
  • RUMM PCAR/t检验:要求一个可靠的二项置信区间(Hagell 2014, doi:10.4236/ojs.2014.46044)并谨慎解释t检验。
  • 推荐直接检验:使用WLSMV/DWLS的CFA,将项目视为有序分类,将拟合与基于模拟的阈值进行比较(见下文“CFA, MGCFA和双因素模型拟合”),或者使用Martin-Löf检验 [@christensenTestingUnidimensionalityPolytomous2002] 及Monte Carlo p值 [@christensenMonteCarloApproach2007]。
  • 当针对该模型、估计器和样本使用基于模拟的阈值判断其拟合时,单因素CFA作为单维性检验才有意义。针对固定阈值(如Hu和Bentler的阈值),它根本不是一个检验,因为相同的指标值可能意味着拟合良好或不佳,具体取决于负荷、N和类别数(见“CFA, MGCFA和双因素模型拟合”)。即便如此,它也是在具有自由负荷的模型下检验单维性,而不是在Rasch模型下。将它与项目拟合(检验等区分度)和局部依赖性检查结合解读,因为残差依赖也会降低CFA拟合。如果需要这种比较,约束负荷相等会使CFA更接近Rasch模型。
  • 对于具有子量表的量表,在拟合任何相关因素、高阶或双因素模型之前,要求将每个子量表作为其自己的单维模型进行拟合,以便读者可以看到每个子量表是否独立成立。
  • 可视化辅助:绘制项目位置与第一残差对比上的标准化负荷的关系图。

2. 局部独立性

经常被遗漏,所以要坚持检查。当项目几乎是重复的(例如,正反措辞的配对)时,反应依赖很常见。如果作者预见到了预期的局部依赖(例如,通过合并配对),则首先要求对未更改的项目进行初步分析。

  • 使用Q3残差相关 [@yenEffectsLocalItem1984] 和每对基于模拟的阈值 [@christensenCriticalValuesYens2017; @nason_another_2025] 以及偏伽马(partial gamma)进行检测,偏伽马评估两个方向,因此可以标记反应依赖。
  • 解决方法(除了删除):使用子测验/超级项目(合并后重新检查阈值排序)或DIGRAM中的图形对数线性Rasch模型 [@kreinerAnalysisLocal2004]。
  • 局部依赖会膨胀信度 [@raykovBiasCoefficient2001],并且可能人为制造双因素的一般因子。过度拟合的项目通常表明存在局部依赖 [@tuerlinckxEffectIgnoringItem2001]。

3. 不变性(DIF)

  • 明确指出的检验方法,并使用方法学论文(而非应用论文)来证明任何幅度阈值(例如0.5 logit)的合理性。基于总分条件的偏伽马 [@bjornerDifferentialItemFunctioning1998; @kreinerAnalysisMultidimensionalContingency1987] 和Rasch树 [@stroblRaschTreesNew2015] 是常见检验的方法学论文。
  • 评估阈值水平的DIF(差异步骤功能),而不仅仅是平均项目位置。通过Rasch树 [@stroblRaschTreesNew2015] 或偏信用树 [@henningerPartialCreditTrees2025] 连续地处理连续协变量(例如年龄)。
  • 量化DIF影响(锚定转换表、位移图),而不仅仅是检测。对于CFA不变性检验(MGCFA、纵向或二元),使用基于模拟的阈值,而不是ΔCFI 0.01 [@cheungEvaluatingGoodnessOfFit2002] 或Chen [-@chenSensitivityGoodnessFit2007] 的值。工具及其限制见下文“CFA, MGCFA和双因素模型拟合”。
  • 区分真实的DIF和人为的DIF。一个被标记的项目可能反映了另一个项目中的DIF,因此必须逐步解决DIF,并进行项目纯化,而不是通过单独的一次性分析来解读 [@andrichRealArtificialDifferential2012; @andrichRealArtificialDifferential2015; @hagquistExplainingDifferentialItem2019]。Henninger等人 [-@henningerPartialCreditTrees2025] 对纯化进行了清晰的论述。它在easyRasch2及其jamovi模块中的RMdifTree()中实现。
  • 在读取…

…(内容已截断)

相关技能