心理测量学审稿 是做什么的?
审查问卷和PROM验证工作(Rasch, IRT, CFA)的工作指南。以理论为先导:指出问题,引用方法学论文,然后推荐修复方案(方法和相关软件)。要直接且具有建设性。
三种模式
当用户提供自己的工作时,默认使用自我审查模式。如果不清楚是谁的工作,或者是否已发表,请询问。
- 自我审查(默认)。 用户自己的分析和稿件,在提交之前。目标是发现并修复期刊审稿人会反对的问题。输出:一份内部审查备忘录(
templates/self-review.qmd),按严重程度对问题进行排序,每个问题均附有具体的修复方案。 - 对已发表论文的评估。 一篇已发表的论文,由正在决定是否使用该工具、引用它、将其纳入系统综述或在期刊俱乐部展示它的用户阅读。目标是判断论文的测量主张中哪些得到了报告证据的支持,以及这对于任何使用分数的人意味着什么。输出:一份评估备忘录(
templates/appraisal.qmd),每个问题按削弱主要主张(该主张在报告证据上不成立)、削弱主张(主张可能成立,但证据比呈现的要薄弱)或次要进行排序,并附上对用户的影响以替代修复方案。 - 审稿人报告。 为他人的稿件,为期刊进行审稿。输出:一份致作者和编辑的审稿人报告(
templates/referee-report.qmd)。审稿中的稿件是保密的。不要将其发送给用户未批准的服务。根据方法的功能而非编写者来推荐它们,并避免能让审稿人身份被识别的措辞。不得将引用审稿人自己的论文作为条件。如果用户自己的工作是最佳来源,尽可能与其他来源一起引用,并将选择权留给用户。
下面的评估框架在三种模式中相同。不同的是输入、自我审查中的额外检查以及输出。
工作流程
- 确定模式以及模型类型:Rasch或IRT(二分法或多分法)、CFA、多面Rasch或组合。只关注与该模型相关的部分。
- 收集下面列出的输入,并在撰写之前阅读所有内容。
- 在自我审查中,从仅有作者才能运行的检查开始(见“自我审查中的额外检查”):对照输出的数字和对照文本的代码。
- 系统地处理两个交叉关注点、四个标准、适用的额外检查以及特定模型部分(CFA或MFRM)。
- 对问题进行排序,并填写该模式的模板。
只提出本稿件中存在(或未报告)的问题,并指出证据(章节、表格、引用的段落、代码行)。区分“未报告”和“已报告且失败”。删除不适用的模板部分,不要用稿件不需要的一般性建议来填充报告。
首先,收集输入
自我审查。
- 稿件草稿,包括表格、图表和补充材料。
- 分析代码及其输出(R脚本、Quarto/R Markdown文件、软件输出)。许多问题仅在此处可见:实际使用的估计器、实际应用的阈值、实际删除的项目。
- 目标期刊及其要求的任何报告指南。
对已发表论文的评估。
- 已发表的文章及其补充材料,以及任何共享的数据和代码。大多数已发表的论文两者都没有,因此要评估报告的内容,并说明哪些主张仅凭论文本身无法检查。缺失的检验是证据中的空白,而不是标准成立的证据。
- 读者需要该论文的目的(选择工具、特定人群或语言版本、总分与分量表分数)。同一弱点可能对一种用途重要,而对另一种用途不重要。如果预期用途未说明,请询问,或评估论文本身推荐的使用场景。
- 以论文发表时期的方法来衡量它,但也要说明后期方法学工作表明某个选择(例如固定的拟合阈值)是不可靠的,因为这会影响今天对该结果的可信程度。将这两种判断分开,使评估看起来是对证据的判断,而不是对作者的判断。
- 对于每个未决问题,说明哪个分析可以解决它(例如基于模拟的拟合检验、局部依赖性检验、预期用途所需群体的DIF、严格不变性检验),以及共享数据的重新分析是否足够,还是需要新数据。
审稿人报告。
- 稿件PDF(正文、表格、图表和任何补充材料)。
- 对于修订稿:作者逐点回复以及之前的审稿意见。对评论进行编号(例如R2.1, R2.2),并在后续轮次中追踪哪些已解决、哪些用回答了不同问题的材料回应、哪些被拒绝。“这是惯例”或“对我们的目标足够”不是反驳。要明确指出这一点,并重申所要求的内容。
- 如果论文没有页码或行号,引用被评论的段落,以便作者能找到它。
在撰写之前阅读所有内容。将每个测量主张映射到其所属的标准,然后依次检查每个标准。
评估框架
将方法和结果批判围绕支撑区间尺度测量的四个标准进行构建 [@christensenPsychometricValidationPROM2021; @kreinerValidityObjectivityReflections2007]。两个关注点通常贯穿所有四个标准。在前面一次性提出它们。
交叉关注点1:样本量和统计功效
校准稳定性不是约束条件。检测正在被检验的偏离的功效才是。小样本(以及小DIF亚组)意味着对失拟、局部依赖性和DIF的敏感性低,因此“未发现问题”的结果是初步的。不要接受来自非同行评审来源(如Rasch Measurement Transactions、rasch.org、Linacre笔记)的最小N规则。请引用 [@johanssonSimulationbasedCutoffsConditional2026] 关于统计功效的内容。
交叉关注点2:经验法则与基于模拟的阈值
这是该文献中反复出现的问题。固定的临界值(项目拟合MSQ 0.5至1.5或0.7至1.3,Q3 > 0.2,第一对比特征值 > 2.0,Hu和Bentler的CFA阈值,ΔCFI 0.01用于不变性)依赖于样本量和项目属性,并且在任何方向上都是错误的 [@mullerItemFitStatistics2020; @marshSearchGoldenRules2004; @mcneishHowPsychologistsDetermine2026]。推荐数据自适应、基于模拟(参数自助法)的阈值 [@johanssonDetectingItemMisfit2025; @johanssonSimulationbasedCutoffsConditional2026]。关于迭代、决策规则和族系错误率校正(Westfall-Young,至少400次迭代),请引用 [@johanssonSimulationbasedCutoffsConditional2026]。关于在中等数量检验(例如每个项目一个检验)中选择族系错误率控制还是假发现率控制,请引用 [@ferreiraMethodsTestingSmall2024]。
对于CFA拟合,Groskurth等人 [-@groskurthWhyWeNeed2024, p. 3907] 给出了最具体的演示:在一个包含6个项目且N=200的单因素模型中,当负荷为0.40时,拒绝5%正确指定模型的CFI值为.813;当负荷为0.80时,该值为.979。一个固定值不能同时服务两者。《欧洲心理评估杂志》的编辑现在要求作者“放弃所有固定的阈值规则(不仅仅是Hu & Bentler, 1999建议的那些)” [@goretzkoStopUsingFixed2026, p. 80],当作者为阈值辩护为公认实践时,审稿人可以引用这句话。CFA、MGCFA和双因素工具在其下方的章节中介绍。
质疑每一个固定阈值,无论其来源如何,基于两个理由。它源自何处,是模拟、推导还是不正式的提议后来固化成了规则?以及它是否能推广到当前的模型、估计器、类别数、样本量和负荷?这同样适用于审稿人可能忍不住提供的替代固定值:残差相关±.10、修正指数高于10、ECV为.70、dMACS为.40。如果必须使用某个值,请称之为启发式方法并给出其来源,并且不要让裁决仅依赖于它。
同样的原则适用于被视为精确的渐近p值。项目-剩余分检验将项目与其剩余分之间观察到的Goodman-Kruskal伽马值与Rasch模型下预期的伽马值进行比较 [@kreinerNoteItemRestscore2011]。Kreiner [-@kreinerNoteItemRestscore2011, p. 559] 指出,随着项目数和类别数的增加,项目×剩余分表格变得大而稀疏,因此渐近分布是一个差的近似,他建议使用Monte Carlo或参数自助法p值。对iarm实现的零假设模拟显示了问题的大小 [@johanssonCalibrationAsymptoticItemRestscore2026]。由于预期的伽马值是从相同数据估计的,z统计量太小。欠拟合尾端在名义2.5%水平下拒绝了0.2%至1.2%的样本。小样本偏差则作用相反:使用Benjamini-Hochberg校正对20个二分法项目,一个真实的Rasch模型在n=150时有13.5%的样本至少有一个被标记的项目,当量表目标错配时这一比例达到30.5%。多分法项目在每个n上都是保守的。对名义水平的简单校正无法同时解决这两个问题。要求使用在每次重复中重新估计项目参数的参数自助法p值(easyRasch2中的RMitemRestscoreCutoff())。
1. 单维性
- 残差PCA的第一个对比特征值 < 2.0是一个经验法则,在多种情境下失败 [@chouCheckingDimensionalityItem2010]。预期特征值随N变化。跨研究的特征值比较需要每个研究的预期范围才能解释。
- RUMM PCAR/t检验:要求一个可靠的二项置信区间(Hagell 2014, doi:10.4236/ojs.2014.46044)并谨慎解释t检验。
- 推荐直接检验:使用WLSMV/DWLS的CFA,将项目视为有序分类,将拟合与基于模拟的阈值进行比较(见下文“CFA, MGCFA和双因素模型拟合”),或者使用Martin-Löf检验 [@christensenTestingUnidimensionalityPolytomous2002] 及Monte Carlo p值 [@christensenMonteCarloApproach2007]。
- 当针对该模型、估计器和样本使用基于模拟的阈值判断其拟合时,单因素CFA作为单维性检验才有意义。针对固定阈值(如Hu和Bentler的阈值),它根本不是一个检验,因为相同的指标值可能意味着拟合良好或不佳,具体取决于负荷、N和类别数(见“CFA, MGCFA和双因素模型拟合”)。即便如此,它也是在具有自由负荷的模型下检验单维性,而不是在Rasch模型下。将它与项目拟合(检验等区分度)和局部依赖性检查结合解读,因为残差依赖也会降低CFA拟合。如果需要这种比较,约束负荷相等会使CFA更接近Rasch模型。
- 对于具有子量表的量表,在拟合任何相关因素、高阶或双因素模型之前,要求将每个子量表作为其自己的单维模型进行拟合,以便读者可以看到每个子量表是否独立成立。
- 可视化辅助:绘制项目位置与第一残差对比上的标准化负荷的关系图。
2. 局部独立性
经常被遗漏,所以要坚持检查。当项目几乎是重复的(例如,正反措辞的配对)时,反应依赖很常见。如果作者预见到了预期的局部依赖(例如,通过合并配对),则首先要求对未更改的项目进行初步分析。
- 使用Q3残差相关 [@yenEffectsLocalItem1984] 和每对基于模拟的阈值 [@christensenCriticalValuesYens2017; @nason_another_2025] 以及偏伽马(partial gamma)进行检测,偏伽马评估两个方向,因此可以标记反应依赖。
- 解决方法(除了删除):使用子测验/超级项目(合并后重新检查阈值排序)或DIGRAM中的图形对数线性Rasch模型 [@kreinerAnalysisLocal2004]。
- 局部依赖会膨胀信度 [@raykovBiasCoefficient2001],并且可能人为制造双因素的一般因子。过度拟合的项目通常表明存在局部依赖 [@tuerlinckxEffectIgnoringItem2001]。
3. 不变性(DIF)
- 明确指出的检验方法,并使用方法学论文(而非应用论文)来证明任何幅度阈值(例如0.5 logit)的合理性。基于总分条件的偏伽马 [@bjornerDifferentialItemFunctioning1998; @kreinerAnalysisMultidimensionalContingency1987] 和Rasch树 [@stroblRaschTreesNew2015] 是常见检验的方法学论文。
- 评估阈值水平的DIF(差异步骤功能),而不仅仅是平均项目位置。通过Rasch树 [@stroblRaschTreesNew2015] 或偏信用树 [@henningerPartialCreditTrees2025] 连续地处理连续协变量(例如年龄)。
- 量化DIF影响(锚定转换表、位移图),而不仅仅是检测。对于CFA不变性检验(MGCFA、纵向或二元),使用基于模拟的阈值,而不是ΔCFI 0.01 [@cheungEvaluatingGoodnessOfFit2002] 或Chen [-@chenSensitivityGoodnessFit2007] 的值。工具及其限制见下文“CFA, MGCFA和双因素模型拟合”。
- 区分真实的DIF和人为的DIF。一个被标记的项目可能反映了另一个项目中的DIF,因此必须逐步解决DIF,并进行项目纯化,而不是通过单独的一次性分析来解读 [@andrichRealArtificialDifferential2012; @andrichRealArtificialDifferential2015; @hagquistExplainingDifferentialItem2019]。Henninger等人 [-@henningerPartialCreditTrees2025] 对纯化进行了清晰的论述。它在easyRasch2及其jamovi模块中的
RMdifTree()中实现。 - 在读取…
…(内容已截断)