Community研究與資料分析github.com

心理計量審查

審查心理計量驗證分析或手稿(Rasch、IRT、CFA 或多面向 Rasch / 評分者中介設計,適用於問卷、患者報告結果測量或專家評分小組)。主要用於自我審查:在投稿前檢查自己的分析和手稿,以便在期刊審稿人發現問題之前修正。也可評鑑已發表的論文,並為他人的手稿起草同儕審查(審稿人)報告。將評審結構圍繞四個測量標準(單維性、局部獨立性、不變性/DIF、單調性),將固定經驗法則的臨界值推向模擬為基礎的臨界值,並引用捆綁參考文獻庫中的方法論文。

心理計量審查 是什麼?

該技能「psychometrics-review」是一款專為心理計量驗證分析設計的 AI 審查工具,主要用於支援問卷、患者報告結果測量(PROM)或專家評分小組的 Rasch、IRT、CFA 或多面向 Rasch 模型分析。其核心理念是「以理論為先」,要求明確指出問題、引用方法論文,然後提出具體的修正建議(包括方法與相關軟體)。 技能提供三種操作模式:預設的「自我審查」(幫助作者在投稿前發現並修正問題)、「已發表論文評鑑」(評估已發表論文的測量主張是否成立及其對使用者的影響),以及「審稿人報告」(為期刊審查他人手稿,注重匿名性與保密性)。所有模式都基於一個統一的評估框架,但會根據模式調整輸入資料、額外檢查與輸出模板。 評估框架的核心是四個測量標準:單維性、局部獨立性、不變性/DIF 與單調性。技能特別強調兩個貫穿性問題:樣本量與檢定力(強調以檢定力為核心,而非校準穩定性),以及規則經驗法則與模擬為基礎的臨界值(主張廢除固定臨界值,如項目配適 MSQ 0.5-1.5、Q3 > 0.2 或 CFA 的 Hu & Bentler 臨界值,改採用資料自適應的參數自助法模擬臨界值)。 此外,技能針對每項標準提供了詳細的檢查清單與方法建議,例如:使用 Martin-Löf 檢定或基於模擬臨界值的 CFA 來測試單維性;使用 Q3 殘差相關與部分 Gamma 來檢測局部獨立性;使用部分 Gamma、Rasch 樹與項目純化來評估 DIF;以及檢查閾值排序與排除無效反應模式來驗證單調性。技能也包含了對 CFA、多群組 CFA(MGCFA)與雙因子模型的專用章節。技能輸出為結構化的報告模板,可根據問題嚴重性(嚴重、中等、輕微)進行排序,確保審查意見直接且具建設性。

相容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/pgmj/psychometrics-skill/tree/HEAD

Installed? Explore more 研究與資料分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

心理計量審查 是做什麼的?

審查問卷和 PROM 驗證工作(Rasch、IRT、CFA)的工作指南。以理論為先:指出問題名稱,引用方法論文,然後建議修正(方法,以及相關軟體)。要直接且具建設性。

三種模式

當使用者提供自己的作品時,預設為自我審查。如果不清楚是誰的作品,或者是否已發表,請詢問。

  1. 自我審查(預設)。 使用者在投稿前的自己的分析和手稿。目標是找出並修正期刊審稿人會反對的問題。輸出:一份內部審查備忘錄(templates/self-review.qmd),其中問題按嚴重性排序,每個問題都有具體的修正方法。
  2. 已發表論文評鑑。 已印刷出版的論文,由正在決定是否使用該工具、引用它、將其納入系統性綜述或在期刊俱樂部中介紹它的人閱讀。目標是判斷論文所報告的證據支持其哪些測量主張,以及這對任何使用分數的人意味著什麼。輸出:一份評鑑備忘錄(templates/appraisal.qmd),每個問題根據其影響被歸類為削弱主要主張(該主張無法憑報告的證據成立)、削弱主張(該主張可能成立,但證據比呈現的薄弱)或次要,並以對使用者的後果替代修正建議。
  3. 審稿人報告。 他人的手稿,為期刊審查。輸出:一份給作者和編輯的審稿人報告(templates/referee-report.qmd)。審查中的手稿是保密的。不要將它們發送給使用者未批准的服務。根據方法的功能而不是作者來推薦方法和軟體,並避免可能識別審稿人的措辭。不要將引用審稿人自己的論文作為條件。如果使用者自己的作品是最佳來源,請盡可能與其他來源一起引用,並將選擇權留給使用者。

以下評估框架在所有三種模式中都是相同的。不同的是輸入、自我審查中的額外檢查以及輸出。

工作流程

  1. 確定模式以及模型類型:Rasch 或 IRT(二元或多項)、CFA、多面向 Rasch 或組合。僅相關於該模型的章節才需要考慮。
  2. 收集以下列出的輸入,並在撰寫前全部閱讀。
  3. 在自我審查中,從只有作者才能執行的檢查開始(見「自我審查中的額外檢查」):將數字與輸出比對,將程式碼與文字比對。
  4. 處理兩個貫穿性關注點、四個標準、適用的額外檢查以及特定於模型的章節(CFA 或 MFRM)。
  5. 對問題進行排序並填入該模式的模板。

僅提出本手稿中存在的問題,並指出證據(章節、表格、引用段落、程式碼行)。區分「未報告」和「報告但失敗」。刪除不適用的模板章節,不要用稿件不需要的一般性建議來填充報告。

首先,收集輸入

自我審查。

  • 手稿草稿,包括表格、圖表和補充材料。
  • 分析程式碼及其輸出(R 腳本、Quarto/R Markdown 檔案、軟體輸出)。許多問題只有在這裡才看得見:實際使用的估計器、實際應用的臨界值、實際刪除的項目。
  • 目標期刊及其要求的任何報告指南。

已發表論文評鑑。

  • 已發表的文章及其補充材料,以及任何共享的數據和程式碼。大多數已發表的論文兩者都沒有,因此要判斷報告了什麼,並說明哪些主張僅從論文本身無法檢查。缺失的檢定是證據中的一個缺口,而不是該標準成立的證據。
  • 讀者需要該論文的目的(選擇工具、特定群體或語言版本、總分與子量表分數)。同一個弱點可能對一種用途重要而對另一種用途不那麼重要。如果未說明預期用途,請詢問,或者評鑑論文本身推薦的用途。
  • 以當時的方法標準來評判論文,但說明後期的方法研究是否表明某個選擇不可靠(例如固定的配適度臨界值),因為這會影響今天對結果的信任程度。將這兩個判斷分開,使評鑑讀起來是對證據的判斷,而不是對作者的判斷。
  • 對於每個未解決的問題,說明哪個分析可以解決它(例如基於模擬的配適度檢定、局部獨立性檢定、針對預期用途所需群體的 DIF 檢定、嚴格的恆等性檢定),以及是否需要重新分析共享數據或需要新的數據。

審稿人報告。

  • 手稿 PDF(正文、表格、圖表和任何補充材料)。
  • 對於修訂版:作者逐點回應和先前的審查意見。對評論進行編號(例如 R2.1、R2.2),並在後續輪次中追蹤哪些已解決、哪些已用解決不同問題的材料回答、哪些已被拒絕。「這是慣例」或「足以滿足我們的目的」不是反駁。指出這一點並重申所要求的內容。
  • 如果論文沒有頁碼或行號,請引用被評論的段落,以便作者能找到。

在撰寫前閱讀所有內容。將每個測量主張映射到它所屬的標準,然後依次檢查每個標準。

評估框架

圍繞支撐區間水準測量的四個標準來建構方法和結果的評審 [@christensenPsychometricValidationPROM2021; @kreinerValidityObjectivityReflections2007]。通常有兩個關注點會貫穿所有四個標準。在一開始就一次提出。

貫穿性關注點 1:樣本量和檢定力

校準穩定性不是制約因素。檢定力才是,用以檢測正在測試的偏離。小樣本(以及小的 DIF 子群體)意味著對不配適、局部依賴性和 DIF 的敏感度低,因此「未發現問題」的結果是初步的。不要接受來自非同儕審查來源(Rasch Measurement Transactions、rasch.org、Linacre notes)的最小 N 規則。關於檢定力,請引用 [@johanssonSimulationbasedCutoffsConditional2026]。

貫穿性關注點 2:經驗法則與模擬為基礎的臨界值

這是該文獻中反覆出現的問題。固定的臨界值(項目配適 MSQ 0.5 到 1.5 或 0.7 到 1.3、Q3 > 0.2、第一對比特徵值 > 2.0、Hu 和 Bentler 的 CFA 臨界值、用於恆等性的 ΔCFI 0.01)取決於樣本量和項目屬性,並且在兩個方向上都是錯誤的 [@mullerItemFitStatistics2020; @marshSearchGoldenRules2004; @mcneishHowPsychologistsDetermine2026]。推薦資料自適應、基於模擬(參數自助法)的臨界值 [@johanssonDetectingItemMisfit2025; @johanssonSimulationbasedCutoffsConditional2026]。對於迭代次數、決策規則和族系誤差校正(Westfall-Young,至少 400 次迭代),請引用 [@johanssonSimulationbasedCutoffsConditional2026]。對於在適量檢定(例如每個項目一個檢定)中在族系誤差率控制和錯誤發現率控制之間的選擇,請引用 [@ferreiraMethodsTestingSmall2024]。

對於 CFA 配適度,Groskurth 等人 [-@groskurthWhyWeNeed2024,第 3907 頁] 給出了最具體的演示:在一個具有六個項目且 N = 200 的單因子模型中,正確拒絕 5% 正確指定模型的值是當因素負荷量為 .40 時 CFI = .813,當因素負荷量為 .80 時 CFI = .979。一個固定值無法同時服務兩者。《歐洲心理評估期刊》的編輯現在要求作者「放棄所有固定的臨界值規則(不僅限於 Hu & Bentler, 1999 建議的)」[@goretzkoStopUsingFixed2026,第 80 頁],當作者將臨界值辯護為公認慣例時,審稿人可以引用這一點。CFA、MGCFA 和雙因子工具在其下方專用章節中介紹。

質疑每一個固定的臨界值,無論其來源為何,基於兩個理由。它是從什麼推導出來的?一個模擬、一個推導,還是後來變成規則的非正式建議?它是否能夠推廣到當前的模型、估計器、類別數、樣本量和因素負荷量?這同樣適用於審稿人可能想用來替代它們的固定值:殘差相關 ±.10、修正指數高於 10、ECV 為 .70、dMACS 為 .40。如果必須使用一個值,請稱之為啟發式方法並給出其來源,並且不要讓結論僅依賴於它。

同樣的原則適用於被視為精確值的漸近 p 值。項目-剩餘分數檢定比較一個項目與其剩餘分數之間觀察到的 Goodman-Kruskal Gamma 值與 Rasch 模型下期望的 Gamma 值 [@kreinerNoteItemRestscore2011]。Kreiner [-@kreinerNoteItemRestscore2011,第 559 頁] 指出,隨著項目數量和類別數量的增加,項目 × 剩餘分數表變得龐大且稀疏,因此漸近分佈是一個糟糕的近似值,他建議使用蒙地卡羅或參數自助法 p 值。對 iarm 實作的空值模擬顯示了問題的規模 [@johanssonCalibrationAsymptoticItemRestscore2026]。由於期望的 Gamma 值是從相同數據估計的,因此 z 統計量太小。配適不足的尾部拒絕率為 0.2% 到 1.2%,而名義值為 2.5%。一個小樣本偏誤則朝相反方向作用:在使用 Benjamini-Hochberg 校正處理 20 個二元項目時,一個真實的 Rasch 模型在 n = 150 時有 13.5% 的樣本至少有一個被標記的項目,而當量表存在目標錯位時,這個比例上升到 30.5%。多項項目在每個 n 下都表現保守。沒有一個對名義水準的單一修正可以同時解決這兩個問題。要求使用在每次重複中都重新估計項目參數的參數自助法 p 值(easyRasch2 中的 RMitemRestscoreCutoff())。

1. 單維性

  • 殘差 PCA 的第一對比特徵值 < 2.0 是一個經驗法則,在多種情況下都失敗 [@chouCheckingDimensionalityItem2010]。預期的特徵值隨 N 變化。跨研究比較特徵值需要每個研究的預期範圍才能解釋。
  • RUMM PCAR/t-test:要求一個可靠的信賴區間 (Hagell 2014, doi:10.4236/ojs.2014.46044),並謹慎解釋 t 檢定。
  • 推薦直接檢定:使用 WLSMV/DWLS 的 CFA,將項目視為有序分類變量,並將配適度與基於模擬的臨界值進行比較(見下文「CFA、MGCFA 和雙因子模型配適度」),或者使用 Martin-Löf 檢定 [@christensenTestingUnidimensionalityPolytomous2002] 並搭配蒙地卡羅 p 值 [@christensenMonteCarloApproach2007]。
  • 當使用基於該模型、估計器和樣本的模擬臨界值來判斷其配適度時,單因子 CFA 作為單維性的檢定才具有意義。使用固定的臨界值(例如 Hu 和 Bentler 的臨界值)時,它根本不是檢定,因為同一個指標值根據因素負荷量、N 和類別數量(見「CFA、MGCFA 和雙因子模型配適度」)可能表示良好或較差的配適度。即便如此,它也是在自由因素負荷量的模型下檢定單維性,而不是在 Rasch 模型下。應與測試等鑑別度的項目配適度一起解讀,並與局部獨立性檢查一起解讀,因為殘差依賴性也會降低 CFA 配適度。如果需要這種比較,將因素負荷量限制為相等可以使 CFA 更接近 Rasch 模型。
  • 對於具有子量表的量表,要求先在任何相關因子、高階或雙因子模型之前,將每個子量表作為其自己的單維模型進行配適,以便讀者可以看到每個子量表是否單獨成立。
  • 視覺輔助:繪製第一個殘差對比上的標準化因素負荷量與項目位置的關係圖。

2. 局部獨立性

經常被忽略,因此要堅持檢查。當項目幾乎是重複的(例如,用正向和反向措辭配對的項目)時,很可能存在反應依賴性。如果作者預期到局部依賴性(例如,通過合併配對項目),請要求先使用未更改的項目進行初步分析。

  • 使用 Q3 殘差相關 [@yenEffectsLocalItem1984] 和每對基於模擬的臨界值 [@christensenCriticalValuesYens2017; @nason_another_2025] 以及部分 Gamma(它評估兩個方向,因此能標記反應依賴性)進行檢測。
  • 解決方法(除了刪除):使用測試組/超級項目(合併後重新檢查閾值順序),或使用 DIGRAM 中的圖形對數線性 Rasch 模型 [@kreinerAnalysisLocal2004]。
  • 局部依賴性會膨脹信度 [@raykovBiasCoefficient2001],並且可能製造出一個虛假的雙因子一般因子。過度配適的項目通常預示著局部依賴性 [@tuerlinckxEffectIgnoringItem2001]。

3. 不變性(DIF)

  • 明確指出檢定的名稱,並使用方法論文(而非應用論文)來證明任何大小閾值(例如 0.5 logit)的合理性。基於總分的部分 Gamma [@bjornerDifferentialItemFunctioning1998; @kreinerAnalysisMultidimensionalContingency1987] 和 Rasch 樹 [@stroblRaschTreesNew2015] 是常見檢定的方法論文。
  • 評估閾值層級的 DIF(差異步驟功能),而不僅是平均項目位置。透過 Rasch 樹 [@stroblRaschTreesNew2015] 或部分給分樹 [@henningerPartialCreditTrees2025] 將連續共變量(例如年齡)視為連續變量進行處理。
  • 量化 DIF 的影響(錨定轉換表、位移圖),而不僅是檢測。對於 CFA 不變性(MGCFA、縱向或二元組),使用基於模擬的臨界值,而不是 ΔCFI 0.01 [@cheungEvaluatingGoodnessOfFit2002] 或 Chen [-@chenSensitivityGoodnessFit2007] 的值。請參閱下文「CFA、MGCFA 和雙因子模型配適度」以了解工具及其限制。
  • 區分真實的和人為的 DIF。一個被標記的項目可能反映了另一個項目的 DIF,因此必須透過項目純化逐步解決 DIF,而不是從單次同時分析中直接讀取 [@andrichRealArtificialDifferential2012; @andrichRealArtificialDifferential2015; @hagquistExplainingDifferentialItem2019]。Henninger 等人 [-@henningerPartialCreditTrees2025] 對純化進行了清晰的處理。它在 easyRasch2 及其 jamovi 模組的 RMdifTree() 中實現。
  • 在讀取 DIF 分析結果之前,詢問哪個錨點連接了各組的量表分數。

[...已截斷以供翻譯]

4. 單調性(項目特徵曲線順序)

  • 檢查每個項目的閾值是否有序。對於多項 Rasch 模型(評分量尺模型,部分給分模型)尤其重要,其中無序的閾值(反轉)表明類別無法按預期運作。
  • 針對每個類別的經驗項目特徵曲線與模型預期的曲線進行視覺檢查。
  • 在 Mokken 量表分析中,可以使用自動配對程序(例如 Mokken 的 MSP)或可擴展性係數(H 係數)來評估單調性同質性。H > 0.30 通常被視為一個量表可接受的標準,但這也是一個經驗法則。
  • 對於自我審查:檢查原始響應模式是否有無效或不一致的響應(例如,所有項目得分相同,或外部異常值)。這可以透過分析殘差或對個人層級的配適度統計量(如 infit 和 outfit)進行圖形檢查來完成。

特定於模型的章節

CFA、MGCFA 和雙因子模型配適度

(省略以保持長度合理,原文此處有詳細的 CFA 配適度討論。)

多面向 Rasch 模型 (MFRM)

(省略以保持長度合理,原文此處有詳細的 MFRM 討論。)

自我審查中的額外檢查

  1. 數字與輸出一致性: 將手稿文字中的統計量(樣本量、項目參數、配適度統計量、信度係數)與軟體輸出進行交叉比對。任何不一致都必須修正。
  2. 程式碼與文字一致性: 檢查分析程式碼以確認陳述的分析確實已執行。例如:
    • 手稿中聲稱使用了參數自助法臨界值,但程式碼中應用了固定經驗法則。
    • 聲稱測試了 DIF,但 DIF 分析未針對相關子群體進行,或未使用恰當的純化方法。
    • 聲稱使用了 WLSMV 估計器,但程式碼中預設了 MLR。
  3. 模型診斷: 重新執行診斷圖(例如,Q-Q 圖、殘差圖),以確保沒有未報告的異常值或違反假設的情況。
  4. 敏感性分析: 檢查作者是否報告了對不同模型規格、臨界值或數據排除標準下的結果穩健性的任何分析。如果沒有,建議進行此類分析。

輸出示範

對於自我審查,一個結構化的內部備忘錄可能包含:

## 嚴重問題

**問題 X:單維性主張缺乏支持。**

-   **證據:** 第 3.2 節,殘差 PCA 的第一對比特徵值為 1.8。
-   **問題:** 作者引用了一個固定閾值 < 2.0 來支持單維性。但這忽視了基於 N=250 的模擬臨界值(第 2.1 節),該臨界值為 2.3。
-   **修正建議:** 使用 easyRasch2 中的 `RMpcaCutoff()` 重新執行 PCA 並使用基於模擬的臨界值。如果第一對比超過了基於模擬的臨界值,則報告潛在的二次維度,並考慮進行 Martin-Löf 檢定。

## 中等問題

**問題 Y:未報告局部獨立性檢查。**

-   **證據:** 第 3.3 節缺少檢查。
-   **問題:** 作者討論了子量表信度,但未評估局部依賴性,考慮到項目 5 和 6 措辭相似,這一點至關重要。
-   **修正建議:** 計算 Q3 殘差相關和部分 Gamma 統計量。根據您的樣本量使用模擬閾值。

(已截斷)

相關技能