Revisión Psicométrica

Revisa un análisis de validación psicométrica o manuscrito (Rasch, TRI, AFC, o Rasch multifacético/diseños mediados por evaluadores, de un cuestionario, medida de resultado informada por el paciente o panel de calificación de expertos).

¿Qué es Revisión Psicométrica?

Esta habilidad para agentes de IA (como Claude Code, Cursor o Codex) está diseñada para que investigadores y desarrolladores revisen de manera sistemática y rigurosa análisis psicométricos y manuscritos. El agente puede operar en tres modos: autorrevisión (para que el propio autor corrija su trabajo antes del envío a una revista), evaluación de un artículo ya publicado, o redacción de un informe de revisión por pares. Estructura la crítica en torno a cuatro criterios fundamentales (unidimensionalidad, independencia local, invarianza/DIF, monotonicidad) y rechaza puntos de corte fijos de regla general a favor de métodos basados en simulación con referencia a una biblioteca de artículos metodológicos incluida. La habilidad se aplica a modelos Rasch, TRI (dicotómicos y politómicos), AFC (incluyendo MGCFA y bifactor) y Rasch multifacético (MFRM), y su flujo de trabajo guía al agente para recopilar entradas, verificar el código, jerarquizar problemas y rellenar una plantilla de informe según el modo. Es útil para cualquier persona que desarrolle o evalúe cuestionarios, medidas de resultado informadas por el paciente (PROM) o paneles de calificación de expertos, y que desee aplicar estándares psicométricos modernos y evitar errores comunes señalados por revisores de revistas.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/pgmj/psychometrics-skill/tree/HEAD

Installed? Explore more Investigación y análisis de datos skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace Revisión Psicométrica?

Una guía práctica para revisar trabajos de validación de cuestionarios y PROM (Rasch, TRI, AFC). Comience con la teoría: nombre el problema, cite un artículo metodológico y luego recomiende la solución (un método y, cuando corresponda, el software). Sea directo y constructivo.

Tres modos

Por defecto, utilice la autorrevisión cuando el usuario proporcione su propio trabajo. Si no está claro de quién es el trabajo, o si está publicado, pregunte.

  1. Autorrevisión (por defecto). El análisis y manuscrito propios del usuario, antes del envío. El objetivo es encontrar y corregir lo que un revisor de revista objetaría. Salida: un memo de revisión interna (templates/self-review.qmd) con los problemas clasificados por gravedad, cada uno con una solución concreta.
  2. Evaluación de un artículo publicado. Un artículo ya impreso, leído por alguien que decide si usar el instrumento, citarlo, incluirlo en una revisión sistemática o presentarlo en un club de lectura. El objetivo es juzgar qué afirmaciones de medición del artículo respalda la evidencia reportada, y qué significa eso para quienes usan las puntuaciones. Salida: un memo de evaluación (templates/appraisal.qmd) con cada problema clasificado como socava una afirmación principal (la afirmación no se sostiene con la evidencia reportada), debilitía una afirmación (la afirmación puede sostenerse, pero la evidencia es más débil de lo presentado) o menor, y con la consecuencia para los usuarios en lugar de una solución.
  3. Informe de revisor. El manuscrito de otra persona, revisado para una revista. Salida: un informe de revisor (templates/referee-report.qmd) dirigido a los autores y al editor. Los manuscritos en revisión son confidenciales. No los envíe a servicios que el usuario no haya aprobado. Recomiende métodos y software por lo que hacen, no por quién los escribió, y evite un lenguaje que pueda identificar al revisor. No haga de la cita de los trabajos propios del revisor una condición. Cuando el trabajo propio del usuario sea la mejor fuente, cítelo junto con otras fuentes si es posible y deje la elección al usuario.

El marco de evaluación a continuación es el mismo en los tres modos. Lo que difiere son las entradas, las comprobaciones adicionales en la autorrevisión y la salida.

Flujo de trabajo

  1. Determine el modo y el tipo de modelo: Rasch o TRI (dicotómico o politómico), AFC, Rasch multifacético o una combinación. Solo las secciones que se apliquen a ese modelo son relevantes.
  2. Reúna las entradas enumeradas a continuación y lea todo antes de escribir.
  3. En la autorrevisión, comience con las comprobaciones que solo el autor puede ejecutar (consulte "Comprobaciones adicionales en la autorrevisión"): números contra resultados y código contra texto.
  4. Trabaje en los dos temas transversales, los cuatro criterios, las comprobaciones adicionales que correspondan y la sección específica del modelo (AFC o MFRM).
  5. Clasifique los problemas y complete la plantilla para el modo.

Plantee solo los problemas que estén presentes en este manuscrito, y señale la evidencia (sección, tabla, pasaje citado, línea de código). Distinga "no reportado" de "reportado y falló". Elimine las secciones de la plantilla que no correspondan y no añada consejos generales que el manuscrito no necesite.

Primero, reúna las entradas

Autorrevisión.

  • El borrador del manuscrito, incluyendo tablas, figuras y material suplementario.
  • El código de análisis y su salida (scripts de R, archivos Quarto/R Markdown, salida de software). Muchos problemas solo son visibles allí: el estimador realmente utilizado, los puntos de corte realmente aplicados, los ítems realmente eliminados.
  • La revista objetivo y cualquier guía de reporte que requiera.

Evaluación de un artículo publicado.

  • El artículo publicado y su material suplementario, además de cualquier dato y código compartido. La mayoría de los artículos publicados no tienen ni lo uno ni lo otro, así que juzgue lo que se reporta y diga qué afirmaciones no se pueden verificar solo con el artículo. Una prueba faltante es una brecha en la evidencia, no evidencia de que el criterio se cumpla.
  • Para qué quiere el lector el artículo (elegir un instrumento, una población o versión lingüística particular, una puntuación total frente a una de subescala). La misma debilidad puede ser importante para un uso y no para otro. Si el uso previsto no está declarado, pregúntelo, o evalúe los usos que el propio artículo recomienda.
  • Evalúe el artículo según los métodos de su época, pero diga cuándo trabajos metodológicos posteriores muestran que una elección no es fiable (por ejemplo, un punto de corte fijo de ajuste), ya que esto afecta hasta qué punto se puede confiar en el resultado hoy. Mantenga separados los dos juicios, para que la evaluación se lea como un juicio sobre la evidencia y no sobre los autores.
  • Para cada problema abierto, diga qué análisis lo resolvería (por ejemplo, una prueba de ajuste basada en simulación, una prueba de dependencia local, DIF para un grupo que el uso previsto necesita, una prueba de invarianza estricta) y si un reanálisis de datos compartidos sería suficiente o se necesitan nuevos datos.

Informe de revisor.

  • El PDF del manuscrito (texto principal, tablas, figuras y cualquier material suplementario).
  • Para una revisión: la respuesta punto por punto de los autores y la revisión anterior. Numere los comentarios (p. ej., R2.1, R2.2) y, en rondas posteriores, haga un seguimiento de cuáles están resueltos, cuáles se responden con material que aborda un punto diferente y cuáles se rechazan. "Es convencional" o "suficiente para nuestros fines" no es una refutación. Dígalo y reitere lo que se pidió.
  • Si el artículo no tiene números de página o línea, cite el pasaje que se comenta para que los autores puedan encontrarlo.

Lea todo antes de escribir. Asigne cada afirmación de medición al criterio al que pertenece, luego verifique cada criterio por turno.

El marco de evaluación

Estructura la crítica de métodos y resultados en torno a los cuatro criterios que sustentan la medición a nivel de intervalo [@christensenPsychometricValidationPROM2021; @kreinerValidityObjectivityReflections2007]. Dos temas generalmente atraviesan los cuatro. Plantéelos una vez, al principio.

Tema transversal 1: tamaño de muestra y potencia

La estabilidad de la calibración no es la restricción vinculante. La potencia para detectar las desviaciones que se están probando sí lo es. Las muestras pequeñas (y los subgrupos pequeños para DIF) implican baja sensibilidad al desajuste, la dependencia local y el DIF, por lo que los resultados de "no se encontró problema" son preliminares. No acepte reglas de N mínimo de fuentes no revisadas por pares (Rasch Measurement Transactions, rasch.org, notas de Linacre). Cite [@johanssonSimulationbasedCutoffsConditional2026] sobre potencia.

Tema transversal 2: puntos de corte de regla general frente a puntos de corte basados en simulación

El problema recurrente en esta literatura. Los valores críticos fijos (MSQ de ajuste del ítem 0.5 a 1.5 o 0.7 a 1.3, Q3 > 0.2, valor propio del primer contraste > 2.0, puntos de corte de Hu y Bentler para AFC, ΔCFI 0.01 para invarianza) dependen del tamaño de muestra y las propiedades de los ítems y son incorrectos en cualquier dirección [@mullerItemFitStatistics2020; @marshSearchGoldenRules2004; @mcneishHowPsychologistsDetermine2026]. Recomiende puntos de corte adaptativos a los datos, basados en simulación (bootstrap paramétrico) [@johanssonDetectingItemMisfit2025; @johanssonSimulationbasedCutoffsConditional2026]. Para las iteraciones, las reglas de decisión y la corrección por error familiar (Westfall-Young, al menos 400 iteraciones), cite [@johanssonSimulationbasedCutoffsConditional2026]. Para la elección entre control de la tasa de error familiar y de la tasa de falsos descubrimientos para un número moderado de pruebas, como una por ítem, cite [@ferreiraMethodsTestingSmall2024].

Para el ajuste en AFC, Groskurth et al. [-@groskurthWhyWeNeed2024, p. 3907] proporcionan la demostración más concreta: en un modelo unifactorial con seis ítems y N = 200, el valor que rechaza el 5% de los modelos correctamente especificados es CFI = 0.813 cuando las cargas son 0.40 y 0.979 cuando son 0.80. Un solo valor fijo no puede servir para ambos. Los editores del European Journal of Psychological Assessment ahora piden a los autores que "abandonen todas las reglas de puntos de corte fijos (no solo las sugeridas por Hu & Bentler, 1999)" [@goretzkoStopUsingFixed2026, p. 80], lo que un revisor puede citar cuando los autores defienden un punto de corte como práctica aceptada. Las herramientas para AFC, MGCFA y bifactor se cubren en su propia sección a continuación.

Cuestiona cada punto de corte fijo, cualquiera que sea su fuente, por dos motivos. ¿De qué se deriva, de una simulación, de una derivación o de una sugerencia informal que luego se endureció hasta convertirse en una regla? ¿Y se generaliza al modelo, estimador, número de categorías, tamaño de muestra y cargas actuales? Esto se aplica por igual a los valores fijos que un revisor podría sentirse tentado a proporcionar en su lugar: una correlación residual de ±.10, un índice de modificación superior a 10, un ECV de .70, un dMACS de .40. Si es necesario usar un valor, llámelo heurístico y dé su fuente, y no permita que un veredicto dependa solo de él.

Lo mismo se aplica a los valores p asintóticos utilizados como si fueran exactos. La prueba ítem-puntuación restante compara el gamma de Goodman-Kruskal observado entre un ítem y su puntuación restante con el gamma esperado bajo el modelo Rasch [@kreinerNoteItemRestscore2011]. Kreiner [-@kreinerNoteItemRestscore2011, p. 559] señala que la tabla ítem × puntuación restante se vuelve grande y dispersa a medida que crecen el número de ítems y categorías, por lo que la distribución asintótica es una mala aproximación, y sugiere valores p de Monte Carlo o bootstrap paramétrico. Una simulación nula de la implementación en iarm muestra la magnitud del problema [@johanssonCalibrationAsymptoticItemRestscore2026]. Debido a que el gamma esperado se estima a partir de los mismos datos, el estadístico z es demasiado pequeño. La cola de infraajuste rechazó entre el 0.2 y el 1.2% frente a un nominal del 2.5%. Un sesgo de muestra pequeña funciona en la otra dirección: con la corrección de Benjamini-Hochberg sobre 20 ítems dicotómicos, un modelo Rasch verdadero tenía al menos un ítem señalado en el 13.5% de las muestras con n = 150, y en el 30.5% cuando la escala estaba mal orientada. Los ítems politómicos fueron conservadores en cada n. Ninguna corrección única al nivel nominal soluciona ambos. Solicite valores p de bootstrap paramétrico que reestimen los parámetros de los ítems en cada réplica (RMitemRestscoreCutoff() en easyRasch2).

1. Unidimensionalidad

  • El valor propio del primer contraste del PCA de residuos < 2.0 es una regla general que falla en diversos contextos [@chouCheckingDimensionalityItem2010]. El valor propio esperado varía con N. Las comparaciones de valores propios entre estudios necesitan rangos esperados por estudio para ser interpretables.
  • RUMM PCAR/prueba t: requiera un IC binomial fiable (Hagell 2014, doi:10.4236/ojs.2014.46044) e interprete la prueba t con cautela.
  • Recomiende una prueba directa: AFC con WLSMV/DWLS, tratando los ítems como ordinales, con el ajuste comparado con puntos de corte basados en simulación (consulte "Ajuste del modelo AFC, MGCFA y bifactor" a continuación), o la prueba de Martin-Löf [@christensenTestingUnidimensionalityPolytomous2002] con valores p de Monte Carlo [@christensenMonteCarloApproach2007].
  • Una AFC unifactorial solo es significativa como prueba de unidimensionalidad cuando su ajuste se juzga con puntos de corte basados en simulación para ese modelo, estimador y muestra. Contra puntos de corte fijos como los de Hu y Bentler, no es una prueba en absoluto, ya que el mismo valor del índice puede significar un ajuste bueno o malo dependiendo de las cargas, N y el número de categorías (consulte "Ajuste del modelo AFC, MGCFA y bifactor"). Incluso entonces, prueba la unidimensionalidad bajo un modelo con cargas libres, no bajo el modelo Rasch. Léalo junto con el ajuste del ítem, que prueba la discriminación igual, y las comprobaciones de dependencia local, ya que la dependencia residual también reduce el ajuste de la AFC. Restringir las cargas para que sean iguales acerca la AFC al modelo Rasch si se desea esa comparación.
  • Para una escala con subescalas, solicite que cada subescala se ajuste como su propio modelo unidimensional antes de cualquier modelo de factores correlacionados, de orden superior o bifactor, para que los lectores puedan ver si cada una se sostiene por sí sola.
  • Ayuda visual: grafique las cargas estandarizadas en el primer contraste residual frente a la ubicación del ítem.

2. Independencia local

Frecuentemente omitida, así que insista en ella. Es probable que haya dependencia de respuesta siempre que los ítems sean casi duplicados (por ejemplo, pares redactados de forma directa e inversa). Si los autores prevén la dependencia local esperada (por ejemplo, colapsando pares), solicite primero un análisis inicial con los ítems sin modificar.

  • Detecte con correlaciones residuales Q3 [@yenEffectsLocalItem1984] y puntos de corte basados en simulación por par [@christensenCriticalValuesYens2017; @nason_another_2025], y con gamma parcial, que evalúa ambas direcciones y, por lo tanto, señala la dependencia de respuesta.
  • Resuelva (además de la eliminación) con testlets/superítems (vuelva a verificar el orden de los umbrales después de la fusión) o el modelo Rasch loglineal gráfico [@kreinerAnalysisLocal2004] en DIGRAM.
  • La dependencia local infla la fiabilidad [@raykovBiasCoefficient2001] y puede fabricar un factor general bifactor. Los ítems con sobreajuste muy a menudo señalan dependencia local [@tuerlinckxEffectIgnoringItem2001].

3. Invarianza (DIF)

  • Nombre la prueba y justifique cualquier umbral de magnitud (por ejemplo, 0,5 logits) con un artículo metodológico, no uno aplicado. El gamma parcial condicionado a la puntuación total [@bjornerDifferentialItemFunctioning1998; @kreinerAnalysisMultidimensionalContingency1987] y los árboles Rasch [@stroblRaschTreesNew2015] son artículos metodológicos para las pruebas comunes.
  • Evalúe el DIF a nivel de umbral (funcionamiento diferencial del paso), no solo la ubicación promedio del ítem. Trate las covariables continuas (por ejemplo, la edad) de forma continua mediante árboles Rasch [@stroblRaschTreesNew2015] o árboles de crédito parcial [@henningerPartialCreditTrees2025].
  • Cuantifique el impacto del DIF (tablas de conversión ancladas, gráficos de desplazamiento), no solo la detección. Para la invarianza en AFC (MGCFA, longitudinal o diádica), use puntos de corte basados en simulación, no ΔCFI 0.01 [@cheungEvaluatingGoodnessOfFit2002] o los valores de Chen [-@chenSensitivityGoodnessFit2007]. Consulte "Ajuste del modelo AFC, MGCFA y bifactor" a continuación para las herramientas y sus limitaciones.
  • Distinga el DIF real del artificial. Un ítem señalado puede reflejar DIF en otro ítem, por lo que el DIF debe resolverse paso a paso con purificación de ítems en lugar de leerse de un único análisis simultáneo [@andrichRealArtificialDifferential2012; @andrichRealArtificialDifferential2015; @hagquistExplainingDifferentialItem2019]. Henninger et al. [-@henningerPartialCreditTrees2025] ofrecen un tratamiento claro de la purificación. Está implementado en RMdifTree() en easyRasch2 y su módulo de jamovi.
  • Pregunte qué ancla vinculó las escalas de los grupos antes de leer la puntuación DIF. Un ancla contaminada (un ítem con DIF no detectado utilizado para fijar la escala) puede crear DIF artificial.
  • Para AFC multigrupo, informe las pruebas de invarianza en secuencia (configural, métrica, escalar, estricta) y justifique cualquier paso en el que se detenga con un punto de corte basado en simulación para ese contraste. Un ΔCFI grande entre la invarianza métrica y la escalar, por ejemplo, puede reflejar DIF uniforme real. Un ΔCFI grande entre configural y métrica puede reflejar DIF no uniforme o un único ítem que funciona mal.

4. Monotonicidad (supuesto de escalabilidad)

  • Verifique el supuesto de que la probabilidad de una puntuación más alta en el ítem aumenta monótonamente con el rasgo latente. Las escalas Likert invierten este supuesto si las categorías son problemáticas (encabezados confusos, saltos desiguales). Para escalas de acuerdo, presente la distribución de la puntuación total por ítem y los coeficientes de escalabilidad de Loevinger H [@loevingerTechniqueForEvaluation1948; @mokkenNonparametricModels1971; @molenaarNonparametricModels1994]. Los valores H por ítem por debajo de 0.30 sugieren que una categoría puede no funcionar según lo previsto.
  • Revise el orden de los umbrales de los ítems politómicos (categorías de respuesta). Las inversiones de umbral indican que una categoría nunca es la más probable para ningún valor del rasgo, lo que socava el supuesto de que la escala de calificación funciona según lo previsto y señala un problema con las etiquetas de las categorías o la forma en que los encuestados las usan.

Comprobaciones adicionales

Ejecute estas comprobaciones en todos los modos. Las que están marcadas con AB también dependen del autor; en la evaluación y el informe de revisor, señale la omisión si el artículo no las reporta.

  • Fiabilidad de la persona (Rasch: fiabilidad de la persona, índice de separación; TRI: fiabilidad marginal; AFC: omega, alfa ordinal). AB
  • Correspondencia entre el modelo y los datos (residuos del ítem, gráficos Q-Q, gráficos de información del ítem y del test). AB
  • Los índices de ajuste general (INFIT/OUTFIT MSQ y estandarizados) utilizan puntos de corte basados en simulación, no reglas fijas. AB
  • Gráfico de Wright: distribución de ítems y personas en el logit. Debe informarse, especialmente cuando se utilizan puntuaciones brutas para la toma de decisiones. AB
  • Para escalas Likert con ítems redactados en dirección negativa, verifique que hayan sido invertidos. No asuma que los autores lo hicieron. AB
  • Los ítems con alta tasa de omisión (datos faltantes > 5%, categoría "no aplica") se investigan y se informa su efecto sobre la puntuación.
  • Los valores atípicos se manejan, no ignoran. Pregunte: ¿cómo se manejaron? ¿Los resultados cambian sin ellos?
  • Cualquier eliminación de ítems durante el desarrollo de la escala se reporta paso a paso y utilizando un rastreo con criterios preespecificados.
  • Si se necesita información (IVA), se reporta el valor de información por ítem y la información total del test con un objetivo (por ejemplo, para una puntuación de corte, para la ubicación de la persona). AB
  • La puntuación no se estandariza ni se transforma sin una razón vinculada a la interpretación: los logits brutos son la métrica natural a menos que se necesite una escala diferente para el uso previsto.
  • El anclaje y la vinculación se describen explícitamente (qué parámetros se fijaron, qué distribución de personas se asumió y cómo se enlazan las rondas de calibración).

CFA, MGCFA y ajuste del modelo bifactor

Para modelos de variables latentes continuas (estimación WLSMV / DWLS con ítems ordinales)

  • Utilice puntos de corte basados en simulación para cada modelo, estimador y muestra, no las reglas fijas de Hu y Bentler. Implemente la simulación usando el software que se utilizará para el análisis final (lavaan, Mplus, OpenMx). Una simulación en un paquete no se generaliza directamente a otro debido a las diferencias en la estimación de ML frente a WLSMV.
  • Compare el RMSEA, CFI, TLI y SRMR observados con la distribución nula generada. Informe un IC del 95% de la distribución nula como referencia, no solo un percentil único.
  • En MGCFA, genere distribuciones nulas bajo invarianza configural, métrica, escalar y estricta. Compare los decrementos de ajuste observados con la distribución de los decrementos nulos, no con un umbral fijo como ΔCFI 0.01.
  • Los tamaños de muestra pequeños (N < 200 por grupo, o razones ítem:parámetro por debajo de 5:1) hacen que los puntos de corte basados en simulación sean inestables; la simulación debe calibrarse para ese N. Con N < 100 por grupo, la AFC suele ser una mala elección; considere métodos no paramétricos (Mokken) o una simple comprobación de consistencia interna como alternativa.
  • Para modelos bifactor, la prueba de la dimensionalidad del factor general requiere más que el ECV. Informe el omegaH, el porcentaje de correlaciones comunes no contaminadas, y compare el ajuste del modelo bifactor con modelos rivales (unifactorial, factores correlacionados, jerárquico) mediante comparación directa o, si están anidados, mediante pruebas de razón de verosimilitud con corrección de Satorra-Bentler. No utilice BIC/AIC para modelos que difieren en la estructura de factores latentes cuando los modelos no están anidados; utilice en su lugar la validación cruzada o las pruebas de razón de verosimilitud no anidadas [@merkleTestingNestedNonNested2016].

Muchas facetas: Rasch multifacético (MFRM)

Para paneles de calificación de expertos, evaluaciones de desempeño, ensayos calificados por jueces.

  • Comience con un modelo simple (personas, ítems, jueces) y agregue facetas (por ejemplo, ocasión, dominio, grupo de jueces) solo si reducen el desajuste o mejoran la separación de medidas.
  • Informe la separación y fiabilidad del juez: una baja separación del juez significa que los jueces no difieren lo suficiente como para ser distinguidos, lo que es deseable si están calibrados pero problemático si la varianza del juez se confunde con la habilidad de la persona.
  • Para la severidad del juez, informe el gráfico de severidad del juez y, para cada juez, el error estándar de su parámetro de severidad. Un juez con un error estándar grande (en comparación con la separación de jueces) no mide de manera confiable.
  • Pruebe la interacción juez × ítem (DIF por juez) y, si el diseño lo permite, la interacción juez × persona. La descomposición de Chi-cuadrado de la interacción [@walshUnderstandingFacets2021] descompone la interacción en componentes interpretables.
  • Para calificaciones politómicas (escala de calificación frente a modelo de crédito parcial para cada juez), justifique la elección. Normalmente, la escala de calificación asume el mismo uso de categorías en todos los ítems; el crédito parcial permite que varíe el número de umbrales por ítem.
  • Efectos de anclaje: cuando se ancla la severidad del juez, los jueces deben tener al menos 30 observaciones para una estimación estable de la severidad. Especifique el ancla y dé el fundamento.

Comprobaciones adicionales en la autorrevisión

El autor puede verificar cosas que un revisor no puede. Abuse de ese acceso.

  1. Números contra salida. Tome cada cifra reportada en el manuscrito (tamaño de muestra, número de ítems, fiabilidad, valor propio del primer contraste, rango de ajuste del ítem) y localícela en la salida del software o en el script. Si no está, el manuscrito puede informar una ejecución diferente. Anótelo como una discrepancia por verificar. Si el manuscrito dice "después de eliminar 3 ítems, N = 347" pero la salida muestra N = 340, el lector no puede saber cuál es correcto. Encuentre el error y decida si el manuscrito o la salida necesitan corrección.
  2. Código contra texto. Compruebe si el texto describe un método y el código implementa otro, por ejemplo, el texto dice "puntos de corte basados en simulación" pero el código llama a itemfit(model) con los valores predeterminados; el texto dice "prueba de Martin-Löf" pero el código solo ejecuta un PCA de residuos; el texto dice "estimación de máxima verosimilitud condicional" pero el código usa máxima verosimilitud marginal. Estas no son solo erratas; socavan el informe. Corríjalos antes del envío.
  3. Reproducibilidad. Intente ejecutar el análisis proporcionado de principio a fin. Si falla o produce resultados diferentes, el problema es grave. Documente qué falta o qué no funciona.
  4. Eliminación de ítems. Haga una pista de auditoría de los ítems eliminados: cuáles, por qué criterio (ajuste, DIF, dependencia local, tasa de omisión) y en qué paso. Un manuscrito que elimina el 50% de los ítems sin decir por qué no es publicable. Si eliminó ítems y no los reportó, añádalos al manuscrito o justifique su omisión.
  5. Puntuación y transformación. Si el manuscrito transforma logits brutos a una escala de 0 a 100 o a puntuaciones T, verifique que la transformación esté descrita y referenciada con una fuente real (no una calculadora en línea) y que el rango de la puntuación transformada coincida con el uso previsto. Una transformación lineal que no preserva la distancia ordinal es engañosa.
  6. Revise las referencias. Las afirmaciones sobre métodos deben estar respaldadas por una fuente metodológica, no solo por un artículo aplicado que utilizó el método. Si una afirmación remite a un artículo aplicado de 1995, compruebe si ese artículo introdujo el método. Si no, encuentre la fuente original o elimine la cita.

Casos especiales

Traducción lingüística y adaptación cultural

Esta revisión no cubre la traducción y adaptación lingüística. Supone que el instrumento ya ha sido traducido y adaptado siguiendo las pautas ISPOR [@wildPrinciplesGoodPractice2005] o COSMIN [@beatonGuidelinesProcessCrossCultural2000]. Si el manuscrito se centra en la traducción, esta habilidad no es la herramienta adecuada.

Desarrollo de escalas (análisis factorial exploratorio)

Esta habilidad se centra en los cuatro criterios, no en la extracción de factores exploratorios. Para AFE, consulte [@fabrigarEvaluatingUseExploratory1999] y [@preacherUseReproducibleExploratory2012] para la rotación, la retención de factores y el tamaño de muestra. Pero si el manuscrito utiliza AFE y luego aplica un modelo Rasch o de TRI a la misma escala sin una hipótesis a priori, pida una especificación del modelo de medición que sea anterior a la recopilación de datos.

Análisis de clases latentes / modelos de mezcla

Si el manuscrito utiliza LCA para establecer tipos de medición o para probar DIF en clases no observadas, revise la extracción de clases (BIC, LMR-LRT, BLRT, tamaño de clase), la separación (entropía, probabilidades posteriores promedio) y la equivalencia de medición entre clases (invarianza de clases, error de clasificación y reanálisis con clases como grupos observados para pruebas de DIF dentro de las clases).

Análisis factorial de ítems

Para modelos de factores categóricos (TRI de 2 parámetros), revise la normalidad del rasgo latente, la determinación de la métrica (media = 0, varianza = 1 frente a anclaje de ítems) y la fiabilidad marginal.

Puntos de referencia y límites

Haga referencia al material de orientación específico de la revista que el usuario proporciona. Si la revista requiere las pautas COSMIN, compárelas con el manuscrito sección por sección. No duplique el trabajo de una lista de verificación; en su lugar, concéntrese en las brechas entre la práctica reportada y el estándar de la revista.

No recomiende software para el que no estén disponibles artículos metodológicos a través de un enlace DOI verificable, a menos que el usuario proporcione la referencia.

Cuando no hay software disponible

Si el autor describe un método que solo está disponible en un paquete de software propietario o cerrado que el revisor no puede ejecutar, pregunte cómo se verificó el método (por ejemplo, simulaciones, validación cruzada interna, comparación con una implementación de código abierto). Si no se proporciona dicha verificación, señale que el método no se puede verificar externamente.

Cuando un método no está claro

No se limite a decir "no está claro" para los métodos. Adivine el método más probable a partir de las pistas disponibles (tamaño de muestra, tipo de modelo, software mencionado) y pregunte si esa suposición es correcta. Por ejemplo: "La tabla 3 informa un CFI de 0.94. Dado que N = 150, es posible que el CFI se calcule con estimación de ML en lugar de WLSMV. ¿Podrían los autores confirmar el estimador e informar si el CFI se comparó con puntos de corte basados en simulación?"

No se debe hacer

  • No recomiende métodos o software porque sean de uso común o tradicional. Cíñase a lo que la literatura metodológica respalda.
  • No recomiende paquetes basados en una interfaz gráfica de usuario sobre la línea de comandos (o viceversa) sin una razón. El software que puede ser verificado por otro revisor es mejor que el software que no puede.
  • No haga que la publicación dependa del uso de un paquete de software específico; haga que dependa del método.
  • No recomiende puntos de corte fijos, ni siquiera como respaldo cuando no haya puntos de corte basados en simulación disponibles. Si el autor debe usar un umbral, pida que se describa como heurístico, con su fuente y sus limitaciones.
  • No pida un tamaño de muestra que claramente no esté disponible (por ejemplo, pedir N = 500 cuando el estudio reclutó pacientes con una enfermedad rara). En su lugar, reconozca la restricción y pida un análisis de sensibilidad o un reconocimiento explícito del tamaño de muestra insuficiente como una limitación.
  • No convierta la revisión en una lista de comprobación. Cada punto debe ser una observación específica de este manuscrito, no una solicitud genérica.
  • No pida análisis que no mejorarían la interpretabilidad de las puntuaciones para el uso previsto. Cada recomendación debe estar vinculada a la validez de la puntuación para su uso previsto.

Cuando no hay problema

Si todas las comprobaciones pasan y el manuscrito es sólido, dígalo directamente en la revisión, con un breve fundamento de por qué la evidencia es convincente.

Herramientas y referencias

Utilice esta biblioteca de referencias. Los números de DOI son verificables.

  • IRT/Modelo Rasch en R: eRm (ER), iarm, TAM, mirt, difR, lordif
  • DIGRAM: análisis loglineal gráfico de Kreiner
  • easyRasch2: implementa RMdifTree(), RMitemRestscoreCutoff() y otros para pruebas de DIF basadas en árboles y puntos de corte bootstrap paramétricos para el estadístico de ajuste del ítem y de la puntuación restante.
  • AFC/MGCFA: lavaan (R), Mplus, OpenMx, semTools para invarianza. Tenga en cuenta que lavaan con estimación WLSMV y Mplus con WLSMV pueden diferir en el tratamiento de datos faltantes, por lo que la replicabilidad entre software no es automática.
  • COSMIN: pautas para la validación de PROM, puntos de referencia para la calidad metodológica (Terwee et al. 2012, Mokkink et al. 2010).
  • Tamaño de muestra y potencia: @johanssonSimulationbasedCutoffsConditional2026
  • Puntos de corte para el ajuste del ítem: @mullerItemFitStatistics2020; @chouCheckingDimensionalityItem2010
  • Puntos de corte de AFC: @groskurthWhyWeNeed2024; @goretzkoStopUsingFixed2026
  • Puntos de corte para la invarianza: @cheungEvaluatingGoodnessOfFit2002; @chenSensitivityGoodnessFit2007
  • Prueba de Martin-Löf: @christensenTestingUnidimensionalityPolytomous2002; @christensenMonteCarloApproach2007
  • Dependencia local: @yenEffectsLocalItem1984; @christensenCriticalValuesYens2017; @nason_another_2025
  • DIF: @bjornerDifferentialItemFunctioning1998; @kreinerAnalysisMultidimensionalContingency1987; @stroblRaschTreesNew2015; @henningerPartialCreditTrees2025
  • Purificación del DIF: @andrichRealArtificialDifferential2012; @andrichRealArtificialDifferential2015; @hagquistExplainingDifferentialItem2019
  • Corrección por comparaciones múltiples: @ferreiraMethodsTestingSmall2024
  • Análisis factorial exploratorio: @fabrigarEvaluatingUseExploratory1999; @preacherUseReproducibleExploratory2012
  • Traducción: @wildPrinciplesGoodPractice2005; @beatonGuidelinesProcessCrossCultural2000
  • Puntuación: @kreinerNoteItemRestscore2011

Skills relacionados