CommunityPesquisa e Análise de Dadosgithub.com

Revisão Psicométrica

Revisa uma análise de validação psicométrica ou manuscrito (Rasch, TRI, AFC, ou Rasch multifacetas / desenhos mediados por avaliadores, de um questionário, medida de desfecho relatada pelo paciente ou painel de avaliação de especialistas). O uso principal é a autorevisão: verificar a própria análise e o manuscrito antes da submissão para que problemas sejam corrigidos antes que um revisor de periódico os encontre. Também avalia um artigo já publicado e elabora um relatório de revisão por pares (parecer) sobre o manuscrito de outra pessoa. Estrutura a crítica em torno dos quatro critérios de medida (unidimensionalidade, independência local, invariância/DIF, monotonicidade), substitui pontos de corte fixos baseados em regras práticas por aqueles baseados em simulação e cita artigos de métodos da biblioteca de referência incluída.

O que é Revisão Psicométrica?

Esta habilidade é uma ferramenta especializada para revisão de trabalhos de validação psicométrica, abrangendo modelos Rasch, Teoria de Resposta ao Item (TRI), Análise Fatorial Confirmatória (AFC) e Rasch Multifacetas (MFRM). Seu principal objetivo é auxiliar pesquisadores na autorevisão de suas análises e manuscritos antes da submissão a periódicos, identificando e corrigindo problemas que seriam apontados por revisores. A habilidade também suporta a avaliação de artigos já publicados e a elaboração de relatórios de revisão por pares para manuscritos de outros autores. Para isso, ela estrutura a crítica em torno de quatro critérios fundamentais de medida (unidimensionalidade, independência local, invariância/DIF e monotonicidade), substituindo pontos de corte fixos tradicionais por abordagens baseadas em simulação (como bootstrap paramétrico) e citando artigos de métodos de uma biblioteca de referência integrada. Ela funciona em três modos distintos (autorevisão, avaliação de artigo publicado e relatório de parecer), cada um com entradas e saídas específicas, fornecendo modelos de documentos para organizar os resultados. A ferramenta é particularmente útil para garantir a qualidade e a precisão das evidências de validade em instrumentos de medida como questionários e medidas relatadas por pacientes.

Funciona com✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/pgmj/psychometrics-skill/tree/HEAD

Installed? Explore more Pesquisa e Análise de Dados skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que Revisão Psicométrica faz?

Um guia prático para revisar trabalhos de validação de questionários e PROMs (Rasch, TRI, AFC). Lidere com a teoria: nomeie o problema, cite um artigo de método, então recomende a correção (um método e, quando relevante, o software). Seja direto e construtivo.

Três modos

Por padrão, use a autorevisão quando o usuário fornecer seu próprio trabalho. Se não estiver claro de quem é o trabalho, ou se ele foi publicado, pergunte.

  1. Autorevisão (padrão). A análise e o manuscrito do próprio usuário, antes da submissão. O objetivo é encontrar e corrigir o que um revisor de periódico apontaria. Saída: um memorando de revisão interna (templates/self-review.qmd) com problemas classificados por gravidade, cada um com uma correção concreta.
  2. Avaliação de um artigo publicado. Um artigo já publicado, lido por alguém decidindo se deve usar o instrumento, citá-lo, incluí-lo em uma revisão sistemática ou apresentá-lo em um clube de periódicos. O objetivo é julgar quais das alegações de medida do artigo as evidências relatadas suportam e o que isso significa para quem usa os escores. Saída: um memorando de avaliação (templates/appraisal.qmd) com cada problema classificado como prejudica uma alegação principal (a alegação não se sustenta nas evidências relatadas), enfraquece uma alegação (a alegação pode se sustentar, mas a evidência é mais fraca do que a apresentada) ou menor, e com a consequência para os usuários no lugar de uma correção.
  3. Relatório de parecer. O manuscrito de outra pessoa, revisado para um periódico. Saída: um relatório de revisão (templates/referee-report.qmd) endereçado aos autores e ao editor. Manuscritos sob revisão são confidenciais. Não os envie para serviços que o usuário não aprovou. Recomende métodos e software pelo que eles fazem, não por quem os escreveu, e evite redações que identificariam o revisor. Não torne a citação dos próprios artigos do revisor uma condição. Quando o trabalho do próprio usuário for a melhor fonte, cite-o junto com outras fontes, se possível, e deixe a escolha para o usuário.

O quadro de avaliação abaixo é o mesmo nos três modos. O que difere são as entradas, as verificações extras na autorevisão e a saída.

Fluxo de trabalho

  1. Defina o modo e o tipo de modelo: Rasch ou TRI (dicotômico ou politômico), AFC, Rasch Multifacetas ou uma combinação. Apenas as seções que se aplicam a esse modelo são relevantes.
  2. Reúna as entradas listadas abaixo e leia tudo antes de escrever.
  3. Na autorevisão, comece com as verificações que apenas o autor pode executar (veja "Verificações extras na autorevisão"): números contra a saída e código contra o texto.
  4. Trabalhe através das duas preocupações transversais, dos quatro critérios, das verificações adicionais que se aplicam e da seção específica do modelo (AFC ou MFRM).
  5. Classifique os problemas e preencha o modelo para o modo.

Levante apenas problemas que estão presentes neste manuscrito e aponte para a evidência (seção, tabela, passagem citada, linha de código). Distinga "não relatado" de "relatado e falhou". Exclua seções do modelo que não se aplicam não encha o relatório com conselhos gerais que o manuscrito não precisa.

Primeiro, reúna as entradas

Autorevisão.

  • O rascunho do manuscrito, incluindo tabelas, figuras e material suplementar.
  • O código da análise e sua saída (scripts em R, arquivos Quarto/R Markdown, saída de software). Muitos problemas são visíveis apenas lá: o estimador realmente usado, os pontos de corte realmente aplicados, os itens realmente removidos.
  • O periódico alvo e qualquer diretriz de relato exigida.

Avaliação de um artigo publicado.

  • O artigo publicado e seu material suplementar, além de quaisquer dados e códigos compartilhados. A maioria dos artigos publicados não tem nenhum dos dois, então julgue o que é relatado e diga quais alegações não podem ser verificadas apenas a partir do artigo. Um teste ausente é uma lacuna na evidência, não uma evidência de que o critério se sustenta.
  • Para que o leitor quer o artigo (escolher um instrumento, uma determinada população ou versão linguística, um escore total versus subescala). A mesma fraqueza pode ser importante para um uso e não para outro. Se o uso pretendido não for declarado, pergunte por ele ou avalie os usos que o próprio artigo recomenda.
  • Avalie o artigo pelos métodos de sua época, mas diga quando trabalhos metodológicos posteriores mostram que uma escolha não é confiável (por exemplo, um ponto de corte de ajuste fixo), pois isso afeta o quanto o resultado pode ser confiável hoje. Mantenha os dois julgamentos separados, para que a avaliação seja lida como um julgamento da evidência e não dos autores.
  • Para cada problema em aberto, diga qual análise o resolveria (por exemplo, um teste de ajuste baseado em simulação, um teste de dependência local, DIF para um grupo que o uso pretendido exige, um teste de invariância estrito) e se uma reanálise dos dados compartilhados seria suficiente ou se novos dados são necessários.

Relatório de parecer.

  • O PDF do manuscrito (texto principal, tabelas, figuras e qualquer material suplementar).
  • Para uma revisão: a resposta ponto a ponto dos autores e a revisão anterior. Numere os comentários (por exemplo, R2.1, R2.2) e, em rodadas posteriores, acompanhe quais estão resolvidos, quais são respondidos com material que aborda um ponto diferente e quais são recusados. "É convencional" ou "suficiente para nossos objetivos" não é uma refutação. Diga isso e reafirme o que foi solicitado.
  • Se o artigo não tiver números de página ou linha, cite a passagem que está sendo comentada para que os autores possam encontrá-la.

Leia tudo antes de escrever. Mapeie cada alegação de medida para o critério ao qual ela pertence e, em seguida, verifique cada critério por vez.

O quadro de avaliação

Estruture a crítica de métodos e resultados em torno dos quatro critérios que sustentam a medida em nível intervalar [@christensenPsychometricValidationPROM2021; @kreinerValidityObjectivityReflections2007]. Duas preocupações geralmente atravessam todos os quatro. Levante-as uma vez, logo no início.

Preocupação transversal 1: tamanho da amostra e poder

A estabilidade da calibração não é a restrição vinculante. O poder para detectar os desvios que estão sendo testados é. Amostras pequenas (e subgrupos pequenos para DIF) significam baixa sensibilidade ao desajuste, dependência local e DIF, então resultados de "nenhum problema encontrado" são preliminares. Não aceite regras de N-mínimo de fontes não revisadas por pares (Rasch Measurement Transactions, rasch.org, notas de Linacre). Cite [@johanssonSimulationbasedCutoffsConditional2026] sobre poder.

Preocupação transversal 2: pontos de corte baseados em regras práticas versus baseados em simulação

O problema recorrente nesta literatura. Valores críticos fixos (MSQ de ajuste de item 0,5 a 1,5 ou 0,7 a 1,3, Q3 > 0,2, eigenvalue do primeiro contraste > 2,0, pontos de corte de AFC de Hu e Bentler, ΔCFI 0,01 para invariância) dependem do tamanho da amostra e das propriedades do item e estão errados em ambas as direções [@mullerItemFitStatistics2020; @marshSearchGoldenRules2004; @mcneishHowPsychologistsDetermine2026]. Recomende pontos de corte adaptativos aos dados e baseados em simulação (bootstrap paramétrico) [@johanssonDetectingItemMisfit2025; @johanssonSimulationbasedCutoffsConditional2026]. Para iterações, regras de decisão e a correção para erro familiar (Westfall-Young, pelo menos 400 iterações), cite [@johanssonSimulationbasedCutoffsConditional2026]. Para a escolha entre controle de erro familiar e taxa de falsa descoberta sobre um número moderado de testes, como um por item, cite [@ferreiraMethodsTestingSmall2024].

Para o ajuste de AFC, Groskurth et al. [-@groskurthWhyWeNeed2024, p. 3907] fornecem a demonstração mais concreta: em um modelo de um fator com seis itens e N = 200, o valor que rejeita 5% dos modelos corretamente especificados é CFI = 0,813 quando as cargas são 0,40 e 0,979 quando são 0,80. Um valor fixo não pode servir para ambos. Os editores do European Journal of Psychological Assessment agora pedem aos autores que "abandonem todas as regras de ponto de corte fixas (não apenas aquelas sugeridas por Hu & Bentler, 1999)" [@goretzkoStopUsingFixed2026, p. 80], o que um revisor pode citar quando os autores defendem um ponto de corte como prática aceita. As ferramentas de AFC, MGCFA e bifator são abordadas em sua própria seção abaixo.

Questione todo ponto de corte fixo, seja qual for sua fonte, com base em dois argumentos. Do que ele é derivado, uma simulação, uma derivação ou uma sugestão informal que mais tarde se solidificou em uma regra? E ele se generaliza para o presente modelo, estimador, número de categorias, tamanho da amostra e cargas? Isso se aplica igualmente aos valores fixos que um revisor é tentado a fornecer em seu lugar: uma correlação residual de ±0,10, um índice de modificação acima de 10, um ECV de 0,70, um dMACS de 0,40. Se um valor tiver que ser usado, chame-o de heurística e dê sua fonte, e não deixe um veredito repousar apenas sobre ele.

O mesmo se aplica a valores-p assintóticos usados como se fossem exatos. O teste item-restscore compara o gama de Goodman-Kruskal observado entre um item e seu restscore com o gama esperado sob o modelo Rasch [@kreinerNoteItemRestscore2011]. Kreiner [-@kreinerNoteItemRestscore2011, p. 559] observa que a tabela item × restscore torna-se grande e esparsa à medida que o número de itens e categorias cresce, então a distribuição assintótica é uma aproximação pobre, e ele sugere valores-p de Monte Carlo ou bootstrap paramétrico. Uma simulação nula da implementação do iarm mostra a magnitude do problema [@johanssonCalibrationAsymptoticItemRestscore2026]. Como o gama esperado é estimado a partir dos mesmos dados, a estatística z é muito pequena. A cauda de subajuste rejeitou 0,2 a 1,2% contra um nominal de 2,5%. Um viés de pequena amostra funciona na outra direção: com a correção de Benjamini-Hochberg em 20 itens dicotômicos, um modelo Rasch verdadeiro teve pelo menos um item sinalizado em 13,5% das amostras com n = 150 e 30,5% quando a escala foi mal direcionada. Itens politômicos foram conservadores em todos os n. Nenhuma correção única para o nível nominal corrige ambos. Peça valores-p de bootstrap paramétrico que reestimam os parâmetros do item em cada replicação (RMitemRestscoreCutoff() no easyRasch2).

1. Unidimensionalidade

  • O eigenvalue do primeiro contraste da PCA dos resíduos < 2,0 é uma regra prática que falha em diferentes contextos [@chouCheckingDimensionalityItem2010]. O eigenvalue esperado varia com N. Comparações de eigenvalue entre estudos precisam de faixas esperadas por estudo para serem interpretáveis.
  • RUMM PCAR/teste t: exija um IC binomial confiável (Hagell 2014, doi:10.4236/ojs.2014.46044) e interprete o teste t com cautela.
  • Recomende um teste direto: AFC com WLSMV/DWLS, tratando os itens como ordinais, com ajuste comparado a pontos de corte baseados em simulação (veja "Ajuste de modelo AFC, MGCFA e bifator" abaixo), ou o teste de Martin-Löf [@christensenTestingUnidimensionalityPolytomous2002] com valores-p de Monte Carlo [@christensenMonteCarloApproach2007].
  • Uma AFC de um fator só é significativa como teste de unidimensionalidade quando seu ajuste é julgado contra pontos de corte baseados em simulação para aquele modelo, estimador e amostra. Contra pontos de corte fixos como Hu e Bentler, não é teste algum, já que o mesmo valor de índice pode significar bom ou mau ajuste dependendo das cargas, N e número de categorias (veja "Ajuste de modelo AFC, MGCFA e bifator"). Mesmo assim, testa a unidimensionalidade sob um modelo com cargas livres, não sob o modelo Rasch. Leia-o juntamente com o ajuste do item, que testa discriminação igual, e as verificações de dependência local, já que a dependência residual também reduz o ajuste da AFC. Restringir as cargas para serem iguais aproxima a AFC do modelo Rasch, se essa comparação for desejada.
  • Para uma escala com subescalas, peça que cada subescala seja ajustada como seu próprio modelo unidimensional antes de qualquer modelo de fatores correlacionados, de ordem superior ou bifator, para que os leitores possam ver se cada uma se sustenta sozinha.
  • Auxílio visual: plote as cargas padronizadas no primeiro contraste residual contra a localização do item.

2. Independência local

Frequentemente omitida, portanto insista nela. A dependência de resposta é provável sempre que os itens são quase duplicados (por exemplo, pares redigidos de forma positiva e negativa). Se os autores pré-processam a dependência local esperada (por exemplo, agrupando pares), peça uma análise inicial com os itens inalterados primeiro.

  • Detecte com correlações residuais Q3 [@yenEffectsLocalItem1984] e pontos de corte baseados em simulação por par [@christensenCriticalValuesYens2017; @nason_another_2025], e com gama parcial, que avalia ambas as direções e, portanto, sinaliza dependência de resposta.
  • Resolva (além da exclusão) com testlets/superitens (reverifique a ordenação dos limiares após a fusão) ou o modelo Rasch loglinear gráfico [@kreinerAnalysisLocal2004] no DIGRAM.
  • A dependência local infla a confiabilidade [@raykovBiasCoefficient2001] e pode fabricar um fator geral bifator. Itens com sobrequiste muitas vezes sinalizam dependência local [@tuerlinckxEffectIgnoringItem2001].

3. Invariância (DIF)

  • Nomeie o teste e justifique qualquer limiar de magnitude (por exemplo, 0,5 logit) com um artigo de método, não um aplicado. Gama parcial condicional ao escore total [@bjornerDifferentialItemFunctioning1998; @kreinerAnalysisMultidimensionalContingency1987] e árvores Rasch [@stroblRaschTreesNew2015] são artigos de método para os testes comuns.
  • Avalie o DIF no nível do limiar (funcionamento diferencial do passo), não apenas a localização média do item. Trate covariáveis contínuas (por exemplo, idade) continuamente por meio de árvores Rasch [@stroblRaschTreesNew2015] ou árvores de crédito parcial [@henningerPartialCreditTrees2025].
  • Quantifique o impacto do DIF (tabelas de conversão ancoradas, gráficos de deslocamento), não apenas a detecção. Para invariância em AFC (MGCFA, longitudinal ou diádica), use pontos de corte baseados em simulação, não ΔCFI 0,01 [@cheungEvaluatingGoodnessOfFit2002] ou os valores de Chen [@chenSensitivityGoodnessFit2007]. Veja "Ajuste de modelo AFC, MGCFA e bifator" abaixo para as ferramentas e seus limites.
  • Distinga DIF real de artificial. Um item sinalizado pode refletir DIF em outro item, portanto o DIF deve ser resolvido passo a passo com purificação de item, em vez de lido a partir de uma única análise simultânea [@andrichRealArtificialDifferential2012; @andrichRealArtificialDifferential2015; @hagquistExplainingDifferentialItem2019]. Henninger et al. [-@henningerPartialCreditTrees2025] fornecem um tratamento claro da purificação. Ela é implementada em RMdifTree() no easyRasch2 e seu módulo jamovi.
  • Pergunte qual âncora ligou as escalas dos grupos antes de ler o...

Habilidades Relacionadas