Verificação de evidências
Uma auditoria independente. Assume que nada no rascunho é verdade até ser verificado. Use como a última etapa de research-plan, no próprio rascunho ou bibliografia do usuário, ou em qualquer relatório antes da entrega.
Independência
- Melhor: um subagente novo que recebe apenas os arquivos (rascunho, ledger/bibliografia, notas, textos brutos). Nunca uma ramificação da conversa de escrita.
- Sem subagentes: uma verificação na mesma sessão.
- Releia cada arquivo do disco antes de julgar qualquer coisa, e não confie no que você lembra de ter escrito.
- Rotule o resultado como
mesma-sessão (não independente). - Informe ao usuário que, para qualquer coisa de alto risco, ele deve executar esta skill em um novo chat na mesma pasta.
Verificações determinísticas primeiro
Execute o verificador incluso primeiro: python3 <caminho desta skill>/scripts/research_checks.py all <dir> (ou quotes <claims.json> / links <plan.md>). É Python da biblioteca padrão e é executado em sua própria sandbox de código; o usuário não instala nada. Texto de PDF precisa de pypdf: se a importação falhar, pip install pypdf na sandbox e tente novamente. Seus erros são descobertas: âncoras que não resolvem, flags ⚠ ausentes, incompatibilidades de contagem, citações que não estão no texto fonte, PDFs falsos. Seus avisos são julgamentos.
Se a pasta não tiver claims.json (por exemplo, auditando o rascunho do próprio usuário), escreva um ao lado do rascunho para cada afirmação que você marcar como supported, para que a verificação quotes possa confirmar que cada citação é literal.
Entradas
O rascunho; a lista de referências (ledger.md, um .bib ou uma lista numerada); notas e textos fonte brutos, se disponíveis. Se apenas o rascunho for fornecido, pergunte uma vez pela bibliografia.
Etapa 1 — Extrair afirmações
Extraia toda alegação verificável:
- afirmações de citação;
- números;
- artigos, conjuntos de dados e ferramentas nomeados;
- afirmações de existência;
- afirmações negativas ("nenhum trabalho anterior…");
- palavras de certeza não citadas (prova, estabelece, cura, previne, conclusivamente, sempre, nunca).
Pule opiniões, sugestões e as próprias definições do rascunho.
Etapa 2 — Resolver
Cada citação corresponde exatamente a uma referência. Liste órfãos em ambas as direções e colisões autor-ano.
Etapa 3 — Real? (por referência)
Pesquise cada uma agora: OpenAlex / Crossref / Semantic Scholar / PubMed, além de Reference Checker check_references e check_retractions.
| veredito | significado |
|---|---|
verified | título, primeiro autor e ano correspondem a um registro encontrado nesta sessão |
partial | o trabalho existe, mas um fato está errado, ou apenas parte pôde ser confirmada (ex.: o livro, mas não o capítulo) |
mismatch | o DOI/ID resolve para um trabalho diferente, ou a citação nomeia o livro ou periódico errado |
not_found | pesquisado corretamente, nada corresponde |
unchecked | não foi possível pesquisar (bloqueado, orçamento, ferramenta inativa); não é evidência de fabricação |
suspicious | bandeiras vermelhas na própria entrada |
Regras:
- Capítulos de livros: compare o título do livro citado, editores, páginas e editora com o registro Crossref (
container-title,page). Um DOI correto com o livro errado é ummismatch; este erro exato passou em uma execução de teste. - Divergência de ferramentas: uma correspondência exata de DOI no Crossref ou OpenAlex supera um
not_foundde pesquisa por título. Registre ambos os resultados. - O que conta como registro: uma página de destino do DOI, editora, PubMed, PMC/Europe PMC, arXiv, OpenAlex, Crossref, Semantic Scholar, DBLP. Um trecho ou a lista de referências de outro artigo não conta. Memória é
unchecked. - Verifique também o status de retratação e se um preprint foi publicado desde então.
Etapa 4 — Suportado? (por afirmação)
Declare o que a fonte deve dizer para que a citação seja justa, então:
| suporte | regra |
|---|---|
supported | uma passagem literal de 40+ caracteres do texto fonte bruto (API XML, texto PDF, um arquivo do usuário) diz isso, com um localizador. Cite no relatório. |
partial | a fonte diz algo mais restrito ou mais fraco |
contradicted | a fonte diz o contrário |
not-found-in-read-part | apenas parte do texto está disponível, e a afirmação não está nele |
unverified-extracted | lido apenas via WebFetch, que retorna uma extração do modelo; nunca pode ser supported |
unverified | nenhum texto disponível (apenas resumo/metadados, paywall, bloqueado) |
Verificações que dependem da Etapa 4:
- Números: copiados exatamente, não arredondados. Um número que não está na fonte é
contradicted. - Flags: cada afirmação precisa da flag correspondente à sua evidência:
⚠ abstract-only·⚠ metadata-only·⚠ extracted·⚠ preprint. Adicione quaisquer que estejam faltando. - Contagem independente: "consistente em N estudos" deve dizer quantos são independentes.
- Afirmações negativas: devem nomear as pesquisas por trás delas. Caso contrário, reescreva como "não encontrado em ".
- Contexto vs evidência: uma fonte citada para uma descoberta deve realmente relatá-la.
Etapa 5 — Resultado
Julgue o estado final após os reparos, e registre cada reparo ("corrigido na rodada n: …").
- PASS: nenhum
not_found/mismatch/contradicted/ órfão. Cada itemunverified*é sinalizado inline. - PARTIAL: nenhum erro, mas alguns itens não podem ser resolvidos (ex.: um capítulo cujo conteúdo não pode ser verificado) ou permaneceram
unchecked. Liste-os. - FAIL: qualquer
not_found,mismatch,contradicted, fonte retratada-mas-citada ou órfão permanece após no máximo 2 rodadas de reparo. Entregue com este banner no topo, seguido pelos itens não resolvidos:
EVIDÊNCIA INVÁLIDA — falhas de citação ou suporte não resolvidas; não tratar como verificado.
Retruque não é evidência. Ceda apenas a uma nova fonte ou a um argumento melhor, e registre o motivo.
Saída
Anexe um bloco colapsado Verificação de evidências ao rascunho:
Verificação de evidências — <data> — PASS | PARTIAL | FAIL — <nova conversa | mesma-sessão (não independente)> — rota: <ferramentas>
Determinística: research-checks <pass/fail, n erros> | não disponível
Referências: n verificadas · n parciais · n divergentes · n não encontradas · n não verificadas · n suspeitas · n retratadas
Afirmações: n suportadas · n parciais · n contraditas · n extraídas-não-verificadas · n não verificadas · flags adicionadas: n
Reparos: <rodada: o que mudou>
| # | Afirmação (resumida) | Citar | Real | Suporte | Citação / localizador ou motivo | Correção |
Corrigir primeiro: <refs inventadas/divergentes e afirmações contraditas → órfãos → flags → estilo>
Privacidade
Pesquise apenas com títulos, DOIs e palavras-chave do tópico. Nunca cole o texto não publicado do usuário em uma pesquisa.