Síntese de pesquisa

Uma síntese responde a uma pergunta que nenhuma fonte única responde: o que o corpo de evidências suporta, o quão certo alguém pode estar, onde as fontes discordam e por quê, e o que se segue para a decisão em questão. Uma lista de resumos não é uma síntese.

As três perguntas

Toda afirmação na saída deve sobreviver a três perguntas. Todo o método, e a ferramenta ledger.py, existem para tornar as respostas verificáveis.

De onde exatamente isso vem? Um lugar nomeado em uma fonte que foi lida. A resposta é um localizador.
Quantas vezes separadas foi observado? Dez artigos repetindo um estudo são uma observação. A resposta é uma contagem de linhagens.
Qual o grau de certeza que isso nos permite ter? A estrutura da evidência estabelece um teto para a certeza; o julgamento só pode ir para baixo.

Regras que não se dobram

Cite apenas o que foi lido. Registre como foi lido (texto-completo, somente-resumo, citação-secundária); qualquer coisa abaixo de texto completo não pode sustentar uma alegação confiante.
Nenhuma referência, autor, ano, figura ou citação vem da memória. Se não puder ser encontrado, não é citado.
Toda figura e citação tem um localizador, capturado durante a leitura.
O que as fontes relatam (constatação), o que se entende que significa (interpretação) e o que deve ser feito (recomendação) são mantidos separados, e os dois últimos nunca podem ser mais certos do que as constatações abaixo deles.
Evidências contra uma alegação são registradas ao lado das evidências a favor dela.
"A evidência é insuficiente" é uma resposta legítima. Ausência de evidência não é evidência de ausência.

Escolha um modo

Quando estiver em dúvida, adote o modo mais leve e diga isso.

Modo	Quando usar	Fontes	Busca	Saída
Rápido	Uma resposta delimitada, principalmente a partir de material fornecido	cerca de 3 a 10	Nenhuma ou leve	Um resumo, frequentemente no chat (assets/brief-template.md)
Padrão	Uma decisão real depende disso	cerca de 10 a 30	Estruturada, registrada	Relatório completo (assets/report-template.md)
Sistemático	O método deve ser reproduzível	Conforme o protocolo produzir	Exaustiva, registrada, contada	Relatório completo, protocolo e tabelas

Duas variações:

Dados qualitativos primários (entrevistas, respostas abertas de pesquisas, feedback, tickets): mesmo fluxo de trabalho; leia references/qualitative-data.md primeiro.
Uma síntese existente para avaliar: vá para "Auditando a síntese de outra pessoa" abaixo.

Fluxo de trabalho

Copie isso nas notas de trabalho e marque à medida que avança. A ordem importa: cada etapa produz o que a próxima precisa, e pular uma produz uma falha conhecida (references/failure-modes.md).

- [ ] 1 Enquadrar      pergunta, decisão, escopo, critérios fixados antes da leitura
- [ ] 2 Reunir         livro-razão iniciado; buscas registradas ou corpus fornecido inventariado
- [ ] 3 Pesar          toda fonte triada, avaliada, com uma linhagem atribuída
- [ ] 4 Extrair        evidências no livro-razão com localizadores
- [ ] 5 Construir      alegações entre fontes; contradições reconciliadas ou marcadas como inexplicadas
- [ ] 6 Classificar    certeza no teto ou abaixo dele, com uma razão
- [ ] 7 Quebrar        pontos-chave examinados, contas rivais tentadas, alegações revisadas
- [ ] 8 Escrever       resposta primeiro, atrelada à decisão
- [ ] 9 Re-ler         planilha confirmada; `check` e `report` limpos; rubrica aprovada

1 Enquadrar

Estabeleça, em uma ou duas linhas cada: a pergunta em uma forma que pudesse ser respondida "não" ou "depende"; a decisão a que serve e quem a usa; o escopo (população ou contexto, período, local, tipos de fonte); e os critérios de inclusão e exclusão.

Fixe os critérios antes de ler. Critérios ajustados após ver os resultados é como uma síntese chega a confirmar o que seu autor esperava. Se for preciso mudar, registre a mudança e o motivo.

Faça ao usuário no máximo duas ou três perguntas, apenas onde a resposta mudaria o trabalho (geralmente a decisão, o limite do escopo, o modo). Se ele preferir não responder, prossiga e liste as suposições no topo da saída.

Estruturas de perguntas, tipos de revisão e um esboço de protocolo: references/scoping-and-protocol.md.

2 Reunir

Inicie o livro-razão. Isso também fixa a data de hoje, que não deve ser assumida:

python scripts/ledger.py new ledger.json --question "..." --purpose "..." --mode standard --corpus searched

--corpus é supplied, searched ou mixed. O livro-razão é um único arquivo JSON que contém o protocolo, cada fonte considerada e cada alegação com suas evidências. É a memória de trabalho da síntese: mantenha-o no disco e atualizado. Campos e um exemplo preenchido: references/evidence-ledger.md e examples/flexible-start/.

Corpus fornecido: dê a cada item um id de fonte (S1, S2, ...) e diga no relatório que a síntese cobre apenas o que foi fornecido.

Buscando:

Comece com consultas curtas e amplas para aprender o vocabulário do campo, depois estreite.
Registre cada consulta no livro-razão: onde, consulta, data, número de resultados.
Vá ao original. Quando um artigo relata um estudo, encontre e cite o estudo; se não puder ser obtido, cite o artigo e registre secondary-citation.
Busque de propósito por resultados nulos, constatações contrárias e material não publicado ou cinzento. Evidências publicadas super-representam resultados positivos.
Siga listas de referências para trás e citações para frente.
Pare quando novas buscas retornarem principalmente fontes conhecidas, ou quando o orçamento do modo estiver esgotado. Diga qual.

Para trabalhos grandes ou separáveis onde subagentes estão disponíveis: references/parallel-research.md.

3 Pesar

Aplique os critérios a cada candidato. Fontes excluídas permanecem no livro-razão com um motivo.

Para cada fonte incluída, registre:

uma avaliação (alta, moderada, baixa, muito-baixa) com as preocupações específicas. Avalie a adequação para esta pergunta, não o prestígio: references/source-appraisal.md;
uma linhagem (L1, L2, ...). Fontes compartilham uma linhagem quando traçam a uma origem: um estudo e sua pré-impressão, cobertura da imprensa e acompanhamento; vários artigos sobre um conjunto de dados; páginas repetindo um relatório. A certeza depende de linhagens, não de citações.

4 Extrair

Para cada fonte, registre o que é relevante para a pergunta como itens de evidência: o id da fonte, um localizador, o tipo (citação, paráfrase, dado) e o texto. Inclua a população e o contexto, e qualquer coisa que limite o quanto pode ser generalizado. Parafraseie por padrão; cite apenas as palavras decisivas. Registre o que a fonte relata, não o que seria conveniente.

5 Construir

Trabalhe entre fontes, nunca uma fonte de cada vez.

Escolha o método para se adequar à pergunta e à evidência: síntese temática para evidências qualitativas ou mistas; síntese narrativa com um resumo estruturado de efeitos para evidências quantitativas variadas; meta-análise apenas quando os estudos são suficientemente semelhantes para uma média significar algo. references/synthesis-methods.md
Agrupe as evidências pelo que dizem, não pela fonte e não pelo vocabulário compartilhado.
Escreva cada grupo como uma alegação: uma frase que poderia estar errada. "Momento do feedback" é um tópico. "O feedback tardio superou o feedback imediato em tarefas de retenção, mas não em tarefas processuais" é uma alegação.
Anexe a evidência de ambos os lados: itens que a apoiam e itens que a contradizem.
Reconcilie cada contradição no campo reconciled do item: uma diferença na população, medida, dose, horizonte temporal, comparação, qualidade do desenho ou interesse. Se nada a explicar, escreva unexplained (inexplicada). Contradições não reconciliadas abaixam o teto.
Nunca conte estudos significativos contra não significativos. Relate direção, tamanho e faixa. Leia references/quantitative-evidence.md antes de relatar ou comparar qualquer efeito.
Conte honestamente: "9 de 14 participantes", "3 de 5 ensaios", não "a maioria".

Tenha tantas alegações quantas a decisão precisar e não mais. Se um leitor não pudesse mantê-las em mente, o agrupamento não está terminado.

6 Classificar

python scripts/ledger.py ceilings ledger.json

Isso imprime, para cada alegação, a maior certeza que sua evidência registrada pode carregar e a restrição que a vincula: uma linhagem, nada sólido lido na íntegra, uma contradição não reconciliada, ou uma alegação fraca sob uma recomendação.

Então julgue. Defina a certainty de cada alegação no teto ou abaixo dele, abaixando por risco de viés, inconsistência, falta de diretividade, imprecisão e provável evidência faltante, e dê uma rationale de uma frase nomeando o que a definiu. Formule alegações para corresponder:

Certeza	Formulação
Alta	"X aumenta Y"
Moderada	"X provavelmente aumenta Y"
Baixa	"X pode aumentar Y"
Muito baixa	"Não está claro se X aumenta Y"

Regras, evidências qualitativas e não provenientes de pesquisa, exemplos trabalhados: references/certainty.md.

7 Quebrar

Tente quebrar as conclusões antes que um leitor o faça.

python scripts/ledger.py keystones ledger.json

Um ponto-chave (keystone) é uma linhagem sem a qual uma alegação não pode ficar de pé: remova-a e a alegação perde sua evidência ou não poderia mais ser classificada como declarada. Então, para cada alegação da qual a conclusão final depende:

Ponto-chave: releia cada fonte de ponto-chave na íntegra. O que mais seria verdade se ela estiver correta, e isso é visto em algum lugar?
Conta rival: escreva a melhor explicação alternativa para a mesma evidência (acaso, seleção, confusão, medição, causalidade reversa, uma fonte interessada). Nomeie a observação que separaria as duas e procure por ela.
Reversão: a partir apenas do livro-razão, redija a conclusão final que alguém esperando o oposto escreveria. Onde quer que esse rascunho seja defensável, a alegação é exagerada.
Transferência: a evidência vem de ambientes semelhantes àquele sobre o qual a decisão trata? Se não, trate-a como indireta e abaixe a classificação.
Silêncio: que evidência deveria existir se a alegação fosse verdadeira, e foi ela procurada?

Coloque o que isso trouxe à tona no livro-razão (novos itens contraditórios, classificações alteradas, alegações mais estreitas). Não encontrar nada é um resultado aceitável quando é verdade. Onde subagentes existem, passe esta etapa para um novo leitor que receba apenas o livro-razão.

8 Escrever

Resposta primeiro. O relatório tem sete partes (resumos rápidos podem omitir o método):

Conclusão final: a resposta em duas a quatro frases, em uma formulação que carregue sua certeza.
O que isso significa para a decisão: interpretações e recomendações, rotuladas, incluindo "não agir" e "a evidência não pode decidir isso" quando honesto, e o que mudaria a conclusão.
Constatações: um subtítulo por alegação, escrito como a alegação, com seu id ([C1]), uma linha Certeza: com o motivo, a evidência e as citações ([S3, S7]), e para quem é válida.
Onde a evidência discorda, e por quê.
Lacunas e limitações: da evidência e desta síntese.
Como isso foi feito: pergunta, critérios, busca, contagens, avaliação, método.
Fontes: cada fonte citada por id.

Seja definitivo onde a evidência permite e simples onde não permite. Escudar cada frase igualmente esconde a diferença entre constatações fortes e fracas, que é a coisa que o leitor mais precisa.

9 Re-ler

python scripts/ledger.py worksheet ledger.json

A planilha lista a evidência que deve ser lida novamente em seu localizador: cada figura, cada citação e tudo de um ponto-chave. Abra cada fonte e compare. Depois registre o resultado:

python scripts/ledger.py mark ledger.json confirmed C1.s1 C1.s2
python scripts/ledger.py mark ledger.json mismatch C2.s1 --note "Table 3 gives 0.03, not 0.30"

Corrija qualquer incompatibilidade no livro-razão e no relatório antes de confirmá-la. Marcar um item como confirmado sem relê-lo derrota a única verificação que pega uma citação errada.

Então execute as verificações, corrija o que elas relatam e repita até que ambas estejam limpas:

python scripts/ledger.py check ledger.json
python scripts/ledger.py report report.md ledger.json

python scripts/ledger.py explain <CODE> diz por que qualquer regra existe. Fora do modo rápido, report falha enquanto a evidência necessária não estiver confirmada. Para um apêndice, python scripts/ledger.py tables ledger.json renderiza as tabelas de evidência, e trace ledger.json C1 mostra o caminho de qualquer alegação de volta às suas fontes.

Por último, pontue o rascunho contra references/quality-rubric.md e corrija qualquer coisa abaixo da nota de aprovação.

Atualizando uma síntese

Quando novas evidências chegam, adicione as fontes ao livro-razão existente, defina as_of para a nova data, extraia e execute ceilings e keystones novamente: uma nova linhagem pode elevar um teto, e uma nova contradição pode abaixar um. Anote o que mudou em protocol.deviations, e diga no relatório quais conclusões se moveram e por quê.

Auditando a síntese de outra pessoa

Reconstrua sua pergunta, critérios e método implícitos.
Verifique suas citações contra as fontes, começando por aquelas em que suas conclusões se baseiam. Não afirme o que uma fonte não lida "realmente" diz; relate como não verificado.
Pontue-a com references/quality-rubric.md e teste-a contra references/failure-modes.md.
Relate o veredito primeiro, depois o que se sustenta, o que não tem suporte, e as mudanças específicas que o corrigiriam, em ordem de importância.

Arquivos de referência

Arquivo	Leia quando
references/scoping-and-protocol.md	Enquadrando a pergunta, escolhendo um tipo de revisão, escrevendo um protocolo
references/source-appraisal.md	Avaliando uma fonte ou atribuindo linhagens
references/evidence-ledger.md	Editando o livro-razão

...

mleswell-ai/síntese-de-pesquisa

O que é síntese-de-pesquisa?

Perguntar na sua IA favorita

Documentação