¿Qué hace síntesis de investigación?
Una síntesis responde a una pregunta que ninguna fuente individual responde: qué respalda el conjunto de evidencia, qué tan seguro puede estar alguien, dónde discrepan las fuentes y por qué, y qué se sigue para la decisión en cuestión. Una lista de resúmenes no es una síntesis.
Las tres preguntas
Cada declaración en el resultado debe superar tres preguntas. Todo el método, y la
herramienta ledger.py, existen para que las respuestas sean verificables.
- ¿De dónde viene exactamente esto? Un lugar nombrado en una fuente que fue leída. La respuesta es un localizador.
- ¿Cuántas veces separadas se observó? Diez artículos que repiten un estudio son una observación. La respuesta es un recuento de linajes.
- ¿Qué tan seguro nos permite estar eso? La estructura de la evidencia establece un techo para la certeza; el juicio solo puede ir más abajo.
Reglas que no se doblan
- Citar solo lo que se leyó. Registrar cómo se leyó (
texto-completo,solo-resumen,cita-secundaria); cualquier cosa menos que texto completo no puede respaldar una afirmación segura. - Ninguna referencia, autor, año, figura o cita proviene de la memoria. Si no se puede encontrar, no se cita.
- Cada figura y cita tiene un localizador, capturado mientras se lee.
- Lo que las fuentes informan (hallazgo), lo que se interpreta que significa (interpretación) y lo que se debe hacer (recomendación) se mantienen separados, y los dos últimos nunca pueden ser más seguros que los hallazgos que los sustentan.
- La evidencia en contra de una afirmación se registra junto a la evidencia a favor.
- "La evidencia es insuficiente" es una respuesta legítima. La ausencia de evidencia no es evidencia de ausencia.
Elegir un modo
Cuando no esté seguro, tome el modo más ligero y dígalo.
| Modo | Cuándo usarlo | Fuentes | Búsqueda | Resultado |
|---|---|---|---|---|
| Rápido | Una respuesta acotada, principalmente de material proporcionado | alrededor de 3 a 10 | Ninguna o ligera | Un informe breve, a menudo en el chat (assets/brief-template.md) |
| Estándar | Una decisión real depende de ello | alrededor de 10 a 30 | Estructurada, registrada | Informe completo (assets/report-template.md) |
| Sistemático | El método debe ser reproducible | Según lo que arroje el protocolo | Exhaustiva, registrada, contada | Informe completo, protocolo y tablas |
Dos variaciones:
- Datos cualitativos primarios (entrevistas, respuestas abiertas de encuestas, comentarios, tickets): mismo flujo de trabajo; leer references/qualitative-data.md primero.
- Una síntesis existente para evaluar: ir a "Auditar la síntesis de otra persona" más abajo.
Flujo de trabajo
Copiar esto en las notas de trabajo y marcar a medida que se avanza. El orden importa: cada paso produce lo que el siguiente necesita, y saltarse uno produce un fallo conocido (references/failure-modes.md).
- [ ] 1 Enmarcar pregunta, decisión, alcance, criterios fijados antes de leer
- [ ] 2 Reunir libro de contabilidad iniciado; búsquedas registradas, o corpus proporcionado inventariado
- [ ] 3 Ponderar cada fuente revisada, evaluada, con un linaje asignado
- [ ] 4 Extraer evidencia en el libro de contabilidad con localizadores
- [ ] 5 Construir afirmaciones a través de las fuentes; contradicciones reconciliadas o marcadas como inexplicadas
- [ ] 6 Calificar certeza en o por debajo de cada techo, con una razón
- [ ] 7 Romper piedras angulares examinadas, explicaciones rivales probadas, afirmaciones revisadas
- [ ] 8 Escribir respuesta primero, vinculada a la decisión
- [ ] 9 Releer hoja de trabajo confirmada; `check` y `report` limpios; rúbrica superada
1 Enmarcar
Definir, en una o dos líneas cada uno: la pregunta en una forma que pueda responderse "no" o "depende"; la decisión a la que sirve y quién la usa; el alcance (población o contexto, período, lugar, tipos de fuente); y los criterios de inclusión y exclusión.
Fijar los criterios antes de leer. Los criterios ajustados después de ver los resultados son la forma en que una síntesis llega a confirmar lo que su autor esperaba. Si uno debe cambiar, registrar el cambio y la razón.
Hacer al usuario como máximo dos o tres preguntas, solo donde la respuesta cambiaría el trabajo (generalmente la decisión, el límite del alcance, el modo). Si prefieren no responder, proceder y listar los supuestos al principio del resultado.
Marcos de preguntas, tipos de revisión y un esquema de protocolo: references/scoping-and-protocol.md.
2 Reunir
Iniciar el libro de contabilidad. Esto también fija la fecha de hoy, que no debe asumirse:
python scripts/ledger.py new ledger.json --question "..." --purpose "..." --mode standard --corpus searched
--corpus es supplied, searched o mixed. El libro de contabilidad es un archivo JSON que contiene el
protocolo, cada fuente considerada y cada afirmación con su evidencia. Es la memoria de trabajo
de la síntesis: mantenerlo en disco y actualizado. Campos y un ejemplo completo:
references/evidence-ledger.md y
examples/flexible-start/.
Corpus proporcionado: dar a cada elemento un id de fuente (S1, S2, ...) y decir en el informe
que la síntesis cubre solo lo que se proporcionó.
Búsqueda:
- Comenzar con consultas cortas y amplias para aprender el vocabulario del campo, luego reducir.
- Registrar cada consulta en el libro de contabilidad: dónde, consulta, fecha, número de resultados.
- Ir al original. Cuando un artículo informa sobre un estudio, encontrar y citar el estudio; si no
se puede obtener, citar el artículo y registrar
cita-secundaria. - Buscar a propósito resultados nulos, hallazgos contrarios y material no publicado o gris. La evidencia publicada sobrerrepresenta los resultados positivos.
- Seguir las listas de referencias hacia atrás y las citas hacia adelante.
- Detenerse cuando nuevas búsquedas devuelvan principalmente fuentes conocidas, o el presupuesto del modo se haya agotado. Decir cuál.
Para trabajos grandes o separables donde haya subagentes disponibles: references/parallel-research.md.
3 Ponderar
Aplicar los criterios a cada candidato. Las fuentes excluidas permanecen en el libro de contabilidad con una razón.
Para cada fuente incluida, registrar:
- una evaluación (
alta,moderada,baja,muy-baja) con las preocupaciones específicas. Evaluar la idoneidad para esta pregunta, no el prestigio: references/source-appraisal.md; - un linaje (
L1,L2, ...). Las fuentes comparten un linaje cuando se remontan a un origen: un estudio y su preprint, cobertura de prensa y seguimiento; varios artículos sobre un conjunto de datos; páginas que reformulan un informe. La certeza depende de los linajes, no de las citas.
4 Extraer
Para cada fuente, registrar lo que es relevante para la pregunta como elementos de evidencia: el id de la fuente, un
localizador, el tipo (cita, paráfrasis, dato) y el texto. Incluir la población
y el contexto, y cualquier cosa que limite qué tan lejos se puede generalizar. Parafrasear por defecto; citar
solo las palabras decisivas. Registrar lo que la fuente informa, no lo que sería conveniente.
5 Construir
Trabajar a través de las fuentes, nunca una fuente a la vez.
- Elegir el método para que se ajuste a la pregunta y la evidencia: síntesis temática para evidencia cualitativa o mixta; síntesis narrativa con un resumen estructurado de efectos para evidencia cuantitativa variada; metaanálisis solo cuando los estudios sean lo suficientemente similares como para que un promedio signifique algo. references/synthesis-methods.md
- Agrupar la evidencia por lo que dice, no por fuente y no por vocabulario compartido.
- Escribir cada grupo como una afirmación: una oración que podría ser incorrecta. "La retroalimentación oportuna" es un tema. "La retroalimentación tardía superó a la retroalimentación inmediata en tareas de retención, pero no en las procedimentales" es una afirmación.
- Adjuntar la evidencia en ambos sentidos: elementos que la respaldan y elementos que la contradicen.
- Reconciliar cada contradicción en el campo
reconcileddel elemento: una diferencia en población, medida, dosis, horizonte temporal, comparación, calidad del diseño o interés. Si nada lo explica, escribirinexplicada. Las contradicciones no reconciliadas bajan el techo. - Nunca contar estudios significativos contra no significativos. Informar la dirección, la magnitud y el rango. Leer references/quantitative-evidence.md antes de informar o comparar cualquier efecto.
- Contar honestamente: "9 de 14 participantes", "3 de 5 ensayos", no "la mayoría".
Tener tantas afirmaciones como la decisión necesite y no más. Si un lector no pudiera retenerlas en la mente, la agrupación no está terminada.
6 Calificar
python scripts/ledger.py ceilings ledger.json
Esto imprime, para cada afirmación, la certeza más alta que su evidencia registrada puede soportar y la restricción que la limita: un linaje, nada sólido leído en su totalidad, una contradicción no reconciliada, o una afirmación débil debajo de una recomendación.
Luego juzgar. Establecer la certainty de cada afirmación en o por debajo de su techo, bajándola por riesgo
de sesgo, inconsistencia, falta de dirección, imprecisión y probable falta de evidencia, y
dar una rationale de una oración nombrando lo que la estableció. Redactar las afirmaciones para que coincidan:
| Certeza | Redacción |
|---|---|
| Alta | "X aumenta Y" |
| Moderada | "X probablemente aumenta Y" |
| Baja | "X puede aumentar Y" |
| Muy baja | "No está claro si X aumenta Y" |
Reglas, evidencia cualitativa y no proveniente de investigación, ejemplos prácticos: references/certainty.md.
7 Romper
Intentar romper las conclusiones antes de que lo haga un lector.
python scripts/ledger.py keystones ledger.json
Una piedra angular es un linaje sin el cual una afirmación no puede sostenerse: eliminarlo y la afirmación pierde su evidencia o ya no podría calificarse como se afirma. Luego, para cada afirmación de la que depende la conclusión final:
- Piedra angular: releer cada fuente de piedra angular en su totalidad. ¿Qué más sería cierto si esto es correcto, y se ve eso en alguna parte?
- Explicación rival: escribir la mejor explicación alternativa de la misma evidencia (azar, selección, confusión, medición, causalidad inversa, una fuente interesada). Nombrar la observación que separaría las dos, y buscarla.
- Inversión: solo a partir del libro de contabilidad, redactar la conclusión final que alguien que esperara lo contrario escribiría. Siempre que ese borrador sea defendible, la afirmación es exagerada.
- Transferencia: ¿La evidencia proviene de entornos similares a aquellos sobre los que trata la decisión? Si no, tratarla como indirecta y bajar la calificación.
- Silencio: ¿Qué evidencia debería existir si la afirmación fuera cierta, y se buscó?
Poner lo que esto descubra en el libro de contabilidad (nuevos elementos contradictorios, calificaciones cambiadas, afirmaciones más restringidas). No encontrar nada es un resultado aceptable cuando es cierto. Donde existan subagentes, pasar este paso a un nuevo lector que solo tenga el libro de contabilidad.
8 Escribir
Responder primero. El informe tiene siete partes (los informes breves rápidos pueden omitir el método):
- Conclusión final: la respuesta en dos a cuatro oraciones, con una redacción que transmita su certeza.
- Lo que esto significa para la decisión: interpretaciones y recomendaciones, etiquetadas, incluyendo "no actuar" y "la evidencia no puede decidir esto" cuando sea honesto, y qué cambiaría la conclusión.
- Hallazgos: un subtítulo por afirmación, escrito como la afirmación, con su id (
[C1]), una líneaCertera:con la razón, la evidencia y las citas ([S3, S7]), y para quién es válida. - Dónde la evidencia discrepa, y por qué.
- Vacíos y limitaciones: de la evidencia y de esta síntesis.
- Cómo se hizo esto: pregunta, criterios, búsqueda, recuentos, evaluación, método.
- Fuentes: cada fuente citada por id.
Ser definitivo donde la evidencia lo permita y claro donde no. Matizar cada oración por igual oculta la diferencia entre hallazgos sólidos y débiles, que es lo que el lector más necesita.
9 Releer
python scripts/ledger.py worksheet ledger.json
La hoja de trabajo enumera la evidencia que debe leerse nuevamente en su localizador: cada figura, cada cita y todo lo que proviene de una piedra angular. Abrir cada fuente y comparar. Luego registrar el resultado:
python scripts/ledger.py mark ledger.json confirmed C1.s1 C1.s2
python scripts/ledger.py mark ledger.json mismatch C2.s1 --note "La Tabla 3 da 0.03, no 0.30"
Corregir cualquier discrepancia en el libro de contabilidad y en el informe antes de confirmarlo. Marcar un elemento como confirmado sin releerlo anula la única verificación que detecta una cita incorrecta.
Luego ejecutar las comprobaciones, corregir lo que informen y repetir hasta que ambas estén limpias:
python scripts/ledger.py check ledger.json
python scripts/ledger.py report report.md ledger.json
python scripts/ledger.py explain <CODE> dice por qué existe cualquier regla. Fuera del modo rápido,
report falla mientras la evidencia requerida no esté confirmada. Para un apéndice,
python scripts/ledger.py tables ledger.json renderiza las tablas de evidencia, y
trace ledger.json C1 muestra el camino de cualquier afirmación de vuelta a sus fuentes.
Por último, calificar el borrador con respecto a references/quality-rubric.md y corregir cualquier cosa por debajo de la nota de aprobación.
Actualizar una síntesis
Cuando llegue nueva evidencia, agregar las fuentes al libro de contabilidad existente, establecer as_of en la
nueva fecha, extraer, y ejecutar ceilings y keystones nuevamente: un nuevo linaje puede elevar un
techo, y una nueva contradicción puede bajar uno. Notar lo que cambió bajo
protocol.deviations, y decir en el informe qué conclusiones se movieron y por qué.
Auditar la síntesis de otra persona
- Reconstruir su pregunta, criterios y método implícitos.
- Verificar sus citas contra las fuentes, comenzando por aquellas en las que se apoyan sus conclusiones. No afirmar lo que una fuente no leída "realmente" dice; informarlo como no verificado.
- Calificarla con references/quality-rubric.md y probarla contra references/failure-modes.md.
- Informar el veredicto primero, luego qué se sostiene, qué no está respaldado, y los cambios específicos que lo solucionarían, en orden de importancia.
Archivos de referencia
| Archivo | Leer cuando |
|---|---|
| references/scoping-and-protocol.md | Enmarcar la pregunta, elegir un tipo de revisión, escribir un protocolo |
| references/source-appraisal.md | Evaluar una fuente o asignar linajes |
| references/evidence-ledger.md | Editar |
…
[truncado para traducción]