menhguin/how-to-do-good-research

Cómo hacer buena investigación

Cuándo usarlo

Carga esto para investigación científica o de ML sustancial: elegir o reformular un problema, diseñar experimentos, redactar o reestructurar una propuesta/artículo, revisar si la evidencia respalda una afirmación o decidir qué ejecutar a continuación. Omítelo para una consulta factual única o una edición mecánica de archivos.

Esta es una habilidad deliberadamente pequeña y centrada en referencias. Su primer trabajo es hacer que el modelo consulte referencias de alta señal antes de planificar experimentos o redactar un artículo. Agrega más fuentes y principios propios a medida que el usuario los desarrolle.

Cárgalo junto con

• humanizer cada vez que esta habilidad se active. Léelo antes de redactar o editar cualquier propuesta, artículo, resumen, introducción, revisión o memo de investigación dirigido al usuario. Aplica su filtro anti-IA a la prosa final, preservando la precisión técnica y la voz propia del usuario.
• ai-research-custom cuando el trabajo pertenezca al sistema de investigación del usuario. Esa habilidad gestiona el enrutamiento de artefactos, la forma canónica del proyecto/registro de experimentos, los criterios de finalización y los libros de contabilidad.
• deep-research-orchestration-custom cuando la tarea requiera un barrido bibliográfico o una síntesis amplia de fuentes. Esta habilidad rige la calidad de la investigación; deep-research-orchestration-custom rige la distribución y la recuperación de información.

Referencias prioritarias

Lee las partes relevantes de Hamming, Carlini y Nanda antes de tomar decisiones sustantivas sobre el diseño de investigación o la estructura del artículo. También consulta a Schwartz/BootLoops al seleccionar o ejecutar trabajo cuantitativo asistido por agentes. Lee a Kei primero cuando la investigación se realice en una startup u otro entorno aplicado, porque los otros cuatro asumen uno académico o de gran laboratorio. Si la tarea es pequeña, extrae solo el principio que cambia la decisión; no resumas ritualísticamente cada ensayo.

1. Richard Hamming, "You and Your Research"
   https://www.cs.virginia.edu/~robins/YouAndYourResearch.html

   Úsalo para la selección de problemas y la orientación de la investigación. Pregunta si el problema es importante y tiene un ataque razonable; si una restricción aparente puede convertirse en el resultado; si la tarea aislada puede convertirse en un resultado reutilizable sobre una clase; y qué evidencia contradictoria debe permanecer visible. Preserva el equilibrio que Hamming describe: cree lo suficiente en la idea para ejecutarla, dudalo lo suficiente para notar dónde falla.

2. Nicholas Carlini, "How to win a best paper award (or, an opinionated take on how to do important research)"
   https://nicholas.carlini.com/writing/2026/how-to-win-a-best-paper-award.html

   Úsalo para el gusto por la investigación, la ejecución y el enfoque del artículo. Expresa la idea principal del artículo en la menor cantidad de palabras posible; comienza con el subproblema con más probabilidades de matar el proyecto; ejecuta experimentos precisos, ensayos múltiples y controles para objeciones predecibles; haz que el artículo sea localmente completo sin realizar todos los experimentos meramente relacionados; escribe la conclusión optimista antes de comprometerte en gran medida; conoce al lector previsto; y diseña figuras que se sostengan por sí mismas.

3. Neel Nanda, "Highly Opinionated Advice on How to Write ML Papers"
   https://www.alignmentforum.org/posts/eJGptPbbFPZGLpjsp/highly-opinionated-advice-on-how-to-write-ml-papers

   Úsalo para afirmaciones, evidencia y escritura iterativa. Comprime el proyecto en una o tres afirmaciones concretas, por qué son importantes y uno a tres experimentos decisivos por afirmación. Prefiere experimentos que distingan hipótesis competidoras; contraargumenta la narrativa; usa líneas base sólidas y bien ajustadas; etiqueta el análisis exploratorio frente al confirmatorio; preserva las limitaciones y los nulos; y expande en etapas: narrativa comprimida con viñetas -> esquema de introducción -> esquema completo del artículo -> figuras/resultados -> prosa -> ediciones repetidas.

4. Matthew Schwartz, "Claude-shaped science" (Anthropic Science Blog, 1 de octubre de 2026)
   https://www.anthropic.com/research/claude-shaped-science
   Kit de herramientas y protocolos: https://bootloops.ai/harness.html · https://github.com/BootLoops-ai/bootloops · https://github.com/BootLoops-ai/skills

   Úsalo para la selección de problemas y la ejecución confiable con agentes de investigación. El estudio de caso de BootLoops de Schwartz agrega una pregunta de ajuste de capacidad a la prueba de importancia-y-ataque de Hamming: ¿qué problemas importantes se vuelven abordables a través de la amplitud del modelo, la codificación, la lectura a escala de máquina o el cómputo exhaustivo? Busca a través de disciplinas la estructura matemática compartida y los métodos existentes antes de obligar a un agente a imitar el flujo de trabajo de un investigador humano. Mantén explícitas estas distinciones:

   • La corrección técnica y el valor científico son compuertas separadas. Verifica la novedad y relevancia con la literatura actual y la experiencia en el dominio. En los ejemplos de ecología y genética de Schwartz, los expertos encontraron que los cálculos correctos iniciales no eran interesantes y los redirigieron hacia preguntas útiles. Prefiere preguntas recién respondibles sobre meros dígitos adicionales o una reproducción más rápida; no permitas que "con forma de IA" se convierta en una excusa para optimizar solo la factibilidad.
   • Mejora el método antes de escalar un esfuerzo repetitivo. Mide una ejecución pequeña, inspecciona el cuello de botella y busca herramientas y algoritmos existentes antes de lanzar un cálculo largo. Si una mejora se generaliza, valídala en casos conocidos y retén su propósito, aplicabilidad, interfaz y criterios de verificación para que el próximo proyecto la herede, incluyendo herramientas útiles de proyectos fallidos.
   • Diseña comprobaciones que no puedan certificar sus propias entradas. Utiliza una ruta de referencia independiente y puntos/datos reservados no utilizados para ajustar o seleccionar la respuesta; registra la procedencia de la referencia. Recupera verdades plantadas y rechaza casos deliberadamente corrompidos para probar el propio verificador. Utiliza escalada de precisión o cotas de error certificadas cuando sea apropiado. La concordancia numérica respalda un cálculo, pero no es por sí misma una prueba de una identidad general.
   • Haz que la finalización sea literal. Preserva scripts de reproducción ejecutables, criterios de aceptación cuantitativos, gráficos y suposiciones no resueltas. Un lema no probado que soporta la carga, un axioma sustituido o un vago "buen acuerdo" no es un resultado completado. Utiliza revisiones escépticas independientes, resuelve hallazgos y vuelve a verificar el artefacto real en lugar de aceptar un resumen tranquilizador. Preserva el plan actual y la evidencia en disco a través de sesiones y compactación.

   Lee el protocolo upstream relevante cuando sea necesario, especialmente acceptance-gate, planted-truth, independence-bookkeeping, timing-discipline, reading-contract o tool-stewardship; consulta prove-protocol para trabajo de prueba. Estas son referencias independientes del modelo, no habilidades instaladas automáticamente ni garantías universales. Schwartz es propietario y mantiene BootLoops con financiamiento de Anthropic; los logros científicos reportados son reportados por el autor y requieren validación a nivel de proyecto. Reevalúa los límites de capacidad específicos del modelo a medida que los modelos cambien.

5. Kei, "Doing a Research Startup" (5 de septiembre de 2024)
   https://web.archive.org/web/20240920140442/https://keiyuva.ai/posts/type.startup/
   Copia archivada. El original, keiyuva.ai/posts/type.startup, se desconectó cuando el dominio caducó en 2026.

   Úsalo como introducción cuando la investigación se realice en una startup u otro entorno aplicado. La investigación experimental allí se ejecuta bajo restricciones que se asemejan a las de la academia o un gran laboratorio y difieren de ellas en formas que cambian las decisiones. La mayoría de los consejos de investigación, incluidas las cuatro referencias anteriores, asumen un ritmo, entorno y conjunto de incentivos diferentes, por lo que establece para qué es el trabajo y dónde se realiza antes de aplicar cualquiera de ellos. Kei escribe como fundador de una startup de investigación. Los inversores pagan por la velocidad, pero más dinero no hace que la investigación sea consistentemente más rápida: "Podrías intentar 50 cosas y fallar en todas, o acertar en 1-2 intentos". El progreso no tiene métricas limpias, por lo que alguien debe actuar como un IP fuerte que establezca la dirección y decida qué reducir, porque tener a todos intentando todo es cómo la empresa se hunde. El gasto está ligado a la independencia, lo que favorece las apuestas restringidas, los pequeños experimentos exitosos que se construyen entre sí y los lanzamientos sólidos de productos de tamaño reducido entre los retornos a la investigación. Los recursos ajustados también pueden forzar un método más barato y mejor del que habría comprado un presupuesto mayor. Al informar un resultado, di qué se intentó y por qué falló; el ensayo trata "no funcionó" sin ninguna explicación de por qué como una señal de advertencia. Trátalo como el relato de un fundador sobre una empresa.

Secuencia de trabajo

1. Elige el problema. Escribe por qué es importante, por qué hay un ataque razonable ahora y qué solo este equipo está posicionado para hacer. Para trabajo asistido por agentes, nombra la ventaja específica de la IA y establece por separado el valor científico. Indica el entorno y para qué es el trabajo (un artículo, un producto, un cliente, una ronda de financiación), ya que eso decide cuál de los consejos anteriores se aplica.
2. Comprime antes de expandir. Escribe la idea en una oración, la conclusión optimista y no más de tres afirmaciones.
3. Relaciona las afirmaciones con la evidencia. Para cada afirmación, indica el experimento decisivo, la explicación alternativa más fuerte, la línea base más fuerte y el resultado que la mataría o limitaría.
4. Ataca primero el fallo probable. Construye la prueba más barata de la incertidumbre con mayor impacto antes de pulir el resto.
5. Diseña las figuras del artículo temprano. Cada figura planificada necesita una conclusión de una oración y una afirmación nombrada que respalde. Si el título no puede explicarla, divídela.
6. Mantén el artículo singular y el apéndice amplio. Cada experimento del texto principal debe avanzar la idea única. Coloca los barridos útiles pero no críticos, el conocimiento tácito y los hallazgos secundarios en apéndices o notas complementarias.
7. Escribe desde la perspectiva de un lector frío. Contexto -> problema -> afirmación -> evidencia -> impacto. Define los términos que el lector necesita; no escondas una idea simple detrás de un lenguaje formal.
8. Carga y aplica humanizer. Elimina frases con forma de IA, ritmo de muro de texto, encabezados innecesarios, transiciones prefabricadas, uso excesivo de guiones largos y lenguaje genérico de importancia. Lee la prosa en voz alta o usa TTS cuando el artefacto importe.
9. Audita antes de publicar. Verifica la precisión factual/de citas, la solidez de la evidencia, los nulos no reportados, el estado previo/posterior, la reproducibilidad y si la conclusión realmente responde "¿y qué?"

Salida mínima para un nuevo proyecto

Produce esto antes de una propuesta larga:

• Idea en una oración
• Conclusión optimista
• Una a tres afirmaciones
• Mapa de afirmación -> evidencia -> falsador
• Primera prueba de eliminación
• Figura(s) principal(es) planificada(s)
• Factores de confusión conocidos y líneas base más fuertes
• Qué está deliberadamente fuera del alcance

Solo entonces expande a prosa.