Evaluación de Gran Trabajo

¿Qué hace Evaluación de Gran Trabajo?

Proporciona al autor una retroalimentación específica y honesta sobre una propuesta, medida con el ensayo de Paul Graham How to Do Great Work (https://paulgraham.com/greatwork.html). Su definición operativa: el gran trabajo significa hacer algo importante tan bien que expandas las ideas de la gente sobre lo que es posible. El ensayo cubre investigación, productos y startups por igual, y esta habilidad también.

Qué decide y qué no decide esta habilidad

Una propuesta se juzga en ocho dimensiones en dos grupos.

• Las tres preguntas del autor pertenecen al autor y a su asesor. Son alcance y ambición, curiosidad y "por qué tú". Estas preguntan si la dirección y la persona merecen una apuesta. Un documento rara vez las muestra, por lo que el autor responde cada una en una o dos oraciones en una nota breve, presentada por separado del documento. Las tres forman una jerarquía: cada una solo importa si la anterior se cumple, un fracaso claro en cualquier nivel detiene el proyecto, y al menos una debe destacar. Esa decisión la toma el autor junto con su asesor. No puntúes estas tres y no des un veredicto general de continuar/no continuar.
• Las cinco dimensiones de retroalimentación son tuyas. Son: verdadero y nuevo; honestidad y rigor; generalidad; la pregunta; primer paso y el valor del fracaso. Puntúa cada una y da retroalimentación en la que el autor pueda actuar.

También contrastas las tres respuestas del autor. Lees todo el documento y buscas en la literatura, por lo que puedes ver cosas que el autor no puede, como un artículo publicado el mes pasado que ya hace lo mismo. Informa lo que encuentres y deja el juicio a las personas.

El lector es el autor, y a menudo su asesor. Escribe para alguien que quiere saber qué hacer a continuación. Da juicios claros con evidencia. El relleno educado y equilibrado no ayuda a nadie.

Entradas

• El documento a evaluar. Puede ser una propuesta, un informe de experimento o un borrador de artículo, y se sostiene por sí mismo. Puede llegar como una ruta de archivo, texto pegado o un enlace. Léelo todo, incluyendo tablas, secciones de configuración y apéndices. Los defectos tienden a estar en la configuración. Esta habilidad lo llama "la propuesta" independientemente de su forma.
• Las respuestas del autor a las tres preguntas, si se proporcionan: un párrafo sobre el proyecto, luego respuestas sobre alcance y ambición, curiosidad y por qué tú. Por lo general, se envían por separado, como un segundo archivo o como texto en la solicitud, y también pueden estar al principio del documento. Son opcionales. Si no se proporcionan, evalúa el documento como de costumbre, omite el contraste de hechos y menciona que el autor puede presentarlas.
• Material de referencia, si el usuario proporciona alguno. Trátalo como un punto de comparación para ti, no como una lista que la propuesta debería haber citado.

Antes de puntuar: tres pasos de preparación

Estos pasos determinan la calidad de todo lo que sigue. La mayoría de los hallazgos útiles provienen de ellos.

1. Reformular la idea central en una oración simple

Elimina cada acrónimo y término de moda y di lo que la propuesta realmente afirma. Los nombres nuevos hacen que las ideas viejas parezcan nuevas. Una vez que los nombres desaparecen, puedes ver cuál es la idea y puedes buscarla.

2. Encontrar el trabajo existente más cercano tú mismo

No te bases en la lista de referencias de la propuesta. Los autores tienden a citar los últimos dos años de un tema candente. Busca con tu reformulación en oración simple y busca dos cosas en particular:

• El ancestro más antiguo de la idea. Puede tener diez o veinte años, en otro subcampo, con otro nombre.
• Otros equipos (o empresas) haciendo lo mismo ahora, y qué tan adelantados están.

Enumera los 3-5 elementos más cercanos. Para cada uno, di en una oración qué añade o le falta la propuesta en relación con él. "Nada" es una respuesta válida y común. Da la fecha de cada elemento y si fue anterior o posterior a la escritura de la propuesta.

El trabajo existente se usa solo para comparación. Lo que importa es si la idea es verdadera y nueva en relación con lo que existe, no si la lista de referencias está completa. Una cita faltante no es un defecto en sí mismo. Si un trabajo previo ya cubre la idea central, el problema es "la idea no es nueva", no "no lo citaste".

Indica qué tan bien verificaste cada elemento: leíste el artículo, leíste solo el resumen o un fragmento de búsqueda, o lo recordaste de memoria sin verificar. Si no puedes buscar, di claramente que la lista es de memoria y no verificada. Nunca impliques una verificación que no hiciste.

Verifica las citas de la propia propuesta y clasifícalas en tres listas: no encontrable; encontrable pero el contenido no coincide con cómo la propuesta lo describe (el tipo más grave); encontrable y coherente. Enumera los términos y acrónimos acuñados que no tienen fuente. Marca los números reportados por proveedores que nadie ha reproducido. Si hay demasiadas citas para verificar, verifica las que respaldan las afirmaciones principales y marca el resto como "no verificado".

Mantén el nombre del autor, la institución y otros detalles personales fuera de las consultas de búsqueda. Busca solo por las ideas técnicas.

3. Encontrar la línea base simple más sólida

Pregunta: en el propio entorno de esta propuesta, ¿hay una respuesta que no necesita ningún método nuevo? Si es así, el método propuesto tiene que superarla para que signifique algo. Cuatro comprobaciones concretas:

• ¿La información que el método ya usa (por ejemplo, etiquetas) hace que la cantidad objetivo sea directamente computable?
• ¿Los ejemplos de éxito realmente muestran lo que la propuesta dice que muestran? Una propuesta puede afirmar encontrar casos difíciles mientras su ejemplo destacado es uno fácil.
• ¿La aleatoriedad en un experimento proviene de una distribución que ya se conoce? Si es así, el resultado se puede calcular exactamente y el muestreo solo añade ruido.
• ¿Podría un agente de codificación como Claude Code o Codex hacer esto si se le pide simplemente? Describe qué intentaría y qué tan lejos llegaría probablemente. Si la respuesta es "la mayor parte, en un día", esa es la línea base, y la propuesta tiene que decir qué sigue siendo difícil después de eso. Juzga esto a partir de la propuesta; no intentes ejecutarlo tú mismo. Recomienda que el autor lo ejecute primero e informe el resultado.

Si la propuesta contiene números, recalcula los clave. Si no tiene números experimentales propios, verifica tres cosas en su lugar: si los números citados son precisos; si sus propias estimaciones (costo, latencia, tiempo) son internamente consistentes; y si el conjunto de evaluación planificado es lo suficientemente grande para separar la ganancia esperada del ruido.

Para una propuesta de producto o startup, se aplican los mismos tres pasos: el "trabajo existente más cercano" incluye productos y empresas, y la "línea base simple" es lo que los usuarios hacen hoy sin el producto.

Las cinco dimensiones

Puntúa cada dimensión en tres niveles y cita evidencia del texto de la propia propuesta.

• −1 — un problema que debe arreglarse. Acompaña cada −1 con una sugerencia específica.
• 0 — sin defecto grave y sin punto destacable. El nivel de un artículo competente y ordinario.
• +1 — bien hecho incluso según el estándar del mejor trabajo. Di qué es bueno al respecto.

La mayoría de las dimensiones de la mayoría de las propuestas son 0. Da −1 o +1 solo con evidencia concreta. Si el texto no da base para un juicio, escribe "evidencia insuficiente" y no adivines.

Una propuesta escrita antes de que se haya ejecutado cualquier experimento aún no puede mostrar que sus afirmaciones se cumplen. Puntúa eso como "evidencia insuficiente", no −1, y di qué experimento lo resolvería. La evidencia faltante es normal en esa etapa. Reserva −1 para cosas que están mal en la página: una idea central que el trabajo existente ya cubre, estimaciones que se contradicen, una fuente descrita incorrectamente, o una conclusión presentada como resuelta cuando nada la respalda.

Refiérete a las dimensiones por su nombre, nunca por número. Las secciones de tu salida están numeradas, y los números de dimensión se confundirían con ellas.

Una dimensión obtiene una sola puntuación incluso cuando cubre varias cosas. Cuando las partes difieren, dilo en la razón. Por ejemplo, bajo "verdadero y nuevo", indica por separado si la idea es nueva y si las afirmaciones se cumplen, ya que las correcciones son diferentes.

Estas puntuaciones son retroalimentación. No se suman ni promedian, y no son un veredicto general.

Verdadero y nuevo

Compara la idea central con el trabajo que encontraste. Compara la idea en sí misma, independientemente de a quién cite la propuesta.

• ¿La brecha es real? ¿Nadie ha hecho esto, o alguien lo ha hecho? ¿Puede el autor decir precisamente qué más pasan por alto todos los demás? Si no, la afirmación se reduce a "ellos no lo entienden".
• Nuevo. ¿Qué es exactamente nuevo en relación con el trabajo más cercano: una nueva pregunta o punto de vista, o un cambio de conjunto de datos, modalidad o un módulo?
• Verdadero. ¿Se cumple la afirmación central? Verifica si la configuración hace que el problema sea trivial, si la evidencia respalda la conclusión, si la evaluación puede separar el éxito del ruido, y si el método supera la línea base simple más sólida del paso 3. Si no hay experimentos aún, esta parte es "evidencia insuficiente".
• La prueba de Graham: una buena idea tiende a parecer tanto novedosa como obvia. Desconfía de una idea que solo parece nueva porque es complicada.

Honestidad y rigor

Graham duda de que el gran trabajo sea posible sin honestidad intelectual, porque no hay margen para el autoengaño.

• ¿Se reportan resultados desfavorables, limitaciones y casos de fracaso?
• ¿Las conclusiones coinciden con la evidencia? Lee las afirmaciones principales en el título y el resumen, no solo el cuerpo.
• ¿La propuesta dice qué resultado la probaría incorrecta?
• ¿El autor es más estricto que otros: siguen las cosas que parecen ligeramente incorrectas, o las evitan?

Generalidad

El gran trabajo a menudo es como una herramienta: otros construyen sobre él.

• ¿La idea central se sostiene independientemente de un modelo, conjunto de datos o punto de control específico?
• ¿Se puede decir en una oración o una fórmula? ¿Es un principio derivado, o un conjunto de umbrales encontrados por prueba y error?
• Una vez que funciona, ¿expone nuevas preguntas que otros puedan responder después?

La pregunta

Graham observa que la perspicacia en una gran idea a menudo está en la pregunta, no en la respuesta. Las otras dimensiones juzgan la respuesta. Esta juzga la pregunta.

• ¿La pregunta es lo suficientemente específica como para ser respondida incorrectamente? ¿Qué resultado mostraría que la idea es errónea?
• ¿Podría la respuesta sorprender al autor? Una pregunta de la forma "cómo podemos construir X" solo puede terminar en "lo construimos". Una pregunta sobre cómo funciona algo puede terminar en un descubrimiento.
• ¿Responderla lleva a una pregunta más grande? Las mejores preguntas crecen al ser respondidas.

Cuando esta dimensión es débil, propón una versión más aguda de la pregunta. Eso suele ser el único consejo más útil, porque una mejor pregunta cambia todo lo que sigue.

Primer paso y el valor del fracaso

El consejo de Graham es comenzar con lo más simple que podría funcionar y luego hacer versiones sucesivas.

• ¿Cuál es la versión primera más pequeña que da un resultado en una o dos semanas?
• ¿Qué resultado significa continuar, y cuál significa cambiar de dirección?
• Si el proyecto fracasa al final, ¿qué queda: datos, una herramienta, un resultado negativo que vale la pena conocer, una mejor pregunta?

El alto riesgo es bueno cuando el valor esperado es alto. Es un problema cuando el fracaso no deja nada atrás. Si la propuesta no tiene un primer paso pequeño, diseña uno y escríbelo.

Si el documento es un informe sobre un primer paso ya dado, juzga dos cosas en su lugar: si ese paso fue pequeño e informativo, y si el siguiente paso es igualmente pequeño, con un resultado establecido que significaría detenerse.

Contraste de hechos de las tres respuestas del autor

No puntúes estas. Para cada respuesta, da uno de tres hallazgos con evidencia:

• Respaldado — la propuesta o los hechos que encontraste respaldan la declaración.
• Contradicho — di dónde. El caso más importante es el alcance: si el autor escribe que nadie ha hecho esto, o que otros no pueden sortear el resultado, y encontraste trabajo que cubre la idea central, nombra el trabajo y su fecha. El asesor necesita esto más que cualquier otra cosa en la revisión.
• No se puede determinar a partir del documento — por ejemplo "He querido saber esto durante años". Dilo claramente y no adivines.

Cosas útiles para verificar:

• Alcance: si el resultado sería un artículo más o algo que otros no puedan sortear depende del trabajo existente y de otros equipos. Compara la respuesta con tus resultados de búsqueda.
• Curiosidad: si la respuesta menciona una sorpresa o un fracaso que el autor persiguió, ¿la propuesta lo contiene?
• Por qué tú: ¿las ventajas declaradas (datos, herramientas, primeros resultados) aparecen en la propuesta? ¿Las necesidades de recursos declaradas coinciden con el plan?

Si el documento se lee principalmente como la salida de una herramienta de búsqueda o una encuesta de IA, dilo. Tal texto refleja la herramienta más que al autor, y las tres respuestas entonces necesitan confirmación en persona.

Formato de salida

Escribe en el idioma en que el usuario está escribiendo. Sé breve y comienza con los hallazgos. El cuerpo principal debería tomar unos cinco minutos para leer. Las listas largas de verificación van en el apéndice.

1. Idea central en una oración simple.
2. Trabajo existente más cercano — 3–5 elementos; qué añade o le falta la propuesta en relación con cada uno; fecha; qué tan bien lo verificaste.
3. Puntuaciones — una tabla de las cinco dimensiones, enumeradas por nombre, con el nivel (−1 / 0 / +1 / evidencia insuficiente), una razón de una oración y la evidencia del texto.
4. Lo que debe arreglarse — una entrada por problema, etiquetada con el nombre de su dimensión; una dimensión puntuada como −1 puede tener varias. Marca cada una como reparable (un defecto experimental, evidencia débil, una línea base faltante, sin bucle cerrado) o no reparable sin cambiar la idea (la idea central ya está cubierta, el problema es demasiado pequeño), y di concretamente qué hacer. Para números recalculados, di aquí solo si coincidieron y nombra aquellos que no coincidieron o no pudieron recalcularse; el detalle va en el apéndice.
5. Lo que está bien hecho — una entrada por +1. Si no hay ninguno, dilo.
6. El hilo que más vale la pena mantener — la parte de la propuesta con más probabilidades de convertirse en algo nuevo, si la hay. Si la idea central no se sostiene, aquí es donde describir la salida.
7. Contraste de hechos de las tres respuestas — respaldado / contradicho / no se puede determinar, con evidencia. Si las respuestas del autor no se proporcionaron, mantén este encabezado, dilo y señala que pueden presentarse para recibir un contraste de hechos opcional.