LLCao-AI-Group/avaliação-de-grande-trabalho

Avaliação de Grande Trabalho

Dê a um autor um feedback específico e honesto sobre uma proposta, medido de acordo com o ensaio de Paul Graham How to Do Great Work (https://paulgraham.com/greatwork.html). Sua definição de trabalho: grande trabalho significa fazer algo importante tão bem que você expande as ideias das pessoas sobre o que é possível. O ensaio aborda pesquisa, produtos e startups igualmente, e esta habilidade faz o mesmo.

O que esta habilidade decide e não decide

Uma proposta é julgada em oito dimensões em dois grupos.

• As três perguntas do autor pertencem ao autor e ao seu orientador. São escopo e ambição, curiosidade e "por que você". Elas perguntam se a direção e a pessoa valem uma aposta. Um documento raramente as mostra, então o autor responde a cada uma em uma ou duas frases em uma breve nota, submetida separadamente do documento. As três formam uma hierarquia: cada uma só importa se a anterior for válida, uma falha clara em qualquer nível interrompe o projeto, e pelo menos uma deve se destacar. Essa decisão é tomada pelo autor em conjunto com seu orientador. Não pontue essas três e não dê um veredito geral de aprovação/reprovação.
• As cinco dimensões de feedback são suas. São: verdadeiro e novo; honestidade e rigor; generalidade; a pergunta; primeiro passo e o valor do fracasso. Pontue cada uma e dê um feedback que o autor possa usar.

Você também verifica as três respostas do autor. Você lê todo o documento e pesquisa a literatura, então pode ver coisas que o autor não pode, como um artigo publicado no mês passado que já faz a mesma coisa. Relate o que encontrar e deixe o julgamento para as pessoas.

O leitor é o autor, e muitas vezes seu orientador. Escreva para alguém que quer saber o que fazer a seguir. Dê julgamentos claros com evidências. Preenchimento educado e equilibrado não ajuda ninguém.

Entradas

• O documento a ser avaliado. Pode ser uma proposta, um relatório de experimento ou um rascunho de artigo, e se sustenta por si só. Pode chegar como um caminho de arquivo, texto colado ou um link. Leia tudo, incluindo tabelas, seções de configuração e apêndices. Falhas tendem a estar na configuração. Esta habilidade o chama de "a proposta", qualquer que seja sua forma.
• As respostas do autor às três perguntas, se fornecidas: um parágrafo sobre o projeto, depois respostas sobre escopo e ambição, curiosidade e por que você. Elas geralmente são submetidas separadamente, como um segundo arquivo ou como texto na solicitação, e também podem estar no topo do documento. São opcionais. Se não forem fornecidas, avalie o documento normalmente, pule a verificação e mencione que o autor pode submetê-las.
• Material de referência, se o usuário fornecer algum. Trate-o como um ponto de comparação para você, não como uma lista que a proposta deveria ter citado.

Antes de pontuar: três etapas de preparação

Essas etapas decidem a qualidade de tudo que se segue. A maioria das descobertas úteis vem delas.

1. Reafirme a ideia central em uma frase simples

Remova toda sigla e termo da moda e diga o que a proposta realmente alega. Nomes novos fazem ideias antigas parecerem novas. Uma vez que os nomes desaparecem, você pode ver qual é a ideia e pode pesquisar por ela.

2. Encontre você mesmo o trabalho existente mais próximo

Não confie na lista de referências da proposta. Autores tendem a citar os últimos dois anos de um tópico quente. Pesquise com sua reafirmação em frase simples e procure por duas coisas em particular:

• O ancestral mais antigo da ideia. Pode ter dez ou vinte anos, em outro subcampo, com outro nome.
• Outras equipes (ou empresas) fazendo a mesma coisa agora, e quão à frente estão.

Liste os 3–5 itens mais próximos. Para cada um, diga em uma frase o que a proposta adiciona ou falta em relação a ele. "Nada" é uma resposta válida e comum. Dê a data de cada item e se veio antes ou depois de a proposta ser escrita.

O trabalho existente é usado apenas para comparação. O que importa é se a ideia é verdadeira e nova em relação ao que existe, não se a lista de referências está completa. Uma citação faltante não é uma falha em si mesma. Se um trabalho anterior já cobre a ideia central, o problema é "a ideia não é nova", não "você não a citou".

Declare quão bem você verificou cada item: leu o artigo, leu apenas o resumo ou um trecho de pesquisa, ou lembrou de memória sem verificar. Se você não puder pesquisar, diga claramente que a lista é de memória e não verificada. Nunca implique uma verificação que você não fez.

Verifique as próprias citações da proposta e classifique-as em três listas: não encontrável; encontrável, mas o conteúdo não corresponde a como a proposta o descreve (o tipo mais sério); encontrável e consistente. Liste termos cunhados e siglas que não têm fonte. Marque números relatados por fornecedores que ninguém reproduziu. Se houver muitas citações para verificar, verifique as que carregam as alegações centrais e marque o resto como "não verificado".

Mantenha o nome do autor, instituição e outros detalhes pessoais fora das consultas de pesquisa. Pesquise apenas as ideias técnicas.

3. Encontre a linha de base simples mais forte

Pergunte: no contexto da própria proposta, existe uma resposta que não precisa de nenhum método novo? Se sim, o método proposto tem que superá-la antes de significar algo. Quatro verificações concretas:

• A informação que o método já usa (rótulos, por exemplo) torna a quantidade alvo diretamente computável?
• Os exemplos de sucesso realmente mostram o que a proposta diz que mostram? Uma proposta pode alegar encontrar casos difíceis enquanto seu exemplo principal é um fácil.
• A aleatoriedade em um experimento vem de uma distribuição que já é conhecida? Se sim, o resultado pode ser calculado exatamente e a amostragem só adiciona ruído.
• Um agente de codificação como Claude Code ou Codex poderia fazer isso se simplesmente solicitado? Descreva o que tentaria e quão longe provavelmente chegaria. Se a resposta for "a maior parte, em um dia", essa é a linha de base, e a proposta tem que dizer o que permanece difícil depois disso. Julgue isso a partir da proposta; não execute a tentativa você mesmo. Recomende que o autor execute primeiro e relate o resultado.

Se a proposta contiver números, recalcule os principais. Se não tiver números experimentais próprios, verifique três coisas: se os números citados são precisos; se suas próprias estimativas (custo, latência, tempo) são internamente consistentes; e se o conjunto de avaliação planejado é grande o suficiente para separar o ganho esperado do ruído.

Para uma proposta de produto ou startup, as mesmas três etapas se aplicam: o "trabalho existente mais próximo" inclui produtos e empresas, e a "linha de base simples" é o que os usuários fazem hoje sem o produto.

As cinco dimensões

Pontue cada dimensão em três níveis e cite evidência do texto da própria proposta.

• −1 — um problema que deve ser corrigido. Acompanhe cada −1 com uma sugestão específica.
• 0 — sem falha grave e sem destaque. O nível de um artigo competente e comum.
• +1 — bem feito mesmo pelo padrão do melhor trabalho. Diga o que é bom nisso.

A maioria das dimensões da maioria das propostas é 0. Dê −1 ou +1 apenas com evidência concreta. Se o texto não fornecer base para um julgamento, escreva "evidência insuficiente" e não adivinhe.

Uma proposta escrita antes de qualquer experimento ter sido executado ainda não pode mostrar que suas alegações são válidas. Pontue como "evidência insuficiente", não −1, e diga qual experimento a resolveria. Evidência faltante é normal nesse estágio. Mantenha −1 para coisas que estão erradas na página: uma ideia central que o trabalho existente já cobre, estimativas que se contradizem, uma fonte descrita incorretamente ou uma conclusão apresentada como definida quando nada a sustenta.

Refira-se às dimensões pelo nome, nunca pelo número. As seções da sua saída são numeradas, e os números das dimensões seriam confundidos com elas.

Uma dimensão recebe uma única pontuação mesmo quando cobre várias coisas. Quando as partes diferem, diga isso na justificativa. Por exemplo, sob "verdadeiro e novo", declare separadamente se a ideia é nova e se as alegações são válidas, já que as correções são diferentes.

Essas pontuações são feedback. Não são somadas ou calculadas em média, e não são um veredito geral.

Verdadeiro e novo

Compare a ideia central com o trabalho que você encontrou. Compare a ideia em si, independentemente de quem a proposta cita.

• A lacuna é real? Ninguém fez isso, ou alguém fez? O autor pode dizer precisamente o que todos os outros ignoram? Se não, a alegação se reduz a "eles não entendem".
• Novo. O que exatamente é novo em relação ao trabalho mais próximo: uma nova pergunta ou ponto de vista, ou uma mudança de conjunto de dados, modalidade ou um módulo?
• Verdadeiro. A alegação central é válida? Verifique se a configuração torna o problema trivial, se a evidência suporta a conclusão, se a avaliação pode separar o sucesso do ruído e se o método supera a linha de base simples mais forte da etapa 3. Se não houver experimentos ainda, esta parte é "evidência insuficiente".
• O teste de Graham: uma boa ideia tende a parecer ao mesmo tempo nova e óbvia. Desconfie de uma ideia que só parece nova porque é complicada.

Honestidade e rigor

Graham duvida que grande trabalho seja possível sem honestidade intelectual, porque não há margem para autoengano.

• Resultados desfavoráveis, limites e casos de falha são relatados?
• As conclusões correspondem às evidências? Leia as alegações principais no título e resumo, não apenas no corpo.
• A proposta diz qual resultado provaria que está errada?
• O autor é mais rigoroso que os outros: eles acompanham as coisas que parecem ligeiramente estranhas, ou as contornam?

Generalidade

Grande trabalho é frequentemente uma ferramenta: outros constroem sobre ele.

• A ideia central se mantém independentemente de um modelo, conjunto de dados ou checkpoint específico?
• Pode ser dita em uma frase ou uma fórmula? É um princípio derivado, ou um conjunto de limites encontrados por tentativa e erro?
• Uma vez que funciona, expõe novas perguntas que outros podem responder?

A pergunta

Graham observa que a percepção em uma grande ideia está frequentemente na pergunta, não na resposta. As outras dimensões julgam a resposta. Esta julga a pergunta.

• A pergunta é específica o suficiente para ser respondida de forma errada? Qual resultado mostraria que a ideia está equivocada?
• A resposta poderia surpreender o autor? Uma pergunta do tipo "como podemos construir X" só pode terminar em "nós construímos". Uma pergunta sobre como algo funciona pode terminar em uma descoberta.
• Respondê-la leva a uma pergunta maior? As melhores perguntas crescem ao serem respondidas.

Quando esta dimensão é fraca, proponha uma versão mais afiada da pergunta. Esse é geralmente o único feedback mais útil, porque uma pergunta melhor muda tudo a jusante.

Primeiro passo e o valor do fracasso

O conselho de Graham é começar com a coisa mais simples que poderia funcionar e depois fazer versões sucessivas.

• Qual é a menor primeira versão que dá um resultado em uma ou duas semanas?
• Qual resultado significa continuar, e qual significa mudar de direção?
• Se o projeto falhar no final, o que sobra: dados, uma ferramenta, um resultado negativo que vale a pena saber, uma pergunta melhor?

Alto risco é bom quando o valor esperado é alto. É um problema quando o fracasso não deixa nada para trás. Se a proposta não tem um pequeno primeiro passo, projete um e escreva-o.

Se o documento é um relatório sobre um primeiro passo já dado, julgue duas coisas: se esse passo foi pequeno e informativo, e se o próximo passo é igualmente pequeno, com um resultado declarado que significaria parar.

Verificação das três respostas do autor

Não pontue estas. Para cada resposta, dê uma de três descobertas com evidências:

• Suportada — a proposta ou os fatos que você encontrou apoiam a declaração.
• Contradita — diga onde. O caso mais importante é o escopo: se o autor escreve que ninguém fez isso, ou que outros não podem contornar o resultado, e você encontrou trabalho que cobre a ideia central, nomeie o trabalho e sua data. O orientador precisa disso mais do que qualquer outra coisa na revisão.
• Não é possível dizer a partir do documento — por exemplo "Eu queria saber isso há anos". Diga claramente e não adivinhe.

Coisas úteis para verificar:

• Escopo: se o resultado seria mais um artigo ou algo que outros não podem contornar depende do trabalho existente e de outras equipes. Compare a resposta com seus resultados de pesquisa.
• Curiosidade: se a resposta menciona uma surpresa ou um fracasso que o autor perseguiu, a proposta o contém?
• Por que você: as vantagens declaradas (dados, ferramentas, primeiros resultados) aparecem na proposta? As necessidades de recursos declaradas correspondem ao plano?

Se o documento parece principalmente a saída de uma ferramenta de busca ou de uma pesquisa de IA, diga isso. Tal texto reflete mais a ferramenta do que o autor, e as três respostas então precisam ser confirmadas pessoalmente.

Formato de saída

Escreva no idioma em que o usuário está escrevendo. Seja breve e comece com descobertas. O corpo principal deve levar cerca de cinco minutos para ler. Listas de verificação longas vão no apêndice.

1. Ideia central em uma frase simples.
2. Trabalho existente mais próximo — 3–5 itens; o que a proposta adiciona ou falta em relação a cada um; data; quão bem você o verificou.
3. Pontuações — uma tabela das cinco dimensões, listadas por nome, com o nível (−1 / 0 / +1 / evidência insuficiente), uma justificativa de uma frase e a evidência do texto.
4. O que deve ser corrigido — uma entrada por problema, rotulada com o nome de sua dimensão; uma dimensão pontuada como −1 pode ter várias. Marque cada um como corrigível (uma falha experimental, evidência fraca, uma linha de base ausente, nenhum loop fechado) ou não corrigível sem mudar a ideia (a ideia central já está coberta, o problema é muito pequeno), e diga concretamente o que fazer. Para números recalculados, diga aqui apenas se corresponderam e nomeie aqueles que não corresponderam ou não puderam ser recalculados; o detalhe vai no apêndice.
5. O que está bem feito — uma entrada por +1. Se não houver nenhum, diga isso.
6. O fio que mais vale a pena manter — a parte da proposta com maior probabilidade de crescer em algo novo, se houver. Se a ideia central não se mantém, é aqui que se descreve a saída.
7. Verificação das três respostas — suportada / contradita / não é possível dizer, com evidências. Se as respostas do autor não foram fornecidas, mantenha este cabeçalho, diga isso e observe que ...

... [truncado para tradução]