molly554/verificação-de-fidelidade

Verificação de fidelidade

Compare uma foto gerada de uma pessoa usando ou segurando um produto com a foto real do produto, responda a nove perguntas fixas e deixe um script transformar as respostas em um scorecard. Você julga o que vê; o script faz a aritmética.

O que você precisa

• IMAGEM A: a foto real do produto. É a verdade absoluta para o produto.
• IMAGEM B: a foto gerada para revisar.
• Opcional, IMAGEM C: a referência de pose que o gerador recebeu. Com ela você pode responder à pergunta sobre pose; sem ela, responda not_applicable.

Se recebeu apenas uma imagem, peça a outra. Não revise uma foto com base na sua memória do que o produto deveria parecer.

Passos

1. Observe ambas as imagens. Se puder recortar e ampliar, dê zoom no produto em B, especialmente em qualquer texto impresso.
2. Responda às nove perguntas em references/rubric.md com uma das opções: same, minor, different, cannot_tell, not_applicable. Para cada resposta diferente de same, adicione evidence (o que você vê, em poucas palavras) e where.
3. Liste cada problema como um defeito com um código da rubrica (TEXT_GARBLE, PART_MISSING, ...). Use apenas esses códigos.
4. Transcreva o texto legível no produto em A (text_in_reference) e em B (text_in_generated). Copie o que está impresso. Não corrija a ortografia e não preencha o que o texto deveria dizer.
5. Se o produto contém texto, execute a regra de texto como verificação cruzada: python scripts/text_match.py --expected "<texto em A>" --observed "<texto em B>" Se sair com código 1 (sinalizado), defina a resposta text como different e adicione TEXT_GARBLE.
6. Escreva a lista de verificação como JSON (veja references/checklist-example.json) em um arquivo temporário e execute: python scripts/score.py <arquivo>
7. Responda com o scorecard exatamente como o script o imprimiu, depois uma ou duas frases sobre o que mudar. Nunca calcule pontos você mesmo e nunca diga 'Verificado' a menos que o script o faça.

Regras para a revisão

• Seja literal. Um tom diferente, uma tampa faltando, uma letra errada, um sexto dedo: cada um é uma descoberta.
• Compare com A, não com o que pareceria plausível. Uma foto pode parecer boa e ainda assim mostrar outro produto.
• Quando você não puder ver o suficiente para decidir, responda cannot_tell. Ele pontua 1, nunca 2, então uma pergunta de fidelidade do produto que você não pôde responder bloqueia 'Verificado': a foto não pode ser 'Verificada' com base em um palpite.
• Mãos, manequins e adereços que aparecem em A não fazem parte do produto. Se aparecerem em B, isso é LEAK_HAND_MANNEQUIN.
• Texto impresso é verificado caractere por caractere. Texto pequeno que é ilegível é TEXT_GARBLE; uma palavra grande ou logotipo errado é TEXT_WRONG.
• Uma revisão julga uma foto. Para várias fotos, revise cada uma e reporte-as lado a lado.

Limites

Um revisor modelo não é uma pessoa. Em nosso mini teste, dois revisores modelo concordaram entre si em apenas 39% das fotos, razão pela qual as perguntas são fixas, os pontos são computados por código e a regra de texto existe. Trate o scorecard como uma triagem inicial rápida e olhe a foto você mesmo antes de publicá-la.

Versão da rubrica 1.0-draft. Fonte e o benchmark completo: https://github.com/molly554/onmodel