molly554/verificación-de-fidelidad

Verificación de fidelidad

Compara una foto generada de una persona usando o sosteniendo un producto con la foto real del producto, responde nueve preguntas fijas y deja que un script convierta las respuestas en un cuadro de puntuación. Tú juzgas lo que ves; el script hace la aritmética.

Lo que necesitas

• IMAGEN A: la foto real del producto. Es la verdad de referencia para el producto.
• IMAGEN B: la foto generada que se va a revisar.
• Opcional, IMAGEN C: la referencia de pose que se le dio al generador. Con ella puedes responder la pregunta de pose; sin ella, responde not_applicable.

Si solo te dieron una imagen, pide la otra. No revises una foto basándote en tu memoria de cómo debería verse el producto.

Pasos

1. Mira ambas imágenes. Si puedes recortar y ampliar, acerca la imagen en B, especialmente cualquier texto impreso.
2. Responde las nueve preguntas en references/rubric.md con una de: same, minor, different, cannot_tell, not_applicable. Para cada respuesta que no sea same, añade evidence (lo que ves, en pocas palabras) y where.
3. Enumera cada problema como un defecto con un código del rubric (TEXT_GARBLE, PART_MISSING, ...). Usa solo esos códigos.
4. Transcribe el texto que es legible en el producto en A (text_in_reference) y en B (text_in_generated). Copia lo que está impreso. No corrijas la ortografía y no completes lo que el texto debería decir.
5. Si el producto lleva texto, ejecuta la regla de texto como verificación cruzada: python scripts/text_match.py --expected "<texto en A>" --observed "<texto en B>" Si sale con código 1 (marcado), establece la respuesta de text como different y añade TEXT_GARBLE.
6. Escribe la lista de verificación como JSON (ver references/checklist-example.json) en un archivo temporal y ejecuta: python scripts/score.py <archivo>
7. Responde con el cuadro de puntuación exactamente como lo imprimió el script, luego una o dos oraciones sobre qué cambiar. Nunca calcules puntos tú mismo y nunca digas "Verificado" a menos que el script lo haga.

Reglas para la revisión

• Sé literal. Un tono diferente, una tapa faltante, una letra incorrecta, un sexto dedo: cada uno es un hallazgo.
• Compara con A, no con lo que parecería plausible. Una foto puede verse bien y aun así mostrar otro producto.
• Cuando no puedas ver lo suficiente para decidir, responde cannot_tell. Puntúa 1, nunca 2, por lo que una pregunta de fidelidad del producto que no pudiste responder bloquea Verificado: la foto no puede ser Verificada por suposición.
• Las manos, maniquíes y accesorios que aparecen en A no son parte del producto. Si aparecen en B, eso es LEAK_HAND_MANNEQUIN.
• El texto impreso se verifica carácter por carácter. La letra pequeña que es basura es TEXT_GARBLE; una palabra grande o logotipo incorrecto es TEXT_WRONG.
• Una revisión evalúa una foto. Para varias fotos, revisa cada una e infórmalas una al lado de la otra.

Límites

Un revisor modelo no es una persona. En nuestra mini prueba, dos revisores modelo estuvieron de acuerdo entre sí solo en el 39% de las fotos, por lo que las preguntas son fijas, los puntos se calculan mediante código y existe la regla de texto. Trata el cuadro de puntuación como un primer filtro rápido y mira la foto tú mismo antes de publicarla.

Versión del rubric 1.0-draft. Fuente y el benchmark completo: https://github.com/molly554/onmodel