molly554/contrôle-fidélité

Contrôle de fidélité

Comparez une photo générée d'une personne portant ou tenant un produit avec la photo réelle du produit, répondez à neuf questions fixes, et laissez un script transformer les réponses en un tableau de bord. Vous jugez ce que vous voyez ; le script fait les calculs.

Ce dont vous avez besoin

• IMAGE A : la photo réelle du produit. C'est la vérité de référence pour le produit.
• IMAGE B : la photo générée à examiner.
• Facultative, IMAGE C : la référence de pose donnée au générateur. Avec elle, vous pouvez répondre à la question sur la pose ; sans elle, répondez not_applicable.

Si vous n'avez reçu qu'une seule image, demandez l'autre. N'examinez pas une photo de mémoire en vous rappelant à quoi le produit devrait ressembler.

Étapes

1. Regardez les deux images. Si vous pouvez recadrer et agrandir, zoomez sur le produit dans B, en particulier sur tout texte imprimé.
2. Répondez aux neuf questions dans references/rubric.md avec l'un de same, minor, different, cannot_tell, not_applicable. Pour chaque réponse autre que same, ajoutez evidence (ce que vous voyez, en quelques mots) et where.
3. Listez chaque problème comme un défaut avec un code de la rubrique (TEXT_GARBLE, PART_MISSING, ...). Utilisez uniquement ces codes.
4. Retranscrivez le texte lisible sur le produit dans A (text_in_reference) et dans B (text_in_generated). Copiez ce qui est imprimé. Ne corrigez pas l'orthographe et ne complétez pas ce que le texte devrait dire.
5. Si le produit porte du texte, exécutez la règle de texte comme vérification croisée : python scripts/text_match.py --expected "<texte dans A>" --observed "<texte dans B>" Si elle se termine avec le code 1 (signalé), définissez la réponse text sur different et ajoutez TEXT_GARBLE.
6. Écrivez la liste de contrôle au format JSON (voir references/checklist-example.json) dans un fichier temporaire et exécutez : python scripts/score.py <fichier>
7. Répondez avec le tableau de bord exactement tel que le script l'a imprimé, puis une ou deux phrases sur ce qu'il faut modifier. Ne calculez jamais les points vous-même et ne dites jamais « Verified » sauf si le script l'a fait.

Règles pour l'examen

• Soyez littéral. Une nuance différente, un capuchon manquant, une lettre erronée, un sixième doigt : chaque écart est une constatation.
• Comparez avec A, pas avec ce qui semblerait plausible. Une photo peut avoir belle apparence et pourtant montrer un autre produit.
• Lorsque vous ne voyez pas assez pour décider, répondez cannot_tell. Il donne 1 point, jamais 2, donc une question de fidélité du produit à laquelle vous n'avez pas pu répondre bloque le statut Verified : la photo ne peut pas être vérifiée sur une supposition.
• Les mains, mannequins et accessoires qui apparaissent dans A ne font pas partie du produit. S'ils apparaissent dans B, c'est LEAK_HAND_MANNEQUIN.
• Le texte imprimé est vérifié caractère par caractère. Un petit texte illisible est TEXT_GARBLE ; un grand mot ou logo erroné est TEXT_WRONG.
• Un examen juge une seule photo. Pour plusieurs photos, examinez chacune et rapportez-les côte à côte.

Limites

Un examinateur modèle n'est pas une personne. Dans notre petit test, deux examinateurs modèles n'étaient d'accord que sur 39 % des photos, c'est pourquoi les questions sont fixes, les points sont calculés par code et la règle de texte existe. Traitez le tableau de bord comme un premier filtre rapide, et regardez la photo vous-même avant de la publier.

Version de la rubrique 1.0-draft. Source et le benchmark complet : https://github.com/molly554/onmodel