molly554/fidelity-check

Treueprüfung

Vergleiche ein generiertes Foto einer Person, die ein Produkt trägt oder hält, mit dem echten Produktfoto, beantworte neun festgelegte Fragen und lasse ein Skript die Antworten in eine Punkteübersicht umwandeln. Du beurteilst, was du siehst; das Skript rechnet.

Was du benötigst

• BILD A: das echte Produktfoto. Es ist die Referenz für das Produkt.
• BILD B: das zu prüfende generierte Foto.
• Optional, BILD C: die Pose-Referenz, die dem Generator gegeben wurde. Damit kannst du die Pose-Frage beantworten; ohne sie lautet die Antwort not_applicable.

Wenn dir nur ein Bild gegeben wurde, fordere das andere an. Prüfe kein Foto aus dem Gedächtnis, wie das Produkt aussehen soll.

Schritte

1. Betrachte beide Bilder. Wenn du zuschneiden und vergrößern kannst, zoome auf das Produkt in B, besonders auf bedruckte Texte.
2. Beantworte die neun Fragen in references/rubric.md mit einem von same, minor, different, cannot_tell, not_applicable. Gib bei jeder Antwort außer same einen evidence (was du siehst, in wenigen Worten) und where an.
3. Liste jedes Problem als Defekt mit einem Code aus der Bewertungsmatrix (TEXT_GARBLE, PART_MISSING, ...). Verwende ausschließlich diese Codes.
4. Transkribiere den Text, der auf dem Produkt in A lesbar ist (text_in_reference) und in B (text_in_generated). Schreibe ab, was aufgedruckt ist. Korrigiere keine Rechtschreibung und ergänze nicht, was der Text bedeuten soll.
5. Wenn das Produkt Text trägt, führe die Textregel als Gegenprüfung aus: python scripts/text_match.py --expected "<text in A>" --observed "<text in B>" Wenn das Skript mit 1 beendet wird (Flag), setze die text-Antwort auf different und füge TEXT_GARBLE hinzu.
6. Schreibe die Checkliste als JSON (siehe references/checklist-example.json) in eine temporäre Datei und führe aus: python scripts/score.py <datei>
7. Antworte mit der Punkteübersicht genau so, wie das Skript sie ausgegeben hat, danach ein bis zwei Sätze, was geändert werden sollte. Berechne niemals selbst Punkte und sage niemals "Geprüft", es sei denn, das Skript hat es getan.

Regeln für die Prüfung

• Sei wörtlich. Ein anderer Farbton, eine fehlende Kappe, ein falscher Buchstabe, ein sechster Finger: alles ist ein Befund.
• Vergleiche mit A, nicht mit dem, was plausibel erscheint. Ein Foto kann gut aussehen und trotzdem ein anderes Produkt zeigen.
• Wenn du nicht genug sehen kannst, um zu entscheiden, antworte cannot_tell. Das gibt 1 Punkt, nie 2, daher blockiert eine nicht beantwortbare Produkttreuefrage das "Geprüft": Das Foto kann nicht aufgrund einer Vermutung als "Geprüft" eingestuft werden.
• Hände, Schaufensterpuppen und Requisiten, die in A erscheinen, sind nicht Teil des Produkts. Wenn sie in B auftauchen, ist das LEAK_HAND_MANNEQUIN.
• Aufgedruckter Text wird Zeichen für Zeichen geprüft. Kleiner Druck, der unleserlich ist, ist TEXT_GARBLE; ein falsches großes Wort oder Logo ist TEXT_WRONG.
• Eine Prüfung bewertet ein Foto. Bei mehreren Fotos prüfe jedes einzeln und berichte sie nebeneinander.

Grenzen

Ein Modellprüfer ist kein Mensch. In unserem kleinen Test stimmten zwei Modellprüfer nur bei 39 % der Fotos überein. Deshalb sind die Fragen festgelegt, die Punkte werden vom Code berechnet, und die Textregel existiert. Betrachte die Punkteübersicht als schnelle Erstkontrolle und sieh dir das Foto selbst an, bevor du es veröffentlichst.

Bewertungsmatrix Version 1.0-Entwurf. Quelle und vollständiger Benchmark: https://github.com/molly554/onmodel