忠実度チェック（Fidelity check）
生成された人物（製品を着用または保持）写真と実際の製品写真を比較し、9つの固定質問に回答します。その後、スクリプトが回答をスコアカードに変換します。あなたが目視で判断し、スクリプトが計算処理を行います。
必要なもの
- 画像A: 実際の製品写真。製品の基準（グラウンドトゥルース）です。
- 画像B: レビュー対象の生成写真。
- 任意、画像C: ジェネレーターに与えられたポーズ参照。これによりポーズの質問に回答できます。ない場合は
not_applicableと回答してください。
画像が1枚だけしか与えられていない場合は、もう1枚を要求してください。記憶に基づいて製品の見た目をレビューしないでください。
手順
- 両方の画像を見てください。必要に応じて切り抜きや拡大を行い、画像B内の製品、特に印刷されたテキストを拡大してください。
references/rubric.mdの9つの質問に、same、minor、different、cannot_tell、not_applicableのいずれかで回答してください。same以外の回答には、evidence（何が見えるか、簡潔に）とwhereを追加してください。- すべての問題を、ルーブリックのコード（
TEXT_GARBLE、PART_MISSING、...）を使用して欠陥としてリストアップしてください。これらのコードのみを使用してください。 - 画像Aの製品に読み取れるテキストを
text_in_referenceに、画像Bのテキストをtext_in_generatedに書き写してください。印刷されている内容をそのままコピーし、スペルを修正したり、本来あるべきテキストを補わないでください。 - 製品にテキストがある場合、テキストルールをクロスチェックとして実行してください:
python scripts/text_match.py --expected "<テキストA>" --observed "<テキストB>"終了コードが1（フラグ付き）の場合、textの回答をdifferentに設定し、TEXT_GARBLEを追加してください。 - チェックリストをJSON（
references/checklist-example.jsonを参照）として一時ファイルに書き込み、以下を実行:python scripts/score.py <ファイル> - スクリプトが出力したスコアカードをそのまま返信し、その後に変更すべき点を1～2文で説明してください。自分でポイントを計算したり、スクリプトが実行しない限り「Verified」と言わないでください。
レビューのルール
- 厳密に比較してください。異なる色合い、キャップの欠落、1文字の誤り、6本指：それぞれが指摘事項です。
- 画像Aと比較し、「もっともらしい外見」と比較しないでください。写真が見栄えが良くても、別の製品が写っている可能性があります。
- 判断するのに十分に見えない場合は、
cannot_tellと回答してください。これは1点のスコアとなり、2点にはなりません。したがって、製品忠実度の質問に回答できない場合、Verified（検証済み）の判定はブロックされます。推測で写真を検証することはできません。 - 画像Aに写っている手、マネキン、小道具は製品の一部ではありません。これらが画像Bに現れた場合は
LEAK_HAND_MANNEQUINです。 - 印刷テキストは1文字ずつチェックされます。判読不能な小さな文字は
TEXT_GARBLE、誤った大きな単語やロゴはTEXT_WRONGです。 - 1回のレビューで1枚の写真を判定します。複数の写真がある場合は、それぞれをレビューし、並べて報告してください。
制限
モデルレビュアーは人間ではありません。私たちのミニテストでは、2人のモデルレビュアーが写真の39%でしか一致しませんでした。そのため、質問は固定され、ポイントはコードで計算され、テキストルールが存在します。スコアカードは迅速な初期スクリーニングとして扱い、公開前に必ず自分で写真を確認してください。
ルーブリックバージョン 1.0-draft。ソースと完全なベンチマーク: https://github.com/molly554/onmodel