忠實度檢查
比較一張人物穿戴或手持產品的生成照片與真實產品照片,回答九個固定問題,並讓腳本將答案轉換為評分卡。你判斷所見內容;腳本負責計算分數。
你需要準備
- IMAGE A:真實產品照片。這是產品的真實依據。
- IMAGE B:待審查的生成照片。
- 可選,IMAGE C:提供給生成器的姿勢參考。有了它你可以回答姿勢問題;沒有就回答
not_applicable。
如果你只收到一張圖片,請要求另一張。不要僅憑你對產品應該長怎樣的記憶來審查照片。
步驟
- 查看兩張圖片。如果可以裁切與放大,請放大 B 中的產品,特別注意任何印刷文字。
- 回答
references/rubric.md中的九個問題,使用same、minor、different、cannot_tell、not_applicable其中之一。對於每個不是same的答案,請加上evidence(你看到的內容,簡短描述)和where。 - 將每個問題列為一個缺陷,使用評分量表中的代碼(
TEXT_GARBLE、PART_MISSING……)。僅使用這些代碼。 - 轉錄 A 中產品上可讀的文字(
text_in_reference)和 B 中產品上的文字(text_in_generated)。照抄印刷的文字。不要修正拼寫,也不要填入文字應該是什麼。 - 如果產品上有文字,執行文字規則進行交叉檢查:
python scripts/text_match.py --expected "<A 中的文字>" --observed "<B 中的文字>"如果它以 1 退出(被標記),則將text答案設為different並加入TEXT_GARBLE。 - 將檢查清單寫成 JSON(參見
references/checklist-example.json)並存到暫存檔案中,然後執行:python scripts/score.py <檔案> - 回覆腳本輸出的評分卡原文,然後用一兩句話說明需要修改的內容。切勿自行計算分數,也勿在腳本未輸出的情況下說「Verified」。
審查規則
- 嚴格照實。不同的色調、缺少蓋子、一個字母錯誤、第六根手指:每一項都是發現。
- 與 A 比較,而不是與看起來合理的東西比較。一張照片可能看起來很好,但展示的卻是另一種產品。
- 當你無法看清楚而無法決定時,回答
cannot_tell。它只得到 1 分,從不得到 2 分,因此你無法回答的產品忠實度問題會阻止 Verified:照片不能憑猜測獲得 Verified。 - A 中出現的手、人體模型和道具不屬於產品的一部分。如果它們出現在 B 中,那就是
LEAK_HAND_MANNEQUIN。 - 印刷文字逐字元檢查。小字變成亂碼是
TEXT_GARBLE;大的詞彙或商標錯誤是TEXT_WRONG。 - 一次審查只判斷一張照片。對於多張照片,請分別審查並並列報告。
限制
模型審查員不是真人。在我們的小型測試中,兩位模型審查員對同一批照片的意見一致性僅達到 39%,這就是為什麼問題是固定的、分數由程式計算,以及存在文字規則的原因。請將評分卡視為快速初步篩選,並在發布前親自查看照片。
評分量表版本 1.0-draft。原始碼與完整基準測試:https://github.com/molly554/onmodel