保真度检查 是做什么的?
将一张人物穿着或手持产品的生成照片与真实产品照片进行比较,回答九个固定问题,并由脚本将答案转换为评分卡。你判断你所看到的;脚本进行算术运算。
你需要什么
- 图像A:真实产品照片。它是产品实际情况的基准。
- 图像B:待审查的生成照片。
- 可选,图像C:生成器使用的姿势参考。有了它,你可以回答姿势问题;没有它,则回答
not_applicable。
如果你只收到一张图像,请询问另一张。不要凭记忆中的产品样貌来审查照片。
步骤
- 观察两张图像。如果可以裁剪和放大,请放大图像B中的产品,特别是任何印刷文字。
- 使用
same、minor、different、cannot_tell、not_applicable之一回答references/rubric.md中的九个问题。对于每个不是same的答案,添加evidence(你看到了什么,简短描述)和where。 - 将每个问题列为缺陷,并附上规则中的代码(
TEXT_GARBLE、PART_MISSING……)。仅使用这些代码。 - 转录音像A上产品上可辨识的文字(
text_in_reference)和图像B上的文字(text_in_generated)。照抄印刷内容。不要纠正拼写,也不要去补充本应显示的内容。 - 如果产品上有文字,运行文本规则作为交叉检查:
python scripts/text_match.py --expected "<图像A中的文字>" --observed "<图像B中的文字>"如果脚本退出码为1(标记为异常),将text答案设置为different并添加TEXT_GARBLE。 - 将检查清单编写为JSON(参见
references/checklist-example.json)并保存到临时文件,然后运行:python scripts/score.py <文件> - 回答时严格按照脚本打印的内容输出评分卡,然后附加一两句关于需要修改什么的说明。切勿自行计算分数,也切勿在脚本未输出“已验证”的情况下声称“已验证”。
审查规则
- 字面处理。不同的色调、缺少盖子、一个错误的字母、第六根手指:每项都是一个发现。
- 与图像A比较,而不是与看起来合理的内容比较。一张照片可能看起来很好,但仍然显示的是另一件产品。
- 当你无法看清足够信息来决定时,回答
cannot_tell。它得分1,永远不会得2,因此一个你无法回答的产品保真度问题会阻止“已验证”的判定:不能基于猜测验证照片。 - 图像A中出现的手、假人模特和道具不属于产品。如果它们出现在图像B中,那就是
LEAK_HAND_MANNEQUIN。 - 印刷文字逐字符检查。看起来胡言乱语的小字是
TEXT_GARBLE;错误的大单词或标志是TEXT_WRONG。 - 一次审查只评判一张照片。对于多张照片,逐一审查并并排报告。
局限性
模型评审员不是真人。在我们的迷你测试中,两名模型评审员在仅39%的照片上达成一致,这就是为什么问题固定、分数由代码计算,并且存在文本规则的原因。请把评分卡视为快速初筛工具,在发布之前亲自查看照片。
规则版本 1.0-draft。源代码和完整基准测试:https://github.com/molly554/onmodel