충실도 점검 (Fidelity check)
생성된 사진(사람이 제품을 착용하거나 들고 있는)을 실제 제품 사진과 비교하고, 9가지 고정 질문에 답변한 후 스크립트가 답변을 점수표로 변환합니다. 당신이 본 것을 판단하고, 스크립트가 산술을 수행합니다.
필요한 것
- 이미지 A: 실제 제품 사진입니다. 제품의 기준 진리(ground truth)입니다.
- 이미지 B: 검토할 생성된 사진입니다.
- 선택 사항, 이미지 C: 생성기가 제공받은 포즈 참조 이미지입니다. 이것으로 포즈 질문에 답할 수 있으며, 없으면
not_applicable으로 답합니다.
만약 하나의 이미지만 제공받았다면, 다른 이미지를 요청하십시오. 제품이 어떻게 보여야 하는지에 대한 기억을 바탕으로 사진을 검토하지 마십시오.
단계
- 두 이미지를 모두 살펴보십시오. 자르거나 확대할 수 있다면, 이미지 B의 제품을 확대하여 특히 인쇄된 텍스트를 자세히 보십시오.
references/rubric.md의 9가지 질문에same,minor,different,cannot_tell,not_applicable중 하나로 답하십시오.same이외의 모든 답변에는evidence(당신이 본 것, 몇 마디로)와where를 추가하십시오.- 각 문제를 루브릭의 코드(
TEXT_GARBLE,PART_MISSING, ...)를 사용하여 결함으로 나열하십시오. 해당 코드만 사용하십시오. - 이미지 A의 제품에서 읽을 수 있는 텍스트(
text_in_reference)와 이미지 B의 제품에서 읽을 수 있는 텍스트(text_in_generated)를 전사하십시오. 인쇄된 대로 복사하십시오. 맞춤법을 수정하지 말고 텍스트가 무엇을 말해야 하는지 채우지 마십시오. - 제품에 텍스트가 있는 경우, 텍스트 규칙을 교차 검증으로 실행하십시오:
python scripts/text_match.py --expected "<text in A>" --observed "<text in B>"종료 코드가 1(플래그 발생)이면text답변을different로 설정하고TEXT_GARBLE을 추가하십시오. - 체크리스트를 JSON(
references/checklist-example.json참조)으로 임시 파일에 작성하고 다음을 실행하십시오:python scripts/score.py <file> - 스크립트가 출력한 점수표를 그대로 복사하여 답변하고, 변경해야 할 사항에 대해 한두 문장을 추가하십시오. 직접 점수를 계산하지 말고 스크립트가 'Verified'라고 말하지 않는 한 절대 'Verified'라고 말하지 마십시오.
검토 규칙
- 문자 그대로 비교하십시오. 다른 색조, 누락된 캡, 한 글자 오류, 여섯 번째 손가락: 각각은 발견 사항입니다.
- 그럴듯해 보이는 것과 비교하지 말고 A와 비교하십시오. 사진이 좋아 보여도 다른 제품을 보여줄 수 있습니다.
- 충분히 볼 수 없어 결정할 수 없을 때는
cannot_tell로 답하십시오. 이는 1점을 획득하며, 결코 2점을 얻지 못합니다. 따라서 답변할 수 없는 제품 충실도 질문은 Verified를 차단합니다: 추측으로는 사진이 Verified될 수 없습니다. - A에 나타나는 손, 마네킹 및 소품은 제품의 일부가 아닙니다. 이들이 B에 나타나면
LEAK_HAND_MANNEQUIN입니다. - 인쇄된 텍스트는 문자 단위로 확인됩니다. 횡설수설한 작은 인쇄물은
TEXT_GARBLE이고, 잘못된 큰 단어나 로고는TEXT_WRONG입니다. - 하나의 검토는 하나의 사진을 판단합니다. 여러 장의 사진에 대해서는 각각 검토하고 나란히 보고하십시오.
한계
모델 리뷰어는 사람이 아닙니다. 우리의 소규모 테스트에서 두 모델 리뷰어는 사진의 39%에 대해서만 서로 일치했습니다. 이것이 질문이 고정되고, 점수가 코드로 계산되며, 텍스트 규칙이 존재하는 이유입니다. 점수표를 빠른 1차 선별(screen)으로 취급하고, 게시하기 전에 직접 사진을 살펴보십시오.
루브릭 버전 1.0-draft. 소스 및 전체 벤치마크: https://github.com/molly554/onmodel