비디오 관찰은(는) 무엇을 하나요?
기존 어시스턴트가 일반 관객이 볼 수 있는 공연을 이해하도록 도와주세요: 누가 누구 또는 무엇에 주목하는지, 그들이 무엇을 하거나 말하는지, 신체가 어떻게 반응하는지, 그리고 파트너가 어떻게 답하는지. 광범위한 연기 질문을 안면 근육, 골격 또는 정밀한 시선 측정으로 전환하지 마십시오.
사용자의 언어로 응답하고 요청된 범위를 유지하십시오. 명령어, 증거 처리 및 핸드오프에 대해서는 이미지 관찰 워크플로우를 읽으십시오. 그 CPU 도구는 이러한 종속성을 사용하며, 모델 가중치나 클라우드 API가 없습니다. 대화가 이야기 의미나 반응 신호를 전달할 수 있는 경우, 대화 워크플로우도 읽으십시오: 선택적 로컬 ASR 또는 가져온 트랜스크립트가 동일한 소스 타임라인을 지원하지만, 듣기 인증이나 보이는 캐릭터 식별을 보장하지 않습니다.
설명하기 전에 관찰하십시오
- 샷을 살펴보십시오. 어떤 순간이 중요한지 결정하기 전에 개요 이미지를 검사하십시오. 자동 컷 경계는 감지된 농담이나 보장된 장면 경계가 아니라 탐색 후보입니다. 개요 자세는 그 사이의 모든 동작을 확립하지 않습니다.
- 질문으로 돌아가십시오. 턴, 중단된 동작 또는 파트너 응답이 불분명한 경우, 그 주변의 짧은 윈도우를 요청하십시오. 초당 기본 4프레임으로 시작하십시오; 질문이 필요할 때만 샘플링을 늘리거나 원본 프레임을 여십시오. 모든 순간을 철저히 확대하지 마십시오.
- 관계를 계속 확인하십시오. 유용한 클롭과 함께 전체 구도를 확인하십시오. 얼굴만으로는 주의 대상이 숨겨질 수 있습니다; 고립된 손은 파트너의 신호를 숨길 수 있습니다.
- 먼저 가시적 사실을 쓰십시오. 대략적인 방향, 접근 또는 후퇴, 동작 변화, 파트너 응답 및 결과를 설명하십시오. 신체/머리 방향, 읽을 수 있는 눈 방향 및 처리되는 대상을 분리하십시오. 명백한 주의 대상에 대해서는 조건부 언어를 사용하십시오; 읽을 수 없는 눈 방향은 장면의 나머지 부분을 차단하지 않고 알 수 없는 상태로 남을 수 있습니다.
- 중요한 불확실성을 확인하십시오. 독립적인 관찰자는 첫 번째 해석을 받기 전에 동일한 자료를 검사할 수 있습니다. 불일치를 사용하여 유용한 복귀 뷰를 선택하십시오. 어시스턴트 간의 일치가 절대적 진실은 아닙니다. 소스가 질문을 해결할 수 없을 때는 뷰 반복을 중단하십시오; 불확실성을 유지하고 유용한 작업을 계속하십시오.
참조 재현을 위해 대화가 존재하는지와 실제로 어떤 범위가 얻어졌는지 확인하십시오. 대화 워크플로우를 사용하여 중요한 대사를 발화자, 행동 및 청취자 응답에 연결하십시오. 오디오 트랙, 무음 ASR 결과 또는 자막 파일만으로는 장면에 대화가 없다는 것을 확립할 수 없습니다.
관찰을 현실로 만드십시오
도구는 이미지와 메타데이터를 내보냅니다. 경로, 성공 메시지, 프레임 수, 캡션 또는 완료된 디코드는 어시스턴트가 이미지를 보았다는 증거가 아닙니다. 호스트의 이미지 보기 도구로 관련 views[].image_path를 열거나 호스트로 반환된 실제 이미지 콘텐츠를 검사하십시오. 그런 다음 note를 사용하여 실제 뷰 ID를 기록하십시오.
호스트의 응답에서 누락되거나 폐기된 이미지가 있는지 확인하십시오. 배치가 잘린 경우, 기록하기 전에 작은 배치로 누락된 뷰를 다시 여십시오. 이미지 출력이 모델에 도달하지 않은 경우 이미지 도구를 호출하는 것만으로는 충분하지 않습니다.
관찰, 해석 및 열린 질문을 구별하십시오. 진술을 제공된 소스 버전과 시청된 프레임에 바인딩하십시오. 샘플링 간격은 여전히 간격으로 남습니다; 몇 프레임에서 응답이 보이지 않는다고 해서 응답이 발생하지 않았음을 증명하지는 않습니다.
정적 시퀀스는 자세와 가시적 순서를 지원합니다. 실시간 코믹 리듬이나 청각적 품질을 확립하지는 않습니다. 재생이나 듣기를 주장하기보다는 이러한 한계를 기록하십시오. 호스트가 사용할 수 있는 작업을 완료하고, 일상적인 샷별 사용자 확인을 종속성으로 만들지 마십시오.
확인된 광범위한 동작과 해결되지 않은 세부 사항을 사용자의 적응, 샷 계획 또는 검토 워크플로우에 전달하십시오. performance-direction이 이미 사용 가능한 경우, 그 이벤트 카드가 이러한 관찰을 소비할 수 있습니다; 이 스킬은 그 또는 특정 프로덕션 백엔드를 필요로 하지 않습니다.
번들 도구는 모델 API 요청을 하지 않습니다; 이미지 관찰 및 트랜스크립트 가져오기에는 음성 모델이 필요하지 않습니다. 선택적 전사에는 별도로 준비된 로컬 모델 파일과 음성 확장이 필요합니다. 클라우드 서비스를 자동으로 대체하지 않습니다. 추가 클라우드 검토는 외부적입니다: 작업의 권한 내에서만 사용하고, 추가 API 비용이 필요하지 않은 경우, 실제 프로젝트/모델이 무료 티어인지 확인한 후에만 사용하십시오. 무료 웹사이트나 확인되지 않은 키는 무료 API의 증거가 아닙니다. 서비스나 할당량을 사용할 수 없는 경우 로컬 이미지/가져오기 워크플로우는 계속 사용 가능합니다.
소스 출처 및 제한 사항: 소스.