DSH-Video2Agent
비디오에서 답을 찾으세요: 자막, 화면 텍스트, 구조, 정확한 프레임. 모델이 추론을 수행하고, 이 도구는 답변이 실제로 보는 것에 의존하는 순간을 찾아냅니다.
비디오가 더 나은 출처인 경우
질문이 '비디오에 관한 것'일 필요는 없습니다. 게임의 새 시즌 티어 목록이나 로드아웃 (新赛季枪械排行、配装), 제품 리뷰, 요리법, 경로, 시각적으로 중요한 속보 주제와 같은 경우가 그렇습니다. 기억에 의존하여 답변하기 전에 Bilibili에서 find를 호출하거나 라이브러리를 검색하세요. 오래된 시즌을 현재 시즌으로 제시하지 마세요: 업로드 날짜와 제목의 패치를 확인하고, 비디오가 그보다 오래된 경우 명시하세요.
직접 호출
허니스가 허용하는 경우 video2agent 도구를 최상위 도구로 직접 호출하세요. 절대 CLI를 통해 도구 동작을 실행하지 마세요. 중첩된 run_code 호출은 플러그인의 도크 렌더링을 우회하므로, 허니스가 도구에 도달할 다른 방법이 없는 경우에만 사용하세요; 카드가 비어 있을 수 있습니다.
채팅으로 답변; 요청 시에만 내보내기
비디오 답변은 채팅에 속합니다. 사용자가 요청하지 않는 한 노트, Markdown 파일, 지식 팩, 자막 파일 또는 임시 아티팩트를 만들거나 내보내지 마세요. 파일은 대체물이 아닙니다.
여덟 가지 명령
| 명령 | 반환값 | 사용 시기 |
|---|---|---|
find | Bilibili 후보 (제목/업로더/길이/이유) | 비디오 검색; scope:"library"는 인덱싱된 비디오 검색; url은 하나의 링크 해석 |
ingest | 작업 ID | 경로/URL 인덱싱; video_ids는 선택된 후보 목록 시작; job_id는 폴링; campaign_id는 캠페인 진행 |
outline | 한 번 호출로 인덱스 제공: 자막/OCR 줄, 키프레임, 컷, 커버리지 (detail:"digest"), 메타데이터 (overview), 시각적 맵 | 비디오 첫 확인 |
read | 간결한 타임스탬프 자막 또는 2-10개 비디오 비교 | 텍스트 답변 또는 비교 |
evidence | 타임스탬프의 프레임 + OCR 텍스트 + 자막 | 순간 증명; 일반 이미지 경로 |
frames | 정확한 프레임, 밀집 창, 시트, 샷 후보, OCR 창 | 텍스트로 답할 수 없는 픽셀 |
perceive | 숫자 전용 맵: 컷, 셀별 움직임, 순위별 순간, 루프, 캡처 품질 — 이미지 없음 | 움직임/UI/애니메이션 질문 |
admin | 목록/내보내기/ocr-인덱스/계정/진단 | 라이브러리 유지보수, 내보내기, Bilibili 라이브러리 |
Workflow
1. 찾기
query로 find; uploader, after, before로 필터링. 응답은 당신을 위한 것이지, 표가 아닙니다: 메타데이터를 읽고 실제로 추천하는 ID로 ingest를 호출하세요; 분석할 모든 항목은 default_selected (해당 항목만 시작, video_ids는 단지 후보를 나열) 및 primary에 넣으세요. processLimit 초과 시 → campaign:true.
붙여넣은 URL → url로 find (제목/커버/길이, 다운로드 없음), 사용자가 원하면 ingest.
2. 수집
source (로컬 경로 또는 URL)로 ingest하면 작업 ID가 반환됩니다. 한 번 찾은 후보를 URL로 다시 수집하지 마세요; 후보 목록이 이미 시작했습니다. 기다려야 합니까? job_id와 wait_ms로 ingest — 한 번, 하나의 작업 (최대 90초; 프로그램은 약 120초에 종료됨: 여러 작업에 대한 루프 금지). queued = 수집 슬롯이 사용 중이고 작업이 아직 시작되지 않음; 다시 폴링하지 마세요. 잘못된 자막 언어 → language로 ingest.
3. 읽기
outline (detail:"digest")은 가장 저렴한 첫 확인입니다: 타임스탬프 자막/OCR 줄, 키프레임, 장면 컷 및 커버리지가 포함된 제한된 인덱스. 그 다음:
- 내용 질문 →
start/end로read(scope:"transcript"); 응답에는next_start_ms가 포함되므로 전체 파일을 요청하지 말고 계속하세요. - 2-10개 비디오 비교 →
compare_video_ids와aspects로read(scope:"compare"). - 단어가 다를 수 있음 (ASR 철자, 计费/收费/价格) → 한 번 호출로
find(scope:"library")에 2-8개의queries변형 전달. 단일 리터럴 쿼리는 "비디오에 없음"이라는 잘못된 결과의 가장 흔한 원인입니다. - 검색 결과 0건은 증거가 아닙니다:
NO_MATCH,OCR_NOT_INDEXED,OCR_INDEX_PARTIAL을 읽으세요; 텍스트가 읽혔는지 여부를 알려줍니다.
3b. 짧은 비디오 빠른 경로
약 6분 미만의 클립으로 말한 내용(화면에 있는 내용이 아님)에 대한 질문인 경우 outline을 건너뛰고 read를 직접 호출하세요: 전체 자막이 일반적으로 하나의 응답에 맞습니다 (~150-800 토큰) 반면 outline은 접촉 시트 이미지와 함께 약 1.4k 토큰이 필요합니다. 측정된 결과: 6,000자 read 상한은 약 8분의 빠른 중국어 해설과 약 5.5-7분의 영어를 커버합니다. 응답에 next_start_ms가 있으면 잘린 것입니다 — 나머지 부분은 페이지를 넘기지 말고 search/outline으로 전환하세요. 구조, 화면 텍스트 또는 시각 자료가 필요하면 outline을 사용하고; 움직임이 필요하면 perceive를 사용하세요. 사용자가 직접 자막을 붙여넣으면 해당 텍스트에서 답변하고 그림이 필요한 순간에만 비디오를 사용하세요.
4. 보기 (evidence / frames)
at으로 evidence는 프레임과 화면 텍스트 및 자막을 반환합니다. 기본 이미지 2개; images:0은 텍스트 전용, images:1은 한 장의 사진.
frames는 텍스트로 답할 수 없는 내용(세기, 동작, 색상, 레이아웃)을 위한 것입니다:
at+count: 정확한 프레임.start/end: 밀집 창 (≤5초);sheet:true는 최대 9개의 프레임을 하나의 레이블이 지정된 이미지로 타일링;windows:N은 명명된 범위를 하나의 커버리지 이미지로 샘플링하고 커버/누락 보고.view:"candidates": 샷 목록 (시간 코드 + 키프레임) "하나의 세그먼트 찾기"용.view:"ocr": 화면 줄이 변경될 때 짧은 창의 모든 프레임에 대해 OCR 수행.
5. 움직임 (perceive)
애니메이션, UI 전환, "무엇이 바뀌었는지", "어디로 움직이는지"에 대해: 프레임보다 먼저 perceive를 사용하세요. 컷, 셀별 움직임, 순위별 moments (t_ms 피크, onset_ms 시작, cell, settles), 루프 상태, 캡처 품질 (드롭/중복 프레임, 깜빡임)을 숫자로 반환합니다.
- 10분보다 긴 비디오는 창이 필요합니다: 먼저 순간 찾기 (자막/검색), 그 다음
start/end; 빈 호출은E_WINDOW_REQUIRED를 반환합니다. brief:true는 설문조사입니다 (~340 토큰, 컷 + 4개 순간); 그런 다음 필요에 따라 창 없이 다시 호출 (~2.5분에 ~850 토큰).loop.found == false는 "여기서 감지되지 않음"을 의미하며, "루프 없음"이 아닙니다.regions와coverage없이 비디오를 정적이라고 부르지 마세요.- 자막 신뢰도는 측정됩니다:
overview는metrics.caption_check(오디오 대 자막)를 보고합니다.CAPTION_AUDIO_UNVERIFIED는 자막을 확인할 수 없음을 의미합니다 — 정확한 인용 대신 그렇게 말하세요.
6. 계정 및 내보내기
admin with admin_action:"account"는 즐겨찾기/기록/폴더를 읽습니다; 쓰기는 CLI 전용 (--confirm); 폴더는 20자 이하, 쓰기당 100개 이하의 비디오.
admin with admin_action:"export"는 요청 시에만 지식 팩을 작성합니다.
엄격한 규칙
- 로컬 경로를 답변에 절대 보내지 마세요.
image_urls/image_markdown을 사용하세요 (오직image_attached: true위치만 실제 이미지입니다); 원시 경로는 깨진 플레이스홀더를 렌더링합니다. - **미디어 끝에 있거나 지난 시간은
E_OUT_OF_RANGE**이며, 빈 성공이 아닙니다; 오류는 미디어 길이를 포함합니다.at/start의 숫자는 초를 의미합니다; 밀리초의 경우1234ms또는HH:MM:SS.mmm로 작성하세요. - 실패는 답변입니다.
{ok:false,error:{code,message,remedy}}의 경우, 코드와 해결 방법을 보고하세요; 내용을 조작하거나 조용히 재시도하지 마세요. - 텍스트 우선, 이미지는 그 다음.
transcript/search는 대부분의 질문에 답합니다; 모든 이미지는 토큰을 소모합니다. 기본images:2, 텍스트로 충분하면 0 또는 1을 사용하세요. - 그림과 그 텍스트는 같은 프레임에서 가져옵니다 —
ocr_frame_ms를 신뢰하세요. - 덤프하지 마세요.
read는 제한됨 (기본 6000자);outline은 간결함; 범위와next_start_ms를 사용하세요. - 모든 비디오에 대해 도구를 호출하지 마세요: 자막이 내용에 답합니다;
perceive는 시간적/UI 질문을 위한 것입니다.
참고
references/commands.md— 8개 동사 → CLI 매핑 및 모든 플래그.references/evidence.md— 증거 페이로드 필드 및 인용 형식.references/visual-types.md— 프레임이 답할 수 있는 것과 없는 것.references/dsh.md— DSH 렌더링 규칙.