Communitygithub.com

video2agent

로컬 파일, 화면 녹화, 플랫폼 링크에 대한 비디오 검색 및 이해. 게임 시즌/패치 티어 목록, 로드아웃, 제품 리뷰, 레시피, 여행, 속보 주제와 같은 질문에 비디오가 더 나은 답변을 제공할 때, 또는 프런트엔드/UI QA, 튜토리얼, 작업/학습/생활 관련 정보에서 능동적으로 사용합니다.

video2agent란 무엇인가요?

DSH-Video2Agent는 에이전트가 비디오 콘텐츠를 검색, 수집 및 분석할 수 있게 해주는 도구 모음입니다. Claude Code, Cursor, Codex와 같은 에이전트 플랫폼을 위해 설계되었으며, 로컬 파일, 화면 녹화, Bilibili와 같은 플랫폼 링크를 지원합니다. 이 도구는 질문이 텍스트보다 비디오 시각적 정보(예: 게임 티어 목록, 제품 리뷰, 요리법, 튜토리얼, 프런트엔드 QA)에 더 잘 의존할 때 'find', 'ingest', 'read', 'evidence', 'frames', 'perceive', 'outline', 'admin'과 같은 8가지 명령을 제공합니다. workflow는 일반적으로 'find'로 시작하여 관련 비디오를 검색하고, 'ingest'로 인덱싱하며, 'outline'으로 빠르게 개요를 확인한 후, 'read'로 자막을 읽거나 'evidence'/'frames'로 정확한 프레임을 추출합니다. 'perceive'는 애니메이션, UI 전환, 움직임 감지에 사용됩니다. 중요한 규칙으로는 로컬 경로를 답변에 포함하지 말고, 텍스트를 우선 사용하며, 이미지를 절약하고, 오류 시 코드와 해결 방법을 보고해야 합니다. 이 도구는 비디오가 텍스트보다 더 풍부한 답변을 제공하는 모든 상황에서 능동적으로 사용하도록 설계되었습니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Harm0ny-AI/DSH-Video2Agent/tree/HEAD/skills/video2agent

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

DSH-Video2Agent

비디오에서 답을 찾으세요: 자막, 화면 텍스트, 구조, 정확한 프레임. 모델이 추론을 수행하고, 이 도구는 답변이 실제로 보는 것에 의존하는 순간을 찾아냅니다.

비디오가 더 나은 출처인 경우

질문이 '비디오에 관한 것'일 필요는 없습니다. 게임의 새 시즌 티어 목록이나 로드아웃 (新赛季枪械排行、配装), 제품 리뷰, 요리법, 경로, 시각적으로 중요한 속보 주제와 같은 경우가 그렇습니다. 기억에 의존하여 답변하기 전에 Bilibili에서 find를 호출하거나 라이브러리를 검색하세요. 오래된 시즌을 현재 시즌으로 제시하지 마세요: 업로드 날짜와 제목의 패치를 확인하고, 비디오가 그보다 오래된 경우 명시하세요.

직접 호출

허니스가 허용하는 경우 video2agent 도구를 최상위 도구로 직접 호출하세요. 절대 CLI를 통해 도구 동작을 실행하지 마세요. 중첩된 run_code 호출은 플러그인의 도크 렌더링을 우회하므로, 허니스가 도구에 도달할 다른 방법이 없는 경우에만 사용하세요; 카드가 비어 있을 수 있습니다.

채팅으로 답변; 요청 시에만 내보내기

비디오 답변은 채팅에 속합니다. 사용자가 요청하지 않는 한 노트, Markdown 파일, 지식 팩, 자막 파일 또는 임시 아티팩트를 만들거나 내보내지 마세요. 파일은 대체물이 아닙니다.

여덟 가지 명령

명령반환값사용 시기
findBilibili 후보 (제목/업로더/길이/이유)비디오 검색; scope:"library"는 인덱싱된 비디오 검색; url은 하나의 링크 해석
ingest작업 ID경로/URL 인덱싱; video_ids는 선택된 후보 목록 시작; job_id는 폴링; campaign_id는 캠페인 진행
outline한 번 호출로 인덱스 제공: 자막/OCR 줄, 키프레임, 컷, 커버리지 (detail:"digest"), 메타데이터 (overview), 시각적 맵비디오 첫 확인
read간결한 타임스탬프 자막 또는 2-10개 비디오 비교텍스트 답변 또는 비교
evidence타임스탬프의 프레임 + OCR 텍스트 + 자막순간 증명; 일반 이미지 경로
frames정확한 프레임, 밀집 창, 시트, 샷 후보, OCR 창텍스트로 답할 수 없는 픽셀
perceive숫자 전용 맵: 컷, 셀별 움직임, 순위별 순간, 루프, 캡처 품질 — 이미지 없음움직임/UI/애니메이션 질문
admin목록/내보내기/ocr-인덱스/계정/진단라이브러리 유지보수, 내보내기, Bilibili 라이브러리

Workflow

1. 찾기

query로 find; uploader, after, before로 필터링. 응답은 당신을 위한 것이지, 표가 아닙니다: 메타데이터를 읽고 실제로 추천하는 ID로 ingest를 호출하세요; 분석할 모든 항목은 default_selected (해당 항목만 시작, video_ids는 단지 후보를 나열) 및 primary에 넣으세요. processLimit 초과 시 → campaign:true.

붙여넣은 URL → url로 find (제목/커버/길이, 다운로드 없음), 사용자가 원하면 ingest.

2. 수집

source (로컬 경로 또는 URL)로 ingest하면 작업 ID가 반환됩니다. 한 번 찾은 후보를 URL로 다시 수집하지 마세요; 후보 목록이 이미 시작했습니다. 기다려야 합니까? job_id와 wait_ms로 ingest — 한 번, 하나의 작업 (최대 90초; 프로그램은 약 120초에 종료됨: 여러 작업에 대한 루프 금지). queued = 수집 슬롯이 사용 중이고 작업이 아직 시작되지 않음; 다시 폴링하지 마세요. 잘못된 자막 언어 → language로 ingest.

3. 읽기

outline (detail:"digest")은 가장 저렴한 첫 확인입니다: 타임스탬프 자막/OCR 줄, 키프레임, 장면 컷 및 커버리지가 포함된 제한된 인덱스. 그 다음:

  • 내용 질문 → start/end로 read (scope:"transcript"); 응답에는 next_start_ms가 포함되므로 전체 파일을 요청하지 말고 계속하세요.
  • 2-10개 비디오 비교 → compare_video_ids와 aspects로 read (scope:"compare").
  • 단어가 다를 수 있음 (ASR 철자, 计费/收费/价格) → 한 번 호출로 find (scope:"library")에 2-8개의 queries 변형 전달. 단일 리터럴 쿼리는 "비디오에 없음"이라는 잘못된 결과의 가장 흔한 원인입니다.
  • 검색 결과 0건은 증거가 아닙니다: NO_MATCH, OCR_NOT_INDEXED, OCR_INDEX_PARTIAL을 읽으세요; 텍스트가 읽혔는지 여부를 알려줍니다.

3b. 짧은 비디오 빠른 경로

약 6분 미만의 클립으로 말한 내용(화면에 있는 내용이 아님)에 대한 질문인 경우 outline을 건너뛰고 read를 직접 호출하세요: 전체 자막이 일반적으로 하나의 응답에 맞습니다 (~150-800 토큰) 반면 outline은 접촉 시트 이미지와 함께 약 1.4k 토큰이 필요합니다. 측정된 결과: 6,000자 read 상한은 약 8분의 빠른 중국어 해설과 약 5.5-7분의 영어를 커버합니다. 응답에 next_start_ms가 있으면 잘린 것입니다 — 나머지 부분은 페이지를 넘기지 말고 search/outline으로 전환하세요. 구조, 화면 텍스트 또는 시각 자료가 필요하면 outline을 사용하고; 움직임이 필요하면 perceive를 사용하세요. 사용자가 직접 자막을 붙여넣으면 해당 텍스트에서 답변하고 그림이 필요한 순간에만 비디오를 사용하세요.

4. 보기 (evidence / frames)

at으로 evidence는 프레임과 화면 텍스트 및 자막을 반환합니다. 기본 이미지 2개; images:0은 텍스트 전용, images:1은 한 장의 사진.

frames는 텍스트로 답할 수 없는 내용(세기, 동작, 색상, 레이아웃)을 위한 것입니다:

  • at + count: 정확한 프레임.
  • start/end: 밀집 창 (≤5초); sheet:true는 최대 9개의 프레임을 하나의 레이블이 지정된 이미지로 타일링; windows:N은 명명된 범위를 하나의 커버리지 이미지로 샘플링하고 커버/누락 보고.
  • view:"candidates": 샷 목록 (시간 코드 + 키프레임) "하나의 세그먼트 찾기"용.
  • view:"ocr": 화면 줄이 변경될 때 짧은 창의 모든 프레임에 대해 OCR 수행.

5. 움직임 (perceive)

애니메이션, UI 전환, "무엇이 바뀌었는지", "어디로 움직이는지"에 대해: 프레임보다 먼저 perceive를 사용하세요. 컷, 셀별 움직임, 순위별 moments (t_ms 피크, onset_ms 시작, cell, settles), 루프 상태, 캡처 품질 (드롭/중복 프레임, 깜빡임)을 숫자로 반환합니다.

  • 10분보다 긴 비디오는 창이 필요합니다: 먼저 순간 찾기 (자막/검색), 그 다음 start/end; 빈 호출은 E_WINDOW_REQUIRED를 반환합니다.
  • brief:true는 설문조사입니다 (~340 토큰, 컷 + 4개 순간); 그런 다음 필요에 따라 창 없이 다시 호출 (~2.5분에 ~850 토큰).
  • loop.found == false는 "여기서 감지되지 않음"을 의미하며, "루프 없음"이 아닙니다. regions와 coverage 없이 비디오를 정적이라고 부르지 마세요.
  • 자막 신뢰도는 측정됩니다: overview는 metrics.caption_check (오디오 대 자막)를 보고합니다. CAPTION_AUDIO_UNVERIFIED는 자막을 확인할 수 없음을 의미합니다 — 정확한 인용 대신 그렇게 말하세요.

6. 계정 및 내보내기

admin with admin_action:"account"는 즐겨찾기/기록/폴더를 읽습니다; 쓰기는 CLI 전용 (--confirm); 폴더는 20자 이하, 쓰기당 100개 이하의 비디오.

admin with admin_action:"export"는 요청 시에만 지식 팩을 작성합니다.

엄격한 규칙

  • 로컬 경로를 답변에 절대 보내지 마세요. image_urls / image_markdown을 사용하세요 (오직 image_attached: true 위치만 실제 이미지입니다); 원시 경로는 깨진 플레이스홀더를 렌더링합니다.
  • **미디어 끝에 있거나 지난 시간은 E_OUT_OF_RANGE**이며, 빈 성공이 아닙니다; 오류는 미디어 길이를 포함합니다. at/start의 숫자는 초를 의미합니다; 밀리초의 경우 1234ms 또는 HH:MM:SS.mmm로 작성하세요.
  • 실패는 답변입니다. {ok:false,error:{code,message,remedy}}의 경우, 코드와 해결 방법을 보고하세요; 내용을 조작하거나 조용히 재시도하지 마세요.
  • 텍스트 우선, 이미지는 그 다음. transcript/search는 대부분의 질문에 답합니다; 모든 이미지는 토큰을 소모합니다. 기본 images:2, 텍스트로 충분하면 0 또는 1을 사용하세요.
  • 그림과 그 텍스트는 같은 프레임에서 가져옵니다 — ocr_frame_ms를 신뢰하세요.
  • 덤프하지 마세요. read는 제한됨 (기본 6000자); outline은 간결함; 범위와 next_start_ms를 사용하세요.
  • 모든 비디오에 대해 도구를 호출하지 마세요: 자막이 내용에 답합니다; perceive는 시간적/UI 질문을 위한 것입니다.

참고

  • references/commands.md — 8개 동사 → CLI 매핑 및 모든 플래그.
  • references/evidence.md — 증거 페이로드 필드 및 인용 형식.
  • references/visual-types.md — 프레임이 답할 수 있는 것과 없는 것.
  • references/dsh.md — DSH 렌더링 규칙.

관련 스킬