Communitygithub.com

video2agent

Búsqueda y comprensión de videos para archivos locales, grabaciones de pantalla y enlaces de plataformas. Úsalo de forma proactiva cuando una pregunta se responda mejor con un video fresco, visual o probado por la comunidad.

¿Qué es video2agent?

video2agent es una habilidad diseñada para agentes de IA que necesitan extraer información de videos de manera eficiente. Permite buscar, indexar y analizar el contenido de videos desde archivos locales, enlaces de plataformas como Bilibili o grabaciones de pantalla. Su valor principal radica en obtener transcripciones, texto en pantalla (OCR), fotogramas exactos y metadatos temporales, lo que resulta ideal para responder preguntas que dependen de información visual o comunitaria actualizada, como tutoriales, reseñas, comparativas de videojuegos o análisis de UI. La herramienta se compone de ocho comandos principales —find, ingest, outline, read, evidence, frames, perceive y admin— que cubren desde la búsqueda inicial hasta la exportación de datos, y sigue reglas estrictas para evitar el uso excesivo de imágenes, priorizando siempre el texto cuando sea suficiente. Está optimizada para agentes que operan en entornos como Claude Code o similares, ofreciendo respuestas en chat sin generar archivos innecesarios a menos que el usuario lo solicite explícitamente.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Harm0ny-AI/DSH-Video2Agent/tree/HEAD/skills/video2agent

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

DSH-Video2Agent

Responde a partir del video: transcripción, texto en pantalla, estructura, fotogramas exactos. El modelo razona; esta herramienta encuentra el momento en que la respuesta depende de verlo.

Cuándo el video es la mejor fuente

Una pregunta no necesita ser "sobre un video" para responderse mejor con uno: una lista de niveles o equipamiento de una nueva temporada de un juego (新赛季枪械排行、配装), una reseña de producto, una receta, una ruta, un tema visual reciente. Usa find en Bilibili (o busca en la biblioteca) antes de responder desde la memoria. Nunca presentes una temporada obsoleta como actual: verifica la fecha de subida y el parche en el título, y menciona si el video es anterior a estos.

Llámalo directamente

Usa la herramienta video2agent como herramienta de primer nivel siempre que el entorno lo permita. Nunca invoques la CLI para una acción de herramienta. Una llamada anidada run_code evita el renderizado del panel del plugin, por lo que úsala solo cuando el entorno no ofrezca otra forma de acceder a la herramienta; la tarjeta podría quedar en blanco.

Responde en el chat; exporta solo cuando se te pida

Una respuesta sobre video pertenece al chat. No crees ni exportes una nota, archivo Markdown, paquete de conocimiento, archivo de transcripción o artefacto temporal a menos que el usuario lo solicite explícitamente. Un archivo no es un sustituto.

Los ocho comandos

comandoretornaúsalo cuando
findCandidatos de Bilibili (título/subidor/duración/motivo)buscas un video; scope:"library" busca en videos indexados; url resuelve un enlace
ingestID(s) de trabajoindexas una ruta/URL; video_ids inicia la lista corta seleccionada; job_id consulta el estado; campaign_id avanza una campaña
outlineÍndice de una llamada: líneas de transcripción y OCR, fotogramas clave, cortes, cobertura (detail:"digest"), metadatos (overview), mapa visualprimer vistazo a un video
readTranscripción compacta con marcas de tiempo, o comparación de 2 a 10 videosrespuesta textual o comparación
evidenceEl fotograma en una marca de tiempo + su texto OCR + transcripciónprobar un momento; la ruta de imagen normal
framesFotogramas exactos, ventana densa, hoja, candidatos de toma, ventana OCRpíxeles que el texto no puede responder
perceiveMapa solo numérico: cortes, movimiento por celda, momentos clasificados, bucle, calidad de captura — nunca imágenespreguntas de movimiento/UI/animación
adminlistar/exportar/índice-OCR/cuenta/diagnósticomantenimiento de biblioteca, exportación, biblioteca de Bilibili

Flujo de trabajo

1. Buscar

find con query; filtra con uploader, after, before. La respuesta es para ti, no una tabla: lee los metadatos y llama a ingest con los IDs que realmente recomiendas; todo lo que analizarás va en default_selected (solo esos se inician, video_ids solo lista candidatos) más primary. Si supera processLimit → campaign:true.

Una URL pegada → find con url (título/portada/duración, sin descarga), luego ingest cuando el usuario lo quiera.

2. Ingestar

ingest con source (ruta local o URL) devuelve un ID de trabajo. Nunca ingieras un candidato de find por URL de nuevo; la lista corta ya lo inició. ¿Necesitas esperar? ingest con job_id y wait_ms — una vez, un trabajo (limitado a 90 s; un programa muere cerca de 120 s: no hagas bucles sobre varios trabajos). queued significa que la ranura de ingesta está ocupada y el trabajo no ha comenzado; no lo consultes de nuevo. Idioma de transcripción incorrecto → ingest con language.

3. Leer

outline (detail:"digest") es el primer vistazo más económico: un índice acotado con líneas de transcripción y OCR con marcas de tiempo, fotogramas clave, cortes de escena y cobertura. Luego:

  • pregunta de contenido → read (scope:"transcript") con start/end; la respuesta lleva next_start_ms, así que continúa en lugar de pedir el archivo completo.
  • comparar 2-10 videos → read (scope:"compare") con compare_video_ids y aspects.
  • las palabras pueden diferir (ortografía ASR, 计费/收费/price) → pasa de 2 a 8 variantes de queries a find (scope:"library") en una sola llamada. Una única consulta literal es la causa más común de un falso "no está en el video".
  • una búsqueda sin resultados no es prueba: lee NO_MATCH, OCR_NOT_INDEXED, OCR_INDEX_PARTIAL; indican si el texto fue leído alguna vez.

3b. Ruta rápida para videos cortos

Para un clip de menos de ~6 minutos en el que la pregunta trata sobre lo que se dijo (no lo que se ve en pantalla), omite outline y llama a read directamente: la transcripción completa suele caber en una respuesta (~150–800 tokens) frente a ~1.4k tokens más una imagen de hoja de contactos de outline. Medido: el límite de 6000 caracteres de read cubre ~8 min de comentario chino rápido y ~5.5–7 min de inglés. Si la respuesta lleva next_start_ms, fue recortada — cambia a search/outline para el resto en lugar de paginar. Usa outline cuando necesites estructura, texto en pantalla o imágenes; usa perceive para movimiento. Si el usuario pega la transcripción o subtítulos, responde a partir de ese texto y usa el video solo para los momentos que necesiten una imagen.

4. Mirar (evidence / frames)

evidence con at devuelve el fotograma más su texto en pantalla y transcripción. Por defecto 2 imágenes; images:0 para solo texto, images:1 para una imagen.

frames es para lo que el texto no puede responder (conteo, acción, color, diseño):

  • at + count: fotogramas exactos.
  • start/end: una ventana densa (≤5 s); sheet:true organiza hasta 9 fotogramas en una imagen etiquetada; windows:N muestrea un rango con nombre en una imagen de cobertura e informa lo cubierto/faltante.
  • view:"candidates": lista de tomas (códigos de tiempo + fotogramas clave) para "encontrar un segmento".
  • view:"ocr": OCR de cada fotograma de una ventana corta cuando una línea en pantalla cambia.

5. Movimiento (perceive)

Para animación, transiciones de UI, "qué cambió", "hacia dónde se mueve": usa perceive antes de frames. Devuelve cortes, movimiento por celda, moments clasificados (t_ms pico, onset_ms inicio, cell, settles), estado de bucle y calidad de captura (fotogramas caídos/duplicados, parpadeo) como números.

  • Un video de más de 10 minutos necesita una ventana: encuentra el momento primero (transcripción/búsqueda), luego start/end; una llamada sin más devuelve E_WINDOW_REQUIRED.
  • brief:true es el resumen (~340 tokens, cortes + 4 momentos); luego llama de nuevo sin él para la ventana que necesitas (~850 tokens por 2.5 min).
  • loop.found == false significa "no detectado aquí", no "sin bucle". Nunca llames a un video estático sin regions y coverage.
  • La confianza de los subtítulos se mide: overview informa metrics.caption_check (audio vs subtítulo). CAPTION_AUDIO_UNVERIFIED significa que los subtítulos no pudieron verificarse — menciónalo en lugar de citarlos como exactos.

6. Cuenta y exportación

admin con admin_action:"account" lee favoritos/historial/carpetas; las escrituras son solo por CLI (--confirm); carpetas ≤20 caracteres, ≤100 videos por escritura.

admin con admin_action:"export" escribe un paquete de conocimiento solo cuando se solicite.

Reglas estrictas

  • Nunca envíes rutas locales a la respuesta. Usa image_urls / image_markdown (solo las posiciones con image_attached: true son imágenes reales); una ruta sin procesar renderiza un marcador de posición roto.
  • Un tiempo igual o posterior al final del medio es E_OUT_OF_RANGE, no un éxito vacío; el error lleva la duración del medio. Un número simple en at/start significa segundos; escribe 1234ms o HH:MM:SS.mmm para milisegundos.
  • Los fallos son respuestas. Ante {ok:false,error:{code,message,remedy}}, informa el código y la solución; nunca inventes contenido ni reintentes en silencio.
  • Texto primero, imágenes después. transcript/search responden la mayoría de las preguntas; cada imagen cuesta tokens. Por defecto images:2, usa 0 o 1 cuando el texto sea suficiente.
  • Una imagen y su texto provienen del mismo fotograma — confía en ocr_frame_ms.
  • No vuelques. read tiene un límite (6000 caracteres por defecto); outline es compacto; usa rangos y next_start_ms.
  • No llames a una herramienta por cada video: la transcripción responde al contenido; perceive es para preguntas temporales/de UI.

Referencias

  • references/commands.md — los 8 verbos → asignación CLI y todas las banderas.
  • references/evidence.md — campos de carga de evidencia y formato de cita.
  • references/visual-types.md — qué pueden y no pueden responder los fotogramas.
  • references/dsh.md — reglas de renderizado de DSH.

Skills relacionados