DSH-Video2Agent
Responde a partir del video: transcripción, texto en pantalla, estructura, fotogramas exactos. El modelo razona; esta herramienta encuentra el momento en que la respuesta depende de verlo.
Cuándo el video es la mejor fuente
Una pregunta no necesita ser "sobre un video" para responderse mejor con uno: una lista de niveles o equipamiento de una nueva temporada de un juego (新赛季枪械排行、配装), una reseña de producto, una receta, una ruta, un tema visual reciente. Usa find en Bilibili (o busca en la biblioteca) antes de responder desde la memoria. Nunca presentes una temporada obsoleta como actual: verifica la fecha de subida y el parche en el título, y menciona si el video es anterior a estos.
Llámalo directamente
Usa la herramienta video2agent como herramienta de primer nivel siempre que el entorno lo permita. Nunca invoques la CLI para una acción de herramienta. Una llamada anidada run_code evita el renderizado del panel del plugin, por lo que úsala solo cuando el entorno no ofrezca otra forma de acceder a la herramienta; la tarjeta podría quedar en blanco.
Responde en el chat; exporta solo cuando se te pida
Una respuesta sobre video pertenece al chat. No crees ni exportes una nota, archivo Markdown, paquete de conocimiento, archivo de transcripción o artefacto temporal a menos que el usuario lo solicite explícitamente. Un archivo no es un sustituto.
Los ocho comandos
| comando | retorna | úsalo cuando |
|---|---|---|
find | Candidatos de Bilibili (título/subidor/duración/motivo) | buscas un video; scope:"library" busca en videos indexados; url resuelve un enlace |
ingest | ID(s) de trabajo | indexas una ruta/URL; video_ids inicia la lista corta seleccionada; job_id consulta el estado; campaign_id avanza una campaña |
outline | Índice de una llamada: líneas de transcripción y OCR, fotogramas clave, cortes, cobertura (detail:"digest"), metadatos (overview), mapa visual | primer vistazo a un video |
read | Transcripción compacta con marcas de tiempo, o comparación de 2 a 10 videos | respuesta textual o comparación |
evidence | El fotograma en una marca de tiempo + su texto OCR + transcripción | probar un momento; la ruta de imagen normal |
frames | Fotogramas exactos, ventana densa, hoja, candidatos de toma, ventana OCR | píxeles que el texto no puede responder |
perceive | Mapa solo numérico: cortes, movimiento por celda, momentos clasificados, bucle, calidad de captura — nunca imágenes | preguntas de movimiento/UI/animación |
admin | listar/exportar/índice-OCR/cuenta/diagnóstico | mantenimiento de biblioteca, exportación, biblioteca de Bilibili |
Flujo de trabajo
1. Buscar
find con query; filtra con uploader, after, before. La respuesta es para ti, no una tabla: lee los metadatos y llama a ingest con los IDs que realmente recomiendas; todo lo que analizarás va en default_selected (solo esos se inician, video_ids solo lista candidatos) más primary. Si supera processLimit → campaign:true.
Una URL pegada → find con url (título/portada/duración, sin descarga), luego ingest cuando el usuario lo quiera.
2. Ingestar
ingest con source (ruta local o URL) devuelve un ID de trabajo. Nunca ingieras un candidato de find por URL de nuevo; la lista corta ya lo inició. ¿Necesitas esperar? ingest con job_id y wait_ms — una vez, un trabajo (limitado a 90 s; un programa muere cerca de 120 s: no hagas bucles sobre varios trabajos). queued significa que la ranura de ingesta está ocupada y el trabajo no ha comenzado; no lo consultes de nuevo. Idioma de transcripción incorrecto → ingest con language.
3. Leer
outline (detail:"digest") es el primer vistazo más económico: un índice acotado con líneas de transcripción y OCR con marcas de tiempo, fotogramas clave, cortes de escena y cobertura. Luego:
- pregunta de contenido →
read(scope:"transcript") constart/end; la respuesta llevanext_start_ms, así que continúa en lugar de pedir el archivo completo. - comparar 2-10 videos →
read(scope:"compare") concompare_video_idsyaspects. - las palabras pueden diferir (ortografía ASR, 计费/收费/price) → pasa de 2 a 8 variantes de
queriesafind(scope:"library") en una sola llamada. Una única consulta literal es la causa más común de un falso "no está en el video". - una búsqueda sin resultados no es prueba: lee
NO_MATCH,OCR_NOT_INDEXED,OCR_INDEX_PARTIAL; indican si el texto fue leído alguna vez.
3b. Ruta rápida para videos cortos
Para un clip de menos de ~6 minutos en el que la pregunta trata sobre lo que se dijo (no lo que se ve en pantalla), omite outline y llama a read directamente: la transcripción completa suele caber en una respuesta (~150–800 tokens) frente a ~1.4k tokens más una imagen de hoja de contactos de outline. Medido: el límite de 6000 caracteres de read cubre ~8 min de comentario chino rápido y ~5.5–7 min de inglés. Si la respuesta lleva next_start_ms, fue recortada — cambia a search/outline para el resto en lugar de paginar. Usa outline cuando necesites estructura, texto en pantalla o imágenes; usa perceive para movimiento. Si el usuario pega la transcripción o subtítulos, responde a partir de ese texto y usa el video solo para los momentos que necesiten una imagen.
4. Mirar (evidence / frames)
evidence con at devuelve el fotograma más su texto en pantalla y transcripción. Por defecto 2 imágenes; images:0 para solo texto, images:1 para una imagen.
frames es para lo que el texto no puede responder (conteo, acción, color, diseño):
at+count: fotogramas exactos.start/end: una ventana densa (≤5 s);sheet:trueorganiza hasta 9 fotogramas en una imagen etiquetada;windows:Nmuestrea un rango con nombre en una imagen de cobertura e informa lo cubierto/faltante.view:"candidates": lista de tomas (códigos de tiempo + fotogramas clave) para "encontrar un segmento".view:"ocr": OCR de cada fotograma de una ventana corta cuando una línea en pantalla cambia.
5. Movimiento (perceive)
Para animación, transiciones de UI, "qué cambió", "hacia dónde se mueve": usa perceive antes de frames. Devuelve cortes, movimiento por celda, moments clasificados (t_ms pico, onset_ms inicio, cell, settles), estado de bucle y calidad de captura (fotogramas caídos/duplicados, parpadeo) como números.
- Un video de más de 10 minutos necesita una ventana: encuentra el momento primero (transcripción/búsqueda), luego
start/end; una llamada sin más devuelveE_WINDOW_REQUIRED. brief:truees el resumen (~340 tokens, cortes + 4 momentos); luego llama de nuevo sin él para la ventana que necesitas (~850 tokens por 2.5 min).loop.found == falsesignifica "no detectado aquí", no "sin bucle". Nunca llames a un video estático sinregionsycoverage.- La confianza de los subtítulos se mide:
overviewinformametrics.caption_check(audio vs subtítulo).CAPTION_AUDIO_UNVERIFIEDsignifica que los subtítulos no pudieron verificarse — menciónalo en lugar de citarlos como exactos.
6. Cuenta y exportación
admin con admin_action:"account" lee favoritos/historial/carpetas; las escrituras son solo por CLI (--confirm); carpetas ≤20 caracteres, ≤100 videos por escritura.
admin con admin_action:"export" escribe un paquete de conocimiento solo cuando se solicite.
Reglas estrictas
- Nunca envíes rutas locales a la respuesta. Usa
image_urls/image_markdown(solo las posiciones conimage_attached: trueson imágenes reales); una ruta sin procesar renderiza un marcador de posición roto. - Un tiempo igual o posterior al final del medio es
E_OUT_OF_RANGE, no un éxito vacío; el error lleva la duración del medio. Un número simple enat/startsignifica segundos; escribe1234msoHH:MM:SS.mmmpara milisegundos. - Los fallos son respuestas. Ante
{ok:false,error:{code,message,remedy}}, informa el código y la solución; nunca inventes contenido ni reintentes en silencio. - Texto primero, imágenes después.
transcript/searchresponden la mayoría de las preguntas; cada imagen cuesta tokens. Por defectoimages:2, usa 0 o 1 cuando el texto sea suficiente. - Una imagen y su texto provienen del mismo fotograma — confía en
ocr_frame_ms. - No vuelques.
readtiene un límite (6000 caracteres por defecto);outlinees compacto; usa rangos ynext_start_ms. - No llames a una herramienta por cada video: la transcripción responde al contenido;
perceivees para preguntas temporales/de UI.
Referencias
references/commands.md— los 8 verbos → asignación CLI y todas las banderas.references/evidence.md— campos de carga de evidencia y formato de cita.references/visual-types.md— qué pueden y no pueden responder los fotogramas.references/dsh.md— reglas de renderizado de DSH.