DSH-Video2Agent
Répondre à partir de la vidéo : transcription, texte à l'écran, structure, images exactes. Le modèle fait le raisonnement ; cet outil trouve le moment où la réponse dépend de ce que l'on voit.
Quand la vidéo est la meilleure source
Une question n'a pas besoin d'être "à propos d'une vidéo" pour qu'il soit préférable d'y répondre par une vidéo : une liste de niveaux ou un équipement pour une nouvelle saison de jeu (新赛季枪械排行、配装), un test de produit, une recette, un itinéraire, un sujet visuel d'actualité. Appelez find sur Bilibili (ou recherchez dans la bibliothèque) avant de répondre de mémoire. Ne présentez jamais une saison obsolète comme actuelle : vérifiez la date de téléchargement et la mise à jour dans le titre, et dites quand la vidéo est antérieure à cette mise à jour.
Appelez-le directement
Appelez l'outil video2agent comme un outil de premier niveau chaque fois que le harnais le permet. N'utilisez jamais le shell pour une action d'outil. Un appel run_code imbriqué contourne le rendu du dock du plugin, donc ne l'utilisez que lorsque le harnais n'offre pas d'autre moyen d'atteindre l'outil ; la carte peut rester vide.
Répondez dans le chat ; exportez uniquement sur demande
Une réponse vidéo appartient au chat. Ne créez ni n'exportez de note, fichier Markdown, pack de connaissances, fichier de transcription ou artefact temporaire, sauf si l'utilisateur demande ce fichier. Un fichier n'est pas un substitut.
Les huit commandes
| commande | retourne | à utiliser quand |
|---|---|---|
find | Candidats Bilibili (titre/uploader/durée/raison) | on cherche une vidéo ; scope:"library" recherche dans les vidéos indexées ; url résout un lien |
ingest | identifiant(s) de tâche | indexer un chemin/URL ; video_ids démarre la shortlist sélectionnée ; job_id interroge l'état ; campaign_id avance une campagne |
outline | index en un appel : lignes de transcription/OCR, images clés, coupures, couverture (detail:"digest"), métadonnées (overview), carte visuelle | premier aperçu d'une vidéo |
read | transcription horodatée compacte, ou comparaison de 2 à 10 vidéos | réponse textuelle ou comparaison |
evidence | l'image à un horodatage + son texte OCR + sa transcription | prouver un moment ; le chemin d'image normal |
frames | images exactes, fenêtre dense, feuille, candidats plans, fenêtre OCR | pixels que le texte ne peut pas répondre |
perceive | carte numérique uniquement : coupures, mouvement par cellule, moments classés, boucle, qualité de capture – jamais d'images | questions de mouvement/UI/animation |
admin | lister/exporter/index-ocr/compte/diagnostic | maintenance de la bibliothèque, export, bibliothèque Bilibili |
Workflow
1. Trouver
find avec query ; filtrer avec uploader, after, before. La réponse est pour vous, pas un tableau : lisez les métadonnées et appelez ingest avec les identifiants que vous recommandez réellement ; tout ce que vous allez analyser va dans default_selected (seuls ceux-ci démarrent, video_ids ne fait que lister les candidats) plus primary. Au-delà de processLimit → campaign:true.
Une URL collée → find avec url (titre/couverture/durée, pas de téléchargement), puis ingest une fois que l'utilisateur le souhaite.
2. Ingérer
ingest avec source (chemin local ou URL) renvoie un identifiant de tâche. N'ingérez jamais un candidat find à nouveau par URL ; la shortlist l'a déjà démarré. Besoin d'attendre ? ingest avec job_id et wait_ms – une fois, une seule tâche (plafonné à 90s ; un programme meurt vers 120s : pas de boucles sur plusieurs tâches). queued = le slot d'ingestion est occupé et la tâche n'a pas commencé ; ne l'interrogez pas à nouveau. Mauvaise langue de transcription → ingest avec language.
3. Lire
outline (detail:"digest") est le premier aperçu le moins coûteux : un index borné avec lignes de transcription/OCR horodatées, images clés, coupures de scène et couverture. Ensuite :
- question de contenu →
read(scope:"transcript") avecstart/end; la réponse contientnext_start_ms, donc continuez au lieu de demander tout le fichier. - comparer 2 à 10 vidéos →
read(scope:"compare") aveccompare_video_idsetaspects. - les mots peuvent différer (orthographes ASR, 计费/收费/price) → transmettez 2 à 8 variantes de
queriesàfind(scope:"library") en un seul appel. Une requête littérale unique est la cause la plus fréquente d'un faux "ce n'est pas dans la vidéo". - une recherche à zéro résultat n'est pas une preuve : lisez
NO_MATCH,OCR_NOT_INDEXED,OCR_INDEX_PARTIAL; ils indiquent si le texte a déjà été lu.
3b. Chemin rapide pour les vidéos courtes
Pour un clip de moins d'environ 6 minutes où la question porte sur ce qui a été dit (pas ce qui est à l'écran), sautez outline et appelez read directement : la transcription complète tient généralement dans une seule réponse (~150–800 tokens) contre ~1,4 k tokens plus une image de contact-sheet pour outline. Mesuré : la limite de 6 000 caractères de read couvre ~8 min de commentaires chinois rapides et ~5,5–7 min d'anglais. Si la réponse contient next_start_ms, elle a été coupée — passez à search/outline pour le reste au lieu de paginer. Utilisez outline quand vous avez besoin de structure, de texte à l'écran ou d'images ; utilisez perceive pour le mouvement. Si l'utilisateur colle lui-même la transcription/les sous-titres, répondez à partir de ce texte et utilisez la vidéo uniquement pour les moments qui nécessitent une image.
4. Regarder (evidence / frames)
evidence avec at renvoie l'image plus son texte à l'écran et sa transcription. Par défaut 2 images ; images:0 pour le texte uniquement, images:1 pour une seule image.
frames est pour ce que le texte ne peut pas répondre (compter, action, couleur, disposition) :
at+count: images exactes.start/end: une fenêtre dense (≤5 s) ;sheet:trueregroupe jusqu'à 9 images en une seule image étiquetée ;windows:Néchantillonne une plage nommée en une image de couverture et rapporte le couvert/manquant.view:"candidates": liste de plans (timecodes + images clés) pour "trouver un segment".view:"ocr": OCR de chaque image d'une fenêtre courte lorsqu'une ligne à l'écran change.
5. Mouvement (perceive)
Pour l'animation, les transitions UI, "ce qui a changé", "où ça se déplace" : perceive avant les images. Il renvoie les coupures, le mouvement par cellule, les moments classés (t_ms pic, onset_ms début, cell, settles), l'état de boucle et la qualité de capture (images perdues/dupliquées, scintillement) sous forme de nombres.
- Une vidéo de plus de 10 minutes nécessite une fenêtre : trouvez d'abord le moment (transcription/recherche), puis
start/end; un appel nu renvoieE_WINDOW_REQUIRED. brief:trueest l'aperçu (~340 tokens, coupures + 4 moments) ; rappelez ensuite sans pour la fenêtre dont vous avez besoin (~850 tokens pour 2,5 min).loop.found == falsesignifie "non détecté ici", pas "pas de boucle". N'appelez jamais une vidéo statique sansregionsetcoverage.- La fiabilité des légendes est mesurée :
overviewrapportemetrics.caption_check(audio vs légende).CAPTION_AUDIO_UNVERIFIEDsignifie que les légendes n'ont pas pu être vérifiées — dites-le au lieu de les citer comme exactes.
6. Compte et export
admin avec admin_action:"account" lit les favoris/l'historique/les dossiers ; les écritures sont en CLI uniquement (--confirm) ; dossiers ≤20 caractères, ≤100 vidéos par écriture.
admin avec admin_action:"export" écrit un pack de connaissances uniquement sur demande.
Règles strictes
- N'envoyez jamais de chemins locaux dans la réponse. Utilisez
image_urls/image_markdown(seules les positions avecimage_attached: truesont de vraies images) ; un chemin brut génère un espace réservé cassé. - Une heure à ou au-delà de la fin du média est
E_OUT_OF_RANGE, pas un succès vide ; l'erreur contient la durée du média. Un nombre nu dansat/startsignifie secondes ; écrivez1234msouHH:MM:SS.mmmpour les millisecondes. - Les échecs sont des réponses. Sur
{ok:false,error:{code,message,remedy}}, signalez le code et le remède ; n'inventez jamais de contenu et ne réessayez pas en silence. - D'abord le texte, ensuite les images.
transcript/searchrépondent à la plupart des questions ; chaque image coûte des tokens. Par défautimages:2, utilisez 0 ou 1 quand le texte suffit. - Une image et son texte proviennent de la même image — faites confiance à
ocr_frame_ms. - Ne videz pas.
readest plafonné (par défaut 6000 caractères) ;outlineest compact ; utilisez les plages etnext_start_ms. - N'appelez pas un outil pour chaque vidéo : la transcription répond au contenu ;
perceiveest pour les questions temporelles/UI.
Références
references/commands.md— les 8 verbes → mappage CLI et tous les drapeaux.references/evidence.md— champs de la charge utile de preuve et format de citation.references/visual-types.md— ce que les images peuvent et ne peuvent pas répondre.references/dsh.md— règles de rendu DSH.