Communitygithub.com

video2agent

Recherche et compréhension vidéo pour fichiers locaux, enregistrements d'écran et liens de plateformes.

Qu'est-ce que video2agent ?

video2agent est un outil spécialisé permettant aux agents IA d'extraire et d'analyser le contenu de vidéos (locales, enregistrements d'écran, liens de plateformes) en se basant sur la transcription, le texte affiché à l'écran, la structure des scènes et les images exactes. Il est conçu pour répondre aux questions où la vidéo est une source plus riche que le texte, par exemple pour des listes de niveaux de jeu, des tests de produits, des recettes, des tutoriels, ou des analyses de mouvement/UI. L'outil propose huit commandes principales allant de la recherche (`find`) à l'ingestion (`ingest`), en passant par la lecture d'aperçu (`outline`), la transcription détaillée (`read`), l'extraction d'images et de preuves (`evidence`, `frames`), l'analyse de mouvement (`perceive`) et la gestion de compte (`admin`). Il est conçu pour être intégré de manière proactive par l'agent dès qu'une question nécessite des informations visuelles, fraîches ou issues de la communauté, et le résultat doit être communiqué dans le chat plutôt que dans un fichier, sauf demande explicite de l'utilisateur. Le système gère les vidéos Bilibili, les fichiers locaux et les URL, avec une attention particulière à la vérification des dates, à la gestion des erreurs et à l'optimisation des coûts (images limitées, appels concis).

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Harm0ny-AI/DSH-Video2Agent/tree/HEAD/skills/video2agent

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

DSH-Video2Agent

Répondre à partir de la vidéo : transcription, texte à l'écran, structure, images exactes. Le modèle fait le raisonnement ; cet outil trouve le moment où la réponse dépend de ce que l'on voit.

Quand la vidéo est la meilleure source

Une question n'a pas besoin d'être "à propos d'une vidéo" pour qu'il soit préférable d'y répondre par une vidéo : une liste de niveaux ou un équipement pour une nouvelle saison de jeu (新赛季枪械排行、配装), un test de produit, une recette, un itinéraire, un sujet visuel d'actualité. Appelez find sur Bilibili (ou recherchez dans la bibliothèque) avant de répondre de mémoire. Ne présentez jamais une saison obsolète comme actuelle : vérifiez la date de téléchargement et la mise à jour dans le titre, et dites quand la vidéo est antérieure à cette mise à jour.

Appelez-le directement

Appelez l'outil video2agent comme un outil de premier niveau chaque fois que le harnais le permet. N'utilisez jamais le shell pour une action d'outil. Un appel run_code imbriqué contourne le rendu du dock du plugin, donc ne l'utilisez que lorsque le harnais n'offre pas d'autre moyen d'atteindre l'outil ; la carte peut rester vide.

Répondez dans le chat ; exportez uniquement sur demande

Une réponse vidéo appartient au chat. Ne créez ni n'exportez de note, fichier Markdown, pack de connaissances, fichier de transcription ou artefact temporaire, sauf si l'utilisateur demande ce fichier. Un fichier n'est pas un substitut.

Les huit commandes

commanderetourneà utiliser quand
findCandidats Bilibili (titre/uploader/durée/raison)on cherche une vidéo ; scope:"library" recherche dans les vidéos indexées ; url résout un lien
ingestidentifiant(s) de tâcheindexer un chemin/URL ; video_ids démarre la shortlist sélectionnée ; job_id interroge l'état ; campaign_id avance une campagne
outlineindex en un appel : lignes de transcription/OCR, images clés, coupures, couverture (detail:"digest"), métadonnées (overview), carte visuellepremier aperçu d'une vidéo
readtranscription horodatée compacte, ou comparaison de 2 à 10 vidéosréponse textuelle ou comparaison
evidencel'image à un horodatage + son texte OCR + sa transcriptionprouver un moment ; le chemin d'image normal
framesimages exactes, fenêtre dense, feuille, candidats plans, fenêtre OCRpixels que le texte ne peut pas répondre
perceivecarte numérique uniquement : coupures, mouvement par cellule, moments classés, boucle, qualité de capture – jamais d'imagesquestions de mouvement/UI/animation
adminlister/exporter/index-ocr/compte/diagnosticmaintenance de la bibliothèque, export, bibliothèque Bilibili

Workflow

1. Trouver

find avec query ; filtrer avec uploader, after, before. La réponse est pour vous, pas un tableau : lisez les métadonnées et appelez ingest avec les identifiants que vous recommandez réellement ; tout ce que vous allez analyser va dans default_selected (seuls ceux-ci démarrent, video_ids ne fait que lister les candidats) plus primary. Au-delà de processLimit → campaign:true.

Une URL collée → find avec url (titre/couverture/durée, pas de téléchargement), puis ingest une fois que l'utilisateur le souhaite.

2. Ingérer

ingest avec source (chemin local ou URL) renvoie un identifiant de tâche. N'ingérez jamais un candidat find à nouveau par URL ; la shortlist l'a déjà démarré. Besoin d'attendre ? ingest avec job_id et wait_ms – une fois, une seule tâche (plafonné à 90s ; un programme meurt vers 120s : pas de boucles sur plusieurs tâches). queued = le slot d'ingestion est occupé et la tâche n'a pas commencé ; ne l'interrogez pas à nouveau. Mauvaise langue de transcription → ingest avec language.

3. Lire

outline (detail:"digest") est le premier aperçu le moins coûteux : un index borné avec lignes de transcription/OCR horodatées, images clés, coupures de scène et couverture. Ensuite :

  • question de contenu → read (scope:"transcript") avec start/end ; la réponse contient next_start_ms, donc continuez au lieu de demander tout le fichier.
  • comparer 2 à 10 vidéos → read (scope:"compare") avec compare_video_ids et aspects.
  • les mots peuvent différer (orthographes ASR, 计费/收费/price) → transmettez 2 à 8 variantes de queries à find (scope:"library") en un seul appel. Une requête littérale unique est la cause la plus fréquente d'un faux "ce n'est pas dans la vidéo".
  • une recherche à zéro résultat n'est pas une preuve : lisez NO_MATCH, OCR_NOT_INDEXED, OCR_INDEX_PARTIAL ; ils indiquent si le texte a déjà été lu.

3b. Chemin rapide pour les vidéos courtes

Pour un clip de moins d'environ 6 minutes où la question porte sur ce qui a été dit (pas ce qui est à l'écran), sautez outline et appelez read directement : la transcription complète tient généralement dans une seule réponse (~150–800 tokens) contre ~1,4 k tokens plus une image de contact-sheet pour outline. Mesuré : la limite de 6 000 caractères de read couvre ~8 min de commentaires chinois rapides et ~5,5–7 min d'anglais. Si la réponse contient next_start_ms, elle a été coupée — passez à search/outline pour le reste au lieu de paginer. Utilisez outline quand vous avez besoin de structure, de texte à l'écran ou d'images ; utilisez perceive pour le mouvement. Si l'utilisateur colle lui-même la transcription/les sous-titres, répondez à partir de ce texte et utilisez la vidéo uniquement pour les moments qui nécessitent une image.

4. Regarder (evidence / frames)

evidence avec at renvoie l'image plus son texte à l'écran et sa transcription. Par défaut 2 images ; images:0 pour le texte uniquement, images:1 pour une seule image.

frames est pour ce que le texte ne peut pas répondre (compter, action, couleur, disposition) :

  • at + count : images exactes.
  • start/end : une fenêtre dense (≤5 s) ; sheet:true regroupe jusqu'à 9 images en une seule image étiquetée ; windows:N échantillonne une plage nommée en une image de couverture et rapporte le couvert/manquant.
  • view:"candidates" : liste de plans (timecodes + images clés) pour "trouver un segment".
  • view:"ocr" : OCR de chaque image d'une fenêtre courte lorsqu'une ligne à l'écran change.

5. Mouvement (perceive)

Pour l'animation, les transitions UI, "ce qui a changé", "où ça se déplace" : perceive avant les images. Il renvoie les coupures, le mouvement par cellule, les moments classés (t_ms pic, onset_ms début, cell, settles), l'état de boucle et la qualité de capture (images perdues/dupliquées, scintillement) sous forme de nombres.

  • Une vidéo de plus de 10 minutes nécessite une fenêtre : trouvez d'abord le moment (transcription/recherche), puis start/end ; un appel nu renvoie E_WINDOW_REQUIRED.
  • brief:true est l'aperçu (~340 tokens, coupures + 4 moments) ; rappelez ensuite sans pour la fenêtre dont vous avez besoin (~850 tokens pour 2,5 min).
  • loop.found == false signifie "non détecté ici", pas "pas de boucle". N'appelez jamais une vidéo statique sans regions et coverage.
  • La fiabilité des légendes est mesurée : overview rapporte metrics.caption_check (audio vs légende). CAPTION_AUDIO_UNVERIFIED signifie que les légendes n'ont pas pu être vérifiées — dites-le au lieu de les citer comme exactes.

6. Compte et export

admin avec admin_action:"account" lit les favoris/l'historique/les dossiers ; les écritures sont en CLI uniquement (--confirm) ; dossiers ≤20 caractères, ≤100 vidéos par écriture.

admin avec admin_action:"export" écrit un pack de connaissances uniquement sur demande.

Règles strictes

  • N'envoyez jamais de chemins locaux dans la réponse. Utilisez image_urls / image_markdown (seules les positions avec image_attached: true sont de vraies images) ; un chemin brut génère un espace réservé cassé.
  • Une heure à ou au-delà de la fin du média est E_OUT_OF_RANGE, pas un succès vide ; l'erreur contient la durée du média. Un nombre nu dans at/start signifie secondes ; écrivez 1234ms ou HH:MM:SS.mmm pour les millisecondes.
  • Les échecs sont des réponses. Sur {ok:false,error:{code,message,remedy}}, signalez le code et le remède ; n'inventez jamais de contenu et ne réessayez pas en silence.
  • D'abord le texte, ensuite les images. transcript/search répondent à la plupart des questions ; chaque image coûte des tokens. Par défaut images:2, utilisez 0 ou 1 quand le texte suffit.
  • Une image et son texte proviennent de la même image — faites confiance à ocr_frame_ms.
  • Ne videz pas. read est plafonné (par défaut 6000 caractères) ; outline est compact ; utilisez les plages et next_start_ms.
  • N'appelez pas un outil pour chaque vidéo : la transcription répond au contenu ; perceive est pour les questions temporelles/UI.

Références

  • references/commands.md — les 8 verbes → mappage CLI et tous les drapeaux.
  • references/evidence.md — champs de la charge utile de preuve et format de citation.
  • references/visual-types.md — ce que les images peuvent et ne peuvent pas répondre.
  • references/dsh.md — règles de rendu DSH.

Skills associés