Communitygithub.com

The-AIOS/aios

Regarder ou écouter une source vidéo/audio pour la garder en contexte, afin de répondre à des questions, la résumer, en extraire des citations ou agir sur son contenu — une action de COMPRÉHENSION RAPIDE, pas un pipeline d'archivage.

Qu'est-ce que aios ?

Cette compétence permet à un agent IA de visionner ou écouter activement une source multimédia (vidéo, audio, enregistrement) partagée par l'utilisateur, et de maintenir une compréhension de son contenu dans le contexte de la session. Elle est utile lorsque l'utilisateur demande explicitement d'interagir avec le contenu : « regarde ça », « résume cette vidéo », « que dit-il sur X », « transcris ceci », ou encore pour extraire des citations précises. La compétence couvre les cas que les outils intégrés (comme MarkItDown) ne gèrent pas : l'audio long via `hooks/transcribe.py` (transcription locale avec whisper) et le canal visuel via `hooks/video-watch.py` (pour les diapositives, le code, les diagrammes). Les deux scripts sont développés pour macOS / Apple Silicon. Sur d'autres plateformes, la compétence tombe en retrait sur MarkItDown pour les sous-titres YouTube et l'audio court. L'important est de comprendre que cette compétence ne crée *aucun fichier permanent* dans le coffre ; son seul objectif est la compréhension immédiate et la réponse contextuelle.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/The-AIOS/aios/tree/HEAD/skills/aios/watch-video

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Regarder une vidéo — compréhension, pas ingestion

Quelqu'un partage une vidéo et vous demande quelque chose à son sujet. Deux hooks rendent cela possible, et aucun n'est découvrable par lui-même — les hooks n'ont pas de correspondance sémantique, donc une session à qui on demande de « regarder ça » ne trouve rien et improvise. C'est pour combler cette lacune que cette compétence existe.

La limite — lisez ceci d'abord

Cette compétence REGARDE. Elle n'ARCHIVE PAS. Son résultat est une compréhension momentanée dans la session, pas un artéfact du coffre. Pas de note, pas de frontmatter, pas de liens croisés, pas de mise à jour de _index, pas d'acheminement d'actions. Les fichiers de travail vont dans un chemin temporaire (/tmp), jamais dans vault/.

/aios:ingest est le pipeline d'archivage — il existe précisément pour que la transformation d'une source en note permanente et reliée soit un acte délibéré avec des conventions. Si l'opérateur le souhaite, passez le relais (« tu veux que je fasse un /aios:ingest pour que ça atterrisse dans reflections/ingests/ avec les liens croisés ? ») — ne l'implémentez pas à moitié ici. Deux chemins, une limite, pas de chevauchement.

Donc la forme d'une exécution est : l'obtenir dans le contexte → faire ce qui a été demandé → proposer, ne pas présumer. Si la demande est ouverte (« regarde ça » sans question), regardez-la, puis dites ce que c'est en deux ou trois lignes et demandez ce qu'ils en veulent. Ne fabriquez pas un livrable que personne n'a demandé.

Quel outil — la vraie décision

La sourceÀ utiliserPourquoi
Document (PDF, docx, présentation, tableur)MarkItDown ou les document-skillsCe n'est pas le travail de cette compétence ; celles-ci correspondent déjà sémantiquement
Audio/Vidéo long, l'audio suffithooks/transcribe.pyMarkItDown traite l'audio en un seul appel à Google Web Speech — acceptable pour une phrase, inutile pour un entretien de 49 minutes
YouTube, l'audio suffitLes sous-titres de MarkItDown d'abordBeaucoup plus rapide que la transcription ; passez à transcribe.py si les sous-titres sont absents ou de mauvaise qualité
L'ÉCRAN transporte l'informationhooks/video-watch.py en complément de la transcriptionUne transcription ignore chaque image : diapositives, code, diagrammes, terminal, graphiques, texte à l'écran

L'écran transporte l'information quand la source est une conférence avec diapositives, une capture d'écran, une démo de code, une démonstration d'outil, un cours avec diagrammes, ou tout ce où « comme vous pouvez le voir ici » vous laisserait aveugle. En cas de doute, demandez — le passage visuel coûte du temps réel.

Les commandes

# squelette de la transcription (sur l'appareil : ffmpeg → mlx-whisper large-v3-turbo, longueur arbitraire)
python3 ~/aios/hooks/transcribe.py <fichier-ou-URL> /tmp/watch-transcript.txt

# canal visuel, superposé à la transcription — JAMAIS à sa place
python3 ~/aios/hooks/video-watch.py <fichier-ou-URL> \
  --transcript /tmp/watch-transcript.txt --reader ocr --code

Le choix du --reader est la seule vraie décision de paramètre :

  • --reader ocr — texte à l'écran textuel via Apple Vision. Par défaut pour les diapositives, le code, les terminaux, tout ce que vous devez citer exactement. Ajoutez --code lorsque les images contiennent du code.
  • --reader vlm — la vision Claude décrit chaque image. Pour les diagrammes, graphiques, architectures, interfaces — la structure plutôt que le texte littéral.
  • --reader both — quand vous avez besoin à la fois des mots exacts et de ce que l'image signifie. Double approximativement le coût par image.

Tout le reste (--scene-threshold, --max-frames, --sample-every, --max-width, --phash-threshold) a une valeur par défaut raisonnable. Touchez-les uniquement si le premier passage est visiblement trop clairsemé ou trop bruité ; --help les liste.

Réalité de la plateforme — énoncez-la, ne vous y heurtez pas

Les deux hooks sont macOS / Apple Silicon (mlx-whisper, Apple Vision via hooks/ocr-image.swift). Sur Linux ou Windows, dites-le et repliez-vous sur MarkItDown, qui gère les sous-titres YouTube et l'audio court multiplateforme. Ne laissez pas un opérateur voir une commande échouer pour apprendre cela.

Définissez les attentes avant de brûler du temps

Transcrire un long enregistrement et lire ses images prend des minutes, pas des secondes — une conférence de 45 minutes avec un passage visuel est la chose la plus lourde de cette compétence. Donnez l'estimation à l'avance et confirmez, surtout pour le passage visuel. Deux actions peu coûteuses qui surpassent généralement la force brute :

  • La transcription d'abord, toujours. C'est l'épine dorsale sémantique, c'est plus rapide, et elle répond souvent directement à la question — auquel cas le passage visuel devient inutile.
  • Si la demande est précise (« est-ce qu'elle mentionne les tarifs ? »), recherchez dans la transcription plutôt que de tout relire.

Modes de défaillance à connaître

  • Une transcription n'est pas la vidéo. Si l'opérateur demande quelque chose de montré, une transcription propre qui n'en parle jamais n'est pas une preuve d'absence — c'est le mauvais instrument. Exécutez le passage visuel ou dites que vous ne pouvez pas encore répondre.
  • Les sous-titres YouTube peuvent être automatiques et erronés (noms, jargon, chiffres). Si une citation est importante, vérifiez-la avec transcribe.py avant de l'attribuer.
  • Ne citez pas ce que vous n'avez pas lu. Les images sont échantillonnées sur les changements de scène et dédupliquées, donc le passage visuel est un échantillon, pas un enregistrement complet. Si une affirmation repose sur une seule image, dites de quel horodatage elle provient.
  • Les fichiers temporaires sont temporaires. Nettoyez /tmp/watch-* une fois terminé, ou dites où vous les avez laissés. Ne les écrivez jamais dans vault/.

Passer le relais

Lorsque le matériau s'avère digne d'être conservé :

  • Archivez-le correctement → /aios:ingest (atterrit dans reflections/ingests/, nom {source}-{slug}, frontmatter, liens croisés, actions routées vers les tâches du projet).
  • Cela a changé l'état d'un projet → dites-le et proposez de mettre à jour cette note de projet.
  • Cela a produit une idée durable → elle appartient au coffre via le chemin normal de fin de session, pas comme un effet secondaire du visionnage.

Regarder est rapide et répétable. Archiver est une décision. Gardez-les séparés.

Skills associés