Matrice de Création Vidéo (v3 — basée sur les capacités)
Cette matrice décrit les capacités que l'agent peut composer à la demande — et non un pipeline fixe. Un workflow de « création vidéo » choisit une recette (les capacités nécessaires) et, pour chaque capacité, sélectionne un fournisseur à partir des exigences de la tâche et des faits de préflight ci-dessous.
Schéma : docs/cli-matrix/matrix_registry.schema.md.
Installation (partie installable)
cli-hub matrix install video-creation # installe uniquement les CLI de la matrice enregistrée
cli-hub matrix info video-creation # inspecte les fournisseurs et les recettes
cli-hub matrix preflight video-creation # vérifie les fournisseurs disponibles dans cet environnement
Tout ce qui se trouve dans cette matrice n'est pas installé par cli-hub matrix install. Les API cloud, les paquets Python, les binaires natifs, les CLI publics tiers et les compétences externes sont également des fournisseurs de première classe, mais installez-les seulement après que la tâche en ait réellement besoin.
N'écrivez pas manuellement pip install ...#subdirectory=... pour les membres de la matrice CLI-Anything ; installez les harnesses supportés via cli-hub matrix install video-creation, puis utilisez preflight pour voir ce qui est déjà disponible.
Contraintes de sélection des fournisseurs (agent : évaluer par capacité)
- Utilisez le préflight comme un rapport de disponibilité, et non comme un sélecteur de fournisseur.
- Choisissez les fournisseurs en fonction de l'objectif de l'utilisateur, du niveau de qualité, du budget, des besoins hors ligne, de l'état des identifiants, du coût d'installation et du workflow demandé.
- Considérez l'ordre du registre/fournisseur comme un ordre de documentation uniquement ; ne supposez pas que le premier fournisseur est le bon.
- Installez les bibliothèques Python, les binaires natifs, les CLI d'harness, les CLI publics ou les compétences d'agent uniquement lorsqu'ils correspondent aux contraintes de la tâche.
- N'utilisez des API payantes ou mesurées que si l'utilisateur a fourni des identifiants ou a explicitement consenti. N'appelez jamais une API payante silencieusement.
- Si une tâche appartient à un genre avec une règle de fournisseur obligatoire, ce fournisseur n'est pas optionnel. Ne le remplacez pas par un substitut moins cher/plus facile simplement parce qu'il est localement pratique.
Contexte hors ligne ? Filtrez uniquement aux fournisseurs avec offline: true.
Préflight (exécuter une fois par session, mettre en cache le résultat)
Exécutez d'abord le préflight intégré de la matrice :
cli-hub matrix preflight video-creation --json
cli-hub matrix preflight video-creation --capability composite.assemble
cli-hub matrix preflight video-creation --offline
Si vous avez besoin de vérifications brutes ou si vous exécutez sans la dernière version de cli-hub, utilisez le bloc manuel :
cli-hub list --json
python - <<'PY'
import importlib.util
for m in ("moviepy","whisper","pydub","PIL","edge_tts","pysrt","pysubs2","yt_dlp","spotdl","scenedetect","paddleocr","twelvelabs"):
print(m, importlib.util.find_spec(m) is not None)
PY
for b in ffmpeg ffprobe sox convert magick screencapture yt-dlp spotdl scdl bandcamp-dl you-get lux BBDown scenedetect mediainfo ffmpeg-quality-metrics paddleocr hyperframes; do command -v "$b" >/dev/null && echo "$b: yes" || echo "$b: no"; done
for e in RUNWAY_API_KEY KLING_API_KEY PIKA_API_KEY SEEDANCE_API_KEY \
ELEVENLABS_API_KEY MINIMAX_API_KEY OPENAI_API_KEY GOOGLE_CLOUD_PROJECT \
ASSEMBLYAI_API_KEY DEEPGRAM_API_KEY \
SUNO_API_KEY UDIO_API_KEY IDEOGRAM_API_KEY STABILITY_API_KEY \
TWELVELABS_API_KEY GOOGLE_APPLICATION_CREDENTIALS; do
[ -n "${!e}" ] && echo "$e: set" || echo "$e: unset"
done
Modèle de suggestion à l'utilisateur (l'agent l'utilise textuellement en cas d'escalade)
Pour activer <capacité> via <fournisseur>, veuillez définir <ENV_VAR>.
Coût : <notes de coût>
Qualité : <niveau de qualité>
Répondez 'skip' pour revenir à <fournisseur suivant>.
Exemples :
- Pour activer la vidéo IA cinématique via Runway Gen-4, veuillez définir
RUNWAY_API_KEY. Coût : ~0,05 $/s en date d'avril 2026. Qualité : état de l'art. Répondez 'skip' pour revenir àgenerate-veo-videooujimengsi configuré. - Pour activer la génération vidéo ByteDance Seedance, veuillez définir
SEEDANCE_API_KEY. Coût : mesuré par clip. Qualité : état de l'art pour le mouvement réaliste. Répondez 'skip' pour revenir àjimeng(Dreamina) qui partage la famille de modèles ByteDance.
Capacités
script.storyboard — du brief à la direction créative, script, liste de plans, timing et plan d'actifs
Utilisez cette capacité avant la génération, la recherche, la capture ou l'assemblage lorsque l'utilisateur donne un concept vague ou demande une vidéo complète. Par défaut, effectuez la planification directement en tant que travail d'agent : produisez un brief structuré, une direction créative globale, un arc narratif/émotionnel, un arc audio, un script/narration, une liste de plans, une carte de timing, les besoins en actifs et un storyboard révisable avant de passer aux téléchargements ou à la génération.
Pour toute vidéo non triviale, lisez references/story-structure-audio.md et enregistrez creative_direction.md avant l'assemblage final. Cela est obligatoire pour les bandes-annonces, les montages sportifs/musicaux, les commentaires de films, les montages de found-footage, les vidéos de lancement de produit et toute sortie où des clips aléatoires plats ou une musique ennuyeuse échoueraient au brief.
Barrière stricte : ne commencez pas l'assemblage final pour une vidéo non triviale tant que creative_direction.md n'existe pas. plan.md n'est pas un substitut. Le fichier doit inclure la durée cible ou la plage de durée demandée, la langue de sortie, une table des rôles des plans avec le temps, le beat, le plan source/rôle, l'événement audio, le rôle du sous-titre/titre et le risque d'échec ; rejetez les plans où la fin/le dernier acte n'a pas de récompense, de climax, de révélation, de résumé utile ou d'accroche non résolue délibérée adaptée au genre. Règle de langue : si l'utilisateur spécifie une langue de sortie, utilisez-la pour tout le contenu destiné au spectateur rédigé par l'agent ; sinon, utilisez la langue utilisée par l'utilisateur dans la conversation.
| Fournisseur | Type | Nécessite | Coût | Qualité | Hors ligne |
|---|---|---|---|---|---|
| Planification native de l'agent | natif-agent | aucun | gratuit | élevé | oui |
Compétence storyboard-creation | compétence-agent | compétence installée | gratuit | élevé | oui |
Compétence remotion-best-practices | compétence-agent | compétence installée | gratuit | élevé pour la vidéo animée pilotée par code | oui |
Sélection :
- Commencez par la planification native de l'agent pour les scripts normaux, les listes de plans, les cartes de timing et les plans d'actifs.
- Incluez
creative_direction.mdavec la promesse en une phrase, l'arc narratif, la courbe émotionnelle, l'arc audio, la courbe de densité de coupe, le motif visuel, les rôles des sources et les garde-fous contre la platitude. - Utilisez
storyboard-creationuniquement lorsque vous avez besoin de conventions explicites de panneaux de storyboard, de grammaire d'angle de caméra, de vérifications de continuité ou de planification d'animatique. - Utilisez
remotion-best-practicesuniquement lorsque le storyboard sera implémenté en tant que code vidéo animé Remotion/React.
video.search — découvrir des séquences internet candidates
Utilisez cette capacité avant video.download lorsque l'utilisateur demande des found-footage, des B-roll, des clips du domaine public, des séquences libres de droits, du matériel YouTube/Bilibili, ou des moments nommés de films/séries/jeux/anime. Préférez d'abord les sources gratuites/ouvertes et enregistrez l'URL source, la licence, le créateur et l'obligation d'attribution avant le montage.
Pour les livrables en found-footage ou les revendications d'origine de plateforme, lisez references/source-triage.md et classez chaque candidat comme source directe de plateforme, transport vérifié d'origine de plateforme ou miroir faible.
| Fournisseur | Type | Nécessite | Coût | Qualité | Hors ligne |
|---|---|---|---|---|---|
| Recherche web + filtres sources | recherche-web | accès en ligne | gratuit | bon | non |
Discipline de recherche :
- Pour les B-roll réutilisables/sûrs commercialement, commencez par Wikimedia Commons, YouTube Creative Commons ou d'autres pages de stock/domaine public consultables par navigateur et conservez les métadonnées d'attribution à côté de chaque fichier téléchargé.
- Pour les workflows de référence ou de fan-edit Bilibili/YouTube, recherchez des noms de scènes spécifiques plutôt que des termes génériques. Ajoutez des modificateurs de qualité tels que
1080p,4K,HD,BD,蓝光ou高清. - Pour Bilibili, utilisez une recherche web ciblée comme
site:bilibili.com "Game of Thrones" S3E09 BV; les téléchargements autonomes/video/BV...sont généralement plus faciles à traiter que les URLs bangumi géo-restreintes. - Ne considérez pas la possibilité de téléchargement comme une autorisation. Si la licence ou l'autorisation de l'utilisateur n'est pas claire, demandez avant d'utiliser les séquences dans un livrable.
video.download — télécharger/importer une vidéo web dans l'espace de travail
Utilisez cette capacité après que video.search a identifié des URLs candidates, ou directement lorsque l'utilisateur donne des URLs. Gardez tous les téléchargements bruts dans un répertoire sources/, enregistrez sources.json avec URL/licence/créateur/provenance, et normalisez les noms de fichiers avant le montage en aval.
Pour les séquences internet, sources.json doit enregistrer l'URL de la plateforme, l'URL de transport si différente, la commande, le chemin du fichier cookie si utilisé, le fichier local, le résumé du probe, les plages sélectionnées, le rôle de la source, les notes de licence/droits et les avertissements de qualité.
| Fournisseur | Type | Nécessite | Coût | Qualité | Hors ligne |
|---|---|---|---|---|---|
yt-dlp | CLI-public | yt-dlp + ffmpeg | gratuit | élevé | non |
you-get | CLI-public | binaire you-get | gratuit | bon | non |
lux | CLI-public | lux + ffmpeg | gratuit | bon | non |
BBDown | CLI-public | BBDown + ffmpeg | gratuit | élevé pour Bilibili | non |
Notes opérationnelles :
- Préférez
yt-dlp -f "bestvideo[height>=1080]+bestaudio/best" --merge-output-format mp4pour les URLs YouTube/Bilibili lorsque la qualité est importante. Utilisez les cookies uniquement lorsque l'utilisateur a autorisé l'accès au contenu. - Pour l'extraction audio uniquement de Bilibili, évitez
yt-dlp -x --audio-format mp3; téléchargez le m4a brut et convertissez-le avecffmpeg, puis vérifiez le volume avant de l'utiliser. - Utilisez
BBDownlorsque les métadonnées spécifiques à Bilibili, les sous-titres, les danmaku, les playlists ou les flux membres de haute qualité sont au cœur de la tâche.
music.search — découvrir des chansons existantes, BGM ou sources audio propres
Utilisez cette capacité avant music.download lorsque l'utilisateur veut une chanson existante, un extrait sonore de bande originale, une piste libre de droits, un audio de plateforme ou une reprise/version spécifique. Limitez la recherche à la musique demandée, pas seulement à n'importe quel audio disponible. Enregistrez le titre, l'artiste, l'URL de la plateforme, l'uploader, le type de source, les notes de version, les droits/licences et l'attribution dans music_sources.json.
| Fournisseur | Type | Nécessite | Coût | Qualité | Hors ligne |
|---|---|---|---|---|---|
| Recherche web + filtres sources | recherche-web | accès en ligne | gratuit | bon | non |
Extracteurs de recherche yt-dlp | CLI-public | yt-dlp | gratuit | bon | non |
Métadonnées/recherche spotdl | CLI-public | spotdl | gratuit | bon pour les chansons liées à Spotify | non |
Discipline de recherche :
- Pour un audio propre, recherchez le téléchargement officiel de l'artiste, l'upload du label, l'audio/MV officiel, le lyric video vérifié ou un téléchargement audio autonome sans descripteurs supplémentaires.
- Si l'utilisateur demande une version spécifique comme
女生版, duo, piano, acoustique, live, DJ, karaoké ou instrumental, vérifiez que le titre/uploader/métadonnées correspondent exactement à cette version avant de vous engager. - Rejetez les titres candidats qui impliquent une source erronée :
remix,cover,fan edit,AMV,MAD,mashup, compilation, mix de bande-annonce ou bande originale/OST non liée, sauf si l'utilisateur a explicitement demandé cette variante. - Pour les chansons de liaison et les pistes promotionnelles, supposez qu'un débordement de dialogue/voix off/effets sonores est possible. Cherchez des alternatives avec
{artist} {song} 纯音乐,{song} 无对白,{song} 歌词版,official audiooulyric videoavant de demander à l'utilisateur d'accepter une source risquée. - Ne considérez pas la possibilité de téléchargement comme une autorisation. Si les droits, la licence ou l'autorisation de l'utilisateur ne sont pas clairs, demandez avant d'utiliser la musique dans un livrable.
music.download — télécharger/importer de la musique existante dans l'espace de travail
Utilisez cette capacité après que music.search a identifié un candidat ou directement lorsque l'utilisateur fournit une URL musicale/un fichier local. Gardez les téléchargements bruts dans sources/music/, enregistrez music_sources.json, et créez un fichier de travail normalisé pour le montage.
| Fournisseur | Type | Nécessite | Coût | Qualité | Hors ligne |
|---|---|---|---|---|---|
Téléchargement audio yt-dlp | CLI-public | yt-dlp + ffmpeg | gratuit | élevé | non |
spotdl | CLI-public | spotdl + ffmpeg | gratuit | bon pour les métadonnées liées à Spotify | non |
scdl | CLI-public | scdl | gratuit | bon pour SoundCloud | non |
bandcamp-dl | CLI-public | bandcamp-dl | gratuit | bon pour Bandcamp | non |
Import fichier local + ffmpeg | natif | ffmpeg | gratuit | élevé | oui |
Notes opérationnelles :
- Utilisez uniquement la musique que l'utilisateur est autorisé à utiliser ou qui est clairement sous licence pour le livrable. Ne contournez pas les DRM, les paywalls ou les contrôles d'accès.
- Pour les URLs audio générales, téléchargez d'abord l'audio source, puis convertissez explicitement :
yt-dlp -f "bestaudio[ext=m4a]/bestaudio" -o "sources/music/audio_raw.%(ext)s" "URL"
ffmpeg -i sources/music/audio_raw.m4a -vn -c:a libmp3lame -q:a 0 sources/music/audio.mp3
- Pour les téléchargements audio uniquement de Bilibili, n'utilisez pas
yt-dlp -x --audio-format mp3; cela peut produire un MP3 d'apparence valide mais presque silencieux. Téléchargez le m4a brut, convertissez-le avecffmpeg, puis vérifiez le volume :
yt-dlp -f 30280 -o "sources/music/audio_raw.%(ext)s" "BILIBILI_URL"
ffmpeg -i sources/music/audio_raw.m4a -c:a libmp3lame -q:a 0 sources/music/audio.mp3
ffmpeg -i sources/music/audio.mp3 -af volumedetect -f null - 2>&1 | grep mean_volume
Rejetez les fichiers avec un volume moyen inférieur à environ -40dB sauf si le silence est attendu.
- Écoutez des échantillons à au moins trois points avant le montage, en particulier pour les chansons promotionnelles/OST/de liaison :
ffplay -ss 30 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 90 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 150 -t 5 -autoexit sources/music/audio.mp3
- Normalisez ou ajustez le niveau sonore uniquement après avoir vérifié que la source est la bonne chanson/version et qu'elle ne présente aucun débordement de dialogue/effets sonores.
visual.capture — enregistrer l'écran / la webcam / la fenêtre
| Fournisseur | Type | Nécessite | Coût | Qualité | Hors ligne |
|---|---|---|---|---|---|
cli-anything-openscreen | CLI-harness | harness installé | gratuit | élevé | oui |
cli-anything-obs-studio | CLI-harness | OBS installé | gratuit | élevé | oui |
ffmpeg -f x11grab / avfoundation | natif | ffmpeg | gratuit | élevé | oui |
screencapture | natif | macOS | gratuit | élevé | oui |
mss / pyautogui + cv2 | python | paquets | gratuit | bon | oui |
visual.generate — produire un clip vidéo à partir d'une invite/référence
| Fournisseur | Type | Nécessite | Coût | Qualité | Hors ligne | |---|---|---|---|---|
… [tronqué pour la traduction]