¿Qué hace Video Creation Matrix (v3 — basado en capacidades)?
Esta matriz describe las capacidades que el agente puede componer bajo demanda — no es un proceso fijo. Un flujo de trabajo de "creación de video" elige una receta (qué capacidades necesita) y, por cada capacidad, elige un proveedor según los requisitos de la tarea y los resultados del preflight que se indican a continuación.
Esquema: docs/cli-matrix/matrix_registry.schema.md.
Instalación (parte instalable)
cli-hub matrix install video-creation # instala solo las CLIs registradas de la matriz
cli-hub matrix info video-creation # inspecciona proveedores y recetas
cli-hub matrix preflight video-creation # comprueba proveedores disponibles en este entorno
No todo en esta matriz se instala con cli-hub matrix install. Las APIs en la nube, paquetes Python, binarios nativos, CLIs públicos de terceros y habilidades externas también son proveedores de primera clase, pero solo se instalan cuando la tarea realmente necesita ese proveedor.
No escribas pip install ...#subdirectory=... para los miembros de la matriz CLI-Anything; instala los harnesses compatibles a través de cli-hub matrix install video-creation, luego usa preflight para ver qué más está disponible.
Restricciones de selección de proveedores (agente: evaluar por capacidad)
- Usa preflight como un informe de disponibilidad, no como un selector de proveedores.
- Elige proveedores según el objetivo del usuario, el nivel de calidad, el presupuesto, las necesidades offline, el estado de las credenciales, el costo de instalación y el flujo de trabajo solicitado.
- Trata el orden del registro/proveedor solo como orden de documentación; no asumas que el primer proveedor es el correcto.
- Instala librerías Python, binarios nativos, CLIs de harness, CLIs públicos o habilidades de agente solo cuando encajen con las restricciones de la tarea.
- Escala a APIs de pago o medidas solo cuando el usuario haya proporcionado credenciales o haya dado su consentimiento explícito. Nunca llames a una API de pago de forma silenciosa.
- Si una tarea pertenece a un género con una regla de proveedor obligatorio, el proveedor no es opcional. No sustituyas por una alternativa más barata/fácil solo porque sea localmente conveniente.
¿Contexto offline? Filtra solo a proveedores con offline: true.
Preflight (ejecutar una vez por sesión, almacenar en caché el resultado)
Ejecuta primero el preflight integrado de la matriz:
cli-hub matrix preflight video-creation --json
cli-hub matrix preflight video-creation --capability composite.assemble
cli-hub matrix preflight video-creation --offline
Si necesitas comprobaciones manuales o estás ejecutando sin la última versión de cli-hub, usa el bloque manual:
cli-hub list --json
python - <<'PY'
import importlib.util
for m in ("moviepy","whisper","pydub","PIL","edge_tts","pysrt","pysubs2","yt_dlp","spotdl","scenedetect","paddleocr","twelvelabs"):
print(m, importlib.util.find_spec(m) is not None)
PY
for b in ffmpeg ffprobe sox convert magick screencapture yt-dlp spotdl scdl bandcamp-dl you-get lux BBDown scenedetect mediainfo ffmpeg-quality-metrics paddleocr hyperframes; do command -v "$b" >/dev/null && echo "$b: yes" || echo "$b: no"; done
for e in RUNWAY_API_KEY KLING_API_KEY PIKA_API_KEY SEEDANCE_API_KEY \
ELEVENLABS_API_KEY MINIMAX_API_KEY OPENAI_API_KEY GOOGLE_CLOUD_PROJECT \
ASSEMBLYAI_API_KEY DEEPGRAM_API_KEY \
SUNO_API_KEY UDIO_API_KEY IDEOGRAM_API_KEY STABILITY_API_KEY \
TWELVELABS_API_KEY GOOGLE_APPLICATION_CREDENTIALS; do
[ -n "${!e}" ] && echo "$e: set" || echo "$e: unset"
done
Plantilla de sugerencia al usuario (el agente usa literalmente al escalar)
Para habilitar <capacidad> a través de <proveedor>, establece <ENV_VAR>.
Costo: <notas de costo>
Calidad: <nivel de calidad>
Responde 'skip' para recurrir a <siguiente proveedor>.
Ejemplos:
- Para habilitar video AI cinematográfico a través de Runway Gen-4, establece
RUNWAY_API_KEY. Costo: ~$0.05/s a partir de abril 2026. Calidad: estado del arte. Responde 'skip' para recurrir agenerate-veo-videoojimengsi está configurado. - Para habilitar la generación de video de ByteDance Seedance, establece
SEEDANCE_API_KEY. Costo: medido por clip. Calidad: estado del arte para movimiento realista. Responde 'skip' para recurrir ajimeng(Dreamina) que comparte la familia de modelos de ByteDance.
Capacidades
script.storyboard — brief, dirección creativa, guion, lista de tomas, temporización y plan de assets
Usa esto antes de la generación, búsqueda, captura o ensamblaje cuando el usuario da un concepto vago o pide un video completo. Por defecto, realiza la planificación directamente como trabajo del agente: produce un brief estructurado, dirección creativa global, arco narrativo/emocional, arco de audio, guion/narración, lista de tomas, mapa de temporización, requisitos de assets y storyboard revisable antes de dedicar tiempo a descargas o generación.
Para cualquier video no trivial, lee references/story-structure-audio.md y guarda creative_direction.md antes del ensamblaje final. Esto es obligatorio para avances, montajes deportivos/musicales, comentarios de películas, ediciones de metraje encontrado, videos de lanzamiento de productos y cualquier salida donde clips planos aleatorios o música aburrida no cumplirían con el brief.
Puerta dura: no comiences el ensamblaje final para un video no trivial hasta que exista creative_direction.md. plan.md no es un sustituto. El archivo debe incluir la duración objetivo o el rango de duración solicitado, el idioma de salida, una tabla de roles de tomas con tiempo, compás, fuente/rol de la toma, evento de audio, rol de título/subtítulo y riesgo de fallo; rechaza planes donde el final/último acto no tenga recompensa, clímax, revelación, resumen útil o un gancho deliberado sin resolver apropiado al género. Regla de idioma: si el usuario especifica un idioma de salida, úsalo para todo el contenido dirigido al usuario generado por el agente; de lo contrario, usa el idioma que el usuario está usando en la conversación.
| Proveedor | Tipo | Requiere | Costo | Calidad | Offline |
|---|---|---|---|---|---|
| Planificación nativa del agente | agente-nativo | ninguno | gratis | alta | sí |
Habilidad storyboard-creation | habilidad-agente | habilidad instalada | gratis | alta | sí |
Habilidad remotion-best-practices | habilidad-agente | habilidad instalada | gratis | alta para video con código React | sí |
Selección:
- Comienza con planificación nativa del agente para guiones normales, listas de tomas, mapas de temporización y planes de assets.
- Incluye
creative_direction.mdcon la promesa de una frase, el arco narrativo, la curva emocional, el arco de audio, la curva de densidad de corte, el motivo visual, los roles de fuente y las barreras contra la monotonía. - Usa
storyboard-creationsolo cuando necesites convenciones explícitas de paneles de storyboard, gramática de ángulos de cámara, comprobaciones de continuidad o planificación de animática. - Usa
remotion-best-practicessolo cuando el storyboard se implemente como código de video con movimiento en React/Remotion.
video.search — descubrir metraje de internet candidato
Usa esto antes de video.download cuando el usuario pide metraje encontrado, B-roll, clips de dominio público, material de archivo, material de YouTube/Bilibili o momentos nombrados de películas/series/videojuegos/anime. Prefiere fuentes gratuitas/abiertas primero y registra la URL de origen, la licencia, el creador y el requisito de atribución antes de editar.
Para entregables de metraje encontrado o afirmaciones de origen de plataforma, lee references/source-triage.md y clasifica cada candidato como fuente directa de la plataforma, transporte verificado de origen de plataforma o espejo débil.
| Proveedor | Tipo | Requiere | Costo | Calidad | Offline |
|---|---|---|---|---|---|
| Búsqueda web + filtros de fuente | búsqueda-web | acceso a búsqueda en línea | gratis | buena | no |
Disciplina de búsqueda:
- Para B-roll reutilizable/comercialmente seguro, comienza con Wikimedia Commons, YouTube Creative Commons u otras páginas de stock/dominio público buscables en el navegador y mantén los metadatos de atribución junto a cada archivo descargado.
- Para flujos de trabajo de referencia de Bilibili/YouTube o ediciones de fans, busca nombres de escena específicos en lugar de términos genéricos. Añade modificadores de calidad como
1080p,4K,HD,BD,蓝光o高清. - Para Bilibili, usa búsqueda web dirigida como
site:bilibili.com "Game of Thrones" S3E09 BV; las subidas independientes de/video/BV...suelen ser más fáciles de procesar que las URLs de bangumi con restricciones geográficas. - No trates la descargabilidad como permiso. Si la licencia o la autorización del usuario no están claras, pregunta antes de usar el metraje en un entregable.
video.download — descargar/importar video web al espacio de trabajo
Usa esto después de que video.search identifique URLs candidatas, o directamente cuando el usuario proporcione URLs. Mantén todas las descargas sin procesar en un directorio sources/, guarda sources.json con URL/licencia/creador/procedencia y normaliza los nombres de archivo antes de la edición posterior.
Para metraje de internet, sources.json debe registrar la URL de la plataforma, la URL de transporte si es diferente, el comando, la ruta del archivo de cookies si se usó, el resumen del archivo local, el resumen de sonda, los rangos seleccionados, el rol de la fuente, las notas de licencia/derechos y las advertencias de calidad.
| Proveedor | Tipo | Requiere | Costo | Calidad | Offline |
|---|---|---|---|---|---|
yt-dlp | cli-público | yt-dlp + ffmpeg | gratis | alta | no |
you-get | cli-público | binario you-get | gratis | buena | no |
lux | cli-público | lux + ffmpeg | gratis | buena | no |
BBDown | cli-público | BBDown + ffmpeg | gratis | alta para Bilibili | no |
Notas operativas:
- Prefiere
yt-dlp -f "bestvideo[height>=1080]+bestaudio/best" --merge-output-format mp4para URLs de YouTube/Bilibili cuando la calidad importa. Usa cookies solo cuando el usuario haya autorizado el acceso al contenido. - Para extracción solo de audio de Bilibili, evita
yt-dlp -x --audio-format mp3; descarga el m4a sin procesar y conviértelo conffmpeg, luego verifica el volumen antes de usarlo. - Usa
BBDowncuando los metadatos específicos de Bilibili, subtítulos, danmaku, listas de reproducción o transmisiones de miembros de alta calidad sean centrales para la tarea.
music.search — descubrir canciones existentes, BGM o fuentes de audio limpias
Usa esto antes de music.download cuando el usuario quiera una canción existente, pista de banda sonora, pista libre de derechos, audio de plataforma o una versión/cover específica. Mantén la búsqueda centrada en la música solicitada, no solo en cualquier audio disponible. Registra título, artista, URL de plataforma, subidor, tipo de fuente, notas de versión, derechos/licencias y atribución en music_sources.json.
| Proveedor | Tipo | Requiere | Costo | Calidad | Offline |
|---|---|---|---|---|---|
| Búsqueda web + filtros de fuente | búsqueda-web | acceso a búsqueda en línea | gratis | buena | no |
Extractores de búsqueda yt-dlp | cli-público | yt-dlp | gratis | buena | no |
spotdl metadatos/búsqueda | cli-público | spotdl | gratis | buena para canciones vinculadas a Spotify | no |
Disciplina de búsqueda:
- Para audio limpio, busca la subida oficial del artista, subida del sello, audio oficial/MV, video lyric verificado o una subida de audio independiente sin descriptores adicionales.
- Si el usuario pide una versión específica como
女生版, dúo, piano, acústica, en vivo, DJ, karaoke o instrumental, verifica que el título/subidor/metadatos nombren exactamente esa versión antes de comprometerte. - Rechaza títulos candidatos que impliquen la fuente incorrecta:
remix,cover,fan edit,AMV,MAD,mashup, compilación, mezcla de tráiler o banda sonora/OST no relacionada a menos que el usuario haya pedido explícitamente esa variante. - Para canciones promocionales y de enlace, asume que es posible que haya sangrado de diálogo/voz en off/efectos de sonido. Busca alternativas con
{artist} {song} 纯音乐,{song} 无对白,{song} 歌词版,official audioolyric videoantes de pedir al usuario que acepte una fuente arriesgada. - No trates la descargabilidad como permiso. Si los derechos, la licencia o la autorización del usuario no están claros, pregunta antes de usar la música en un entregable.
music.download — descargar/importar música existente al espacio de trabajo
Usa esto después de que music.search identifique un candidato o directamente cuando el usuario proporcione una URL/archivo local de música. Mantén las descargas sin procesar en sources/music/, guarda music_sources.json y crea un archivo de trabajo normalizado para la edición.
| Proveedor | Tipo | Requiere | Costo | Calidad | Offline |
|---|---|---|---|---|---|
Descarga de audio yt-dlp | cli-público | yt-dlp + ffmpeg | gratis | alta | no |
spotdl | cli-público | spotdl + ffmpeg | gratis | buena para metadatos vinculados a Spotify | no |
scdl | cli-público | scdl | gratis | buena para SoundCloud | no |
bandcamp-dl | cli-público | bandcamp-dl | gratis | buena para Bandcamp | no |
Importación de archivo local + ffmpeg | nativo | ffmpeg | gratis | alta | sí |
Notas operativas:
- Usa solo música que el usuario esté autorizado a usar o que esté claramente licenciada para el entregable. No eludas DRM, muros de pago ni controles de acceso.
- Para URLs de audio generales, descarga el audio fuente primero, luego convierte explícitamente:
yt-dlp -f "bestaudio[ext=m4a]/bestaudio" -o "sources/music/audio_raw.%(ext)s" "URL"
ffmpeg -i sources/music/audio_raw.m4a -vn -c:a libmp3lame -q:a 0 sources/music/audio.mp3
- Para descargas solo de audio de Bilibili, no uses
yt-dlp -x --audio-format mp3; puede producir un MP3 de apariencia válida pero casi en silencio. Descarga el m4a sin procesar, conviértelo conffmpeg, luego verifica el volumen:
yt-dlp -f 30280 -o "sources/music/audio_raw.%(ext)s" "BILIBILI_URL"
ffmpeg -i sources/music/audio_raw.m4a -c:a libmp3lame -q:a 0 sources/music/audio.mp3
ffmpeg -i sources/music/audio.mp3 -af volumedetect -f null - 2>&1 | grep mean_volume
Rechaza archivos con un volumen medio por debajo de aproximadamente -40dB a menos que se espere silencio.
- Escucha muestras en al menos tres puntos antes de editar, especialmente para canciones promocionales/OST/de enlace:
ffplay -ss 30 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 90 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 150 -t 5 -autoexit sources/music/audio.mp3
- Normaliza o empareja el volumen solo después de verificar que la fuente es la canción/versión correcta y no tiene sangrado de diálogo/efectos de sonido.
visual.capture — grabar pantalla / cámara web / ventana
| Proveedor | Tipo | Requiere | Costo | Calidad | Offline |
|---|---|---|---|---|---|
cli-anything-openscreen | cli-harness | harness instalado | gratis | alta | sí |
cli-anything-obs-studio | cli-harness | OBS instalado | gratis | alta | sí |
ffmpeg -f x11grab / avfoundation | nativo | ffmpeg | gratis | alta | sí |
screencapture | nativo | macOS | gratis | alta | sí |
mss / pyautogui + cv2 | python | paquetes | gratis | buena | sí |
visual.generate — producir un clip de video a partir de prompt/referencia
| Proveedor | Tipo | Requiere | Costo | Calidad | Offline |
|---|
… [truncado para traducción]