O que Matriz de Criação de Vídeo (v3 — baseada em capacidades) faz?
Esta matriz descreve capacidades que o agente pode compor sob demanda — não uma pipeline fixa. Um fluxo de trabalho de "criação de vídeo" escolhe uma receita (quais capacidades são necessárias) e, para cada capacidade, escolhe um provedor a partir dos requisitos da tarefa e das informações de pré-verificação abaixo.
Esquema: docs/cli-matrix/matrix_registry.schema.md.
Instalação (parte instalável)
cli-hub matrix install video-creation # instala apenas os CLIs da matriz registrados
cli-hub matrix info video-creation # inspeciona provedores e receitas
cli-hub matrix preflight video-creation # verifica provedores disponíveis neste ambiente
Nem tudo nesta matriz é instalado por cli-hub matrix install. APIs de nuvem, pacotes Python, binários nativos, CLIs públicas de terceiros e habilidades externas também são provedores de primeira classe, mas instale-os somente depois que a tarefa realmente precisar desse provedor.
Não escreva manualmente pip install ...#subdirectory=... para membros da matriz do CLI-Anything; instale os harnesses suportados através de cli-hub matrix install video-creation, depois use preflight para ver o que mais já está disponível.
Restrições de seleção de provedores (agente: avalie por capacidade)
- Use preflight como um relatório de disponibilidade, não como um seletor de provedores.
- Escolha provedores com base no objetivo do usuário, nível de qualidade, orçamento, necessidades offline, estado das credenciais, custo de instalação e fluxo de trabalho solicitado.
- Trate a ordem do registro/provedor apenas como ordem de documentação; não presuma que o primeiro provedor é o correto.
- Instale bibliotecas Python, binários nativos, CLIs harness, CLIs públicas ou habilidades de agente apenas quando eles se encaixarem nas restrições da tarefa.
- Recorra a APIs pagas ou medidas somente quando o usuário forneceu credenciais ou consentiu explicitamente. Nunca chame uma API paga silenciosamente.
- Se uma tarefa se enquadrar em um gênero com uma regra de provedor obrigatório, o provedor não é opcional. Não substitua por uma alternativa mais barata/mais fácil apenas porque é localmente conveniente.
Contexto offline? Filtre apenas para provedores offline: true.
Pré-verificação (execute uma vez por sessão, armazene o resultado em cache)
Execute a pré-verificação de matriz integrada primeiro:
cli-hub matrix preflight video-creation --json
cli-hub matrix preflight video-creation --capability composite.assemble
cli-hub matrix preflight video-creation --offline
Se precisar de verificações brutas ou estiver executando sem o cli-hub mais recente, use o bloco manual:
cli-hub list --json
python - <<'PY'
import importlib.util
for m in ("moviepy","whisper","pydub","PIL","edge_tts","pysrt","pysubs2","yt_dlp","spotdl","scenedetect","paddleocr","twelvelabs"):
print(m, importlib.util.find_spec(m) is not None)
PY
for b in ffmpeg ffprobe sox convert magick screencapture yt-dlp spotdl scdl bandcamp-dl you-get lux BBDown scenedetect mediainfo ffmpeg-quality-metrics paddleocr hyperframes; do command -v "$b" >/dev/null && echo "$b: yes" || echo "$b: no"; done
for e in RUNWAY_API_KEY KLING_API_KEY PIKA_API_KEY SEEDANCE_API_KEY \
ELEVENLABS_API_KEY MINIMAX_API_KEY OPENAI_API_KEY GOOGLE_CLOUD_PROJECT \
ASSEMBLYAI_API_KEY DEEPGRAM_API_KEY \
SUNO_API_KEY UDIO_API_KEY IDEOGRAM_API_KEY STABILITY_API_KEY \
TWELVELABS_API_KEY GOOGLE_APPLICATION_CREDENTIALS; do
[ -n "${!e}" ] && echo "$e: set" || echo "$e: unset"
done
Modelo de sugestão ao usuário (agente usa textualmente ao escalar)
Para habilitar <capacidade> via <provedor>, por favor, defina <ENV_VAR>.
Custo: <notas de custo>
Qualidade: <nível de qualidade>
Responda 'pular' para recorrer a <próximo provedor>.
Exemplos:
- Para habilitar vídeo cinematográfico por IA via Runway Gen-4, por favor, defina
RUNWAY_API_KEY. Custo: ~US$ 0,05/seg a partir de 2026-04. Qualidade: state-of-the-art. Responda 'pular' para recorrer agenerate-veo-videooujimengse configurado. - Para habilitar a geração de vídeo ByteDance Seedance, por favor, defina
SEEDANCE_API_KEY. Custo: medido por clipe. Qualidade: state-of-the-art para movimento realista. Responda 'pular' para recorrer ajimeng(Dreamina) que compartilha a família de modelos ByteDance.
Capacidades
script.storyboard — briefing para direção criativa, roteiro, lista de planos, cronograma e plano de ativos
Use isso antes de geração, busca, captura ou montagem quando o usuário fornecer um conceito vago ou pedir um vídeo completo. Por padrão, faça o planejamento diretamente como trabalho do agente: produza um briefing estruturado, direção criativa global, arco narrativo/emocional, arco de áudio, roteiro/narração, lista de planos, mapa de cronograma, requisitos de ativos e storyboard revisável antes de gastar tempo em downloads ou geração.
Para qualquer vídeo não trivial, leia references/story-structure-audio.md e salve creative_direction.md antes da montagem final. Isso é obrigatório para trailers, montagens esportivas/musicais, comentários de filmes, edições de found footage, vídeos de lançamento de produto e qualquer saída onde clipes planos aleatórios ou música chata falhariam o briefing.
Portão rígido: não comece a montagem final para um vídeo não trivial até que creative_direction.md exista. plan.md não é um substituto. O arquivo deve incluir duração alvo ou intervalo de duração solicitado, idioma de saída, uma tabela de função do plano com tempo, batida, função da fonte/plano, evento de áudio, função da legenda/título e risco de falha; rejeite planos onde o final/ato final não tem recompensa, clímax, revelação, recapitulação útil ou gancho não resolvido deliberado apropriado ao gênero. Regra de idioma: se o usuário especificar um idioma de saída, use-o para todo o conteúdo voltado para o espectador escrito pelo agente; caso contrário, use o idioma que o usuário está usando na conversa.
| Provedor | Tipo | Requer | Custo | Qualidade | Offline |
|---|---|---|---|---|---|
| Planejamento nativo do agente | nativo-do-agente | nenhum | gratuito | alta | sim |
Habilidade storyboard-creation | habilidade-do-agente | habilidade instalada | gratuito | alta | sim |
Habilidade remotion-best-practices | habilidade-do-agente | habilidade instalada | gratuito | alta para vídeo de movimento baseado em código | sim |
Seleção:
- Comece com planejamento nativo do agente para roteiros normais, listas de planos, mapas de cronograma e planos de ativos.
- Inclua
creative_direction.mdcom a promessa de uma frase, arco da história, curva emocional, arco de áudio, curva de densidade de corte, motivo visual, funções da fonte e salvaguardas contra falta de dinamismo. - Use
storyboard-creationapenas quando precisar de convenções explícitas de painéis de storyboard, gramática de ângulo de câmera, verificações de continuidade ou planejamento de animatic. - Use
remotion-best-practicesapenas quando o storyboard for implementado como código de vídeo de movimento Remotion/React.
video.search — descobrir filmagens candidatas da internet
Use isso antes de video.download quando o usuário pedir found footage, B-roll, clipes de domínio público, imagens de arquivo, material do YouTube/Bilibili ou momentos nomeados de filmes/TV/jogos/animes. Prefira fontes gratuitas/abertas primeiro e registre URL da fonte, licença, criador e exigência de atribuição antes de editar.
Para entregas de found footage ou alegações de origem de plataforma, leia references/source-triage.md e classifique cada candidato como fonte direta da plataforma, transporte verificado de origem da plataforma ou espelho fraco.
| Provedor | Tipo | Requer | Custo | Qualidade | Offline |
|---|---|---|---|---|---|
| Pesquisa na web + filtros de fonte | pesquisa-web | acesso a pesquisa online | gratuito | boa | não |
Disciplina de pesquisa:
- Para B-roll reutilizável/seguro para uso comercial, comece com Wikimedia Commons, YouTube Creative Commons ou outras páginas de domínio público/banco de imagens pesquisáveis pelo navegador e mantenha metadados de atribuição ao lado de cada arquivo baixado.
- Para fluxos de trabalho de referência do Bilibili/YouTube ou fan-edit, pesquise nomes de cena específicos em vez de termos genéricos. Adicione modificadores de qualidade como
1080p,4K,HD,BD,蓝光ou高清. - Para Bilibili, use pesquisa web direcionada como
site:bilibili.com "Game of Thrones" S3E09 BV; uploads independentes/video/BV...geralmente são mais fáceis de processar do que URLs de bangumi com restrição geográfica. - Não trate a capacidade de download como permissão. Se a licença ou autorização do usuário não estiver clara, pergunte antes de usar as filmagens em uma entrega.
video.download — baixar/importar vídeo da web para o espaço de trabalho
Use isso depois que video.search identificar URLs candidatas, ou diretamente quando o usuário fornecer URLs. Mantenha todos os downloads brutos em um diretório sources/, salve sources.json com URL/licença/criador/procedência e normalize os nomes de arquivo antes da edição downstream.
Para filmagens da internet, sources.json deve registrar a URL da plataforma, URL de transporte se diferente, comando, caminho do arquivo de cookie se usado, arquivo local, resumo de probe, intervalos selecionados, função da fonte, notas de licença/direitos e ressalvas de qualidade.
| Provedor | Tipo | Requer | Custo | Qualidade | Offline |
|---|---|---|---|---|---|
yt-dlp | cli-público | yt-dlp + ffmpeg | gratuito | alta | não |
you-get | cli-público | binário you-get | gratuito | boa | não |
lux | cli-público | lux + ffmpeg | gratuito | boa | não |
BBDown | cli-público | BBDown + ffmpeg | gratuito | alta para Bilibili | não |
Notas operacionais:
- Prefira
yt-dlp -f "bestvideo[height>=1080]+bestaudio/best" --merge-output-format mp4para URLs do YouTube/Bilibili quando a qualidade importar. Use cookies apenas quando o usuário tiver autorizado o acesso ao conteúdo. - Para extração somente de áudio do Bilibili, evite
yt-dlp -x --audio-format mp3; baixe o m4a bruto e converta comffmpeg, depois verifique o volume antes de usá-lo. - Use
BBDownquando metadados específicos do Bilibili, legendas, danmaku, playlists ou streams de membros de alta qualidade forem centrais para a tarefa.
music.search — descobrir músicas existentes, BGM ou fontes de áudio limpas
Use isso antes de music.download quando o usuário quiser uma música existente, faixa de trilha sonora, faixa livre de royalties, áudio de plataforma ou uma versão/cover específico(a). Mantenha a pesquisa focada na música solicitada, não apenas em qualquer áudio disponível. Registre título, artista, URL da plataforma, uploader, tipo de fonte, notas de versão, direitos/licenciamento e atribuição em music_sources.json.
| Provedor | Tipo | Requer | Custo | Qualidade | Offline |
|---|---|---|---|---|---|
| Pesquisa na web + filtros de fonte | pesquisa-web | acesso a pesquisa online | gratuito | boa | não |
Extratores de pesquisa yt-dlp | cli-público | yt-dlp | gratuito | boa | não |
Metadados/pesquisa spotdl | cli-público | spotdl | gratuito | boa para músicas vinculadas ao Spotify | não |
Disciplina de pesquisa:
- Para áudio limpo, procure o upload oficial do artista, upload da gravadora, áudio oficial/MV, vídeo com letras verificado ou um upload de áudio independente sem descritores extras.
- Se o usuário pedir uma versão específica como
女生版, dueto, piano, acústica, ao vivo, DJ, karaokê ou instrumental, verifique se o título/uploader/nomes de metadados correspondem exatamente a essa versão antes de confirmar. - Rejeite títulos candidatos que impliquem a fonte errada:
remix,cover,fan edit,AMV,MAD,mashup, compilação, mix de trailer ou OST/trilha sonora não relacionada, a menos que o usuário tenha pedido explicitamente essa variante. - Para músicas de tie-in e faixas promocionais, presuma que vazamento de diálogo/voz/SFX é possível. Pesquise alternativas com
{artist} {song} 纯音乐,{song} 无对白,{song} 歌词版,official audiooulyric videoantes de pedir ao usuário para aceitar uma fonte arriscada. - Não trate a capacidade de download como permissão. Se direitos, licença ou autorização do usuário não estiverem claros, pergunte antes de usar a música em uma entrega.
music.download — baixar/importar música existente para o espaço de trabalho
Use isso depois que music.search identificar um candidato ou diretamente quando o usuário fornecer uma URL/local de música. Mantenha os downloads brutos em sources/music/, salve music_sources.json e crie um arquivo de trabalho normalizado para edição.
| Provedor | Tipo | Requer | Custo | Qualidade | Offline |
|---|---|---|---|---|---|
Download de áudio yt-dlp | cli-público | yt-dlp + ffmpeg | gratuito | alta | não |
spotdl | cli-público | spotdl + ffmpeg | gratuito | boa para metadados vinculados ao Spotify | não |
scdl | cli-público | scdl | gratuito | boa para SoundCloud | não |
bandcamp-dl | cli-público | bandcamp-dl | gratuito | boa para Bandcamp | não |
Importação de arquivo local + ffmpeg | nativo | ffmpeg | gratuito | alta | sim |
Notas operacionais:
- Use apenas música que o usuário está autorizado a usar ou que esteja claramente licenciada para a entrega. Não contorne DRM, paywalls ou controles de acesso.
- Para URLs de áudio gerais, baixe o áudio fonte primeiro, depois converta explicitamente:
yt-dlp -f "bestaudio[ext=m4a]/bestaudio" -o "sources/music/audio_raw.%(ext)s" "URL"
ffmpeg -i sources/music/audio_raw.m4a -vn -c:a libmp3lame -q:a 0 sources/music/audio.mp3
- Para downloads somente de áudio do Bilibili, não use
yt-dlp -x --audio-format mp3; pode produzir um MP3 de aparência válida, mas quase silencioso. Baixe o m4a bruto, converta comffmpeg, depois verifique o volume:
yt-dlp -f 30280 -o "sources/music/audio_raw.%(ext)s" "BILIBILI_URL"
ffmpeg -i sources/music/audio_raw.m4a -c:a libmp3lame -q:a 0 sources/music/audio.mp3
ffmpeg -i sources/music/audio.mp3 -af volumedetect -f null - 2>&1 | grep mean_volume
Rejeite arquivos com volume médio abaixo de aproximadamente -40dB a menos que o silêncio seja esperado.
- Ouça amostras em pelo menos três pontos antes de editar, especialmente para músicas promocionais/OST/tie-in:
ffplay -ss 30 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 90 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 150 -t 5 -autoexit sources/music/audio.mp3
- Normalize ou equalize o loudness somente depois de verificar que a fonte é a música/versão correta e não tem vazamento de diálogo/SFX.
visual.capture — gravar tela / webcam / janela
| Provedor | Tipo | Requer | Custo | Qualidade | Offline |
|---|---|---|---|---|---|
cli-anything-openscreen | harness-cli | harness instalado | gratuito | alta | sim |
cli-anything-obs-studio | harness-cli | OBS instalado | gratuito | alta | sim |
ffmpeg -f x11grab / avfoundation | nativo | ffmpeg | gratuito | alta | sim |
screencapture | nativo | macOS | gratuito | alta | sim |
mss / pyautogui + cv2 | python | pacotes | gratuito | boa | sim |
visual.generate — produzir um clipe de vídeo a partir de prompt/referência
| Provedor | Tipo | Requer | Custo | Qualidade | Offline | |---|