Communitygithub.com

Matriz de Criação de Vídeo (v3 — baseada em capacidades)

Matriz multi-ferramenta baseada em capacidades para produção de vídeo. Agentes escolhem provedores (harnesses CLI-Anything, CLIs públicas, bibliotecas Python, binários nativos, APIs de nuvem) por capacidade, em vez de seguir estágios fixos, incluindo planejamento de storyboard, direção de história/áudio, triagem de fontes, busca/download de vídeo/música da internet, captura/geração, análise, design de som, design de legendas de alto nível, investigação de NLE/render doctor, revisão e empacotamento.

O que é Matriz de Criação de Vídeo (v3 — baseada em capacidades)?

Este documento descreve uma matriz de capacidades para produção de vídeo assistida por IA, focada em permitir que agentes componham fluxos de trabalho de forma flexível, escolhendo provedores específicos para cada etapa necessária, em vez de seguir uma pipeline fixa. A matriz abrange desde o planejamento criativo (storyboard, roteiro) até a descoberta e download de conteúdo da web, captura de tela, geração de vídeo por IA, design de som, legendas avançadas e empacotamento final. É útil para desenvolvedores e agentes de IA que precisam criar vídeos de alta qualidade de forma automatizada, combinando diferentes ferramentas como CLIs públicas (yt-dlp, ffmpeg), bibliotecas Python (moviepy, whisper), APIs de nuvem (Runway, ElevenLabs) e habilidades de agente especializadas. A abordagem baseada em capacidades garante que o agente selecione a melhor ferramenta para cada tarefa, considerando custo, qualidade, disponibilidade offline e preferências do usuário.

Funciona com✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/HKUDS/CLI-Anything/tree/HEAD/cli-hub-matrix/video-creation

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que Matriz de Criação de Vídeo (v3 — baseada em capacidades) faz?

Esta matriz descreve capacidades que o agente pode compor sob demanda — não uma pipeline fixa. Um fluxo de trabalho de "criação de vídeo" escolhe uma receita (quais capacidades são necessárias) e, para cada capacidade, escolhe um provedor a partir dos requisitos da tarefa e das informações de pré-verificação abaixo.

Esquema: docs/cli-matrix/matrix_registry.schema.md.

Instalação (parte instalável)

cli-hub matrix install video-creation   # instala apenas os CLIs da matriz registrados
cli-hub matrix info    video-creation   # inspeciona provedores e receitas
cli-hub matrix preflight video-creation # verifica provedores disponíveis neste ambiente

Nem tudo nesta matriz é instalado por cli-hub matrix install. APIs de nuvem, pacotes Python, binários nativos, CLIs públicas de terceiros e habilidades externas também são provedores de primeira classe, mas instale-os somente depois que a tarefa realmente precisar desse provedor. Não escreva manualmente pip install ...#subdirectory=... para membros da matriz do CLI-Anything; instale os harnesses suportados através de cli-hub matrix install video-creation, depois use preflight para ver o que mais já está disponível.


Restrições de seleção de provedores (agente: avalie por capacidade)

  1. Use preflight como um relatório de disponibilidade, não como um seletor de provedores.
  2. Escolha provedores com base no objetivo do usuário, nível de qualidade, orçamento, necessidades offline, estado das credenciais, custo de instalação e fluxo de trabalho solicitado.
  3. Trate a ordem do registro/provedor apenas como ordem de documentação; não presuma que o primeiro provedor é o correto.
  4. Instale bibliotecas Python, binários nativos, CLIs harness, CLIs públicas ou habilidades de agente apenas quando eles se encaixarem nas restrições da tarefa.
  5. Recorra a APIs pagas ou medidas somente quando o usuário forneceu credenciais ou consentiu explicitamente. Nunca chame uma API paga silenciosamente.
  6. Se uma tarefa se enquadrar em um gênero com uma regra de provedor obrigatório, o provedor não é opcional. Não substitua por uma alternativa mais barata/mais fácil apenas porque é localmente conveniente.

Contexto offline? Filtre apenas para provedores offline: true.


Pré-verificação (execute uma vez por sessão, armazene o resultado em cache)

Execute a pré-verificação de matriz integrada primeiro:

cli-hub matrix preflight video-creation --json
cli-hub matrix preflight video-creation --capability composite.assemble
cli-hub matrix preflight video-creation --offline

Se precisar de verificações brutas ou estiver executando sem o cli-hub mais recente, use o bloco manual:

cli-hub list --json
python - <<'PY'
import importlib.util
for m in ("moviepy","whisper","pydub","PIL","edge_tts","pysrt","pysubs2","yt_dlp","spotdl","scenedetect","paddleocr","twelvelabs"):
    print(m, importlib.util.find_spec(m) is not None)
PY
for b in ffmpeg ffprobe sox convert magick screencapture yt-dlp spotdl scdl bandcamp-dl you-get lux BBDown scenedetect mediainfo ffmpeg-quality-metrics paddleocr hyperframes; do command -v "$b" >/dev/null && echo "$b: yes" || echo "$b: no"; done
for e in RUNWAY_API_KEY KLING_API_KEY PIKA_API_KEY SEEDANCE_API_KEY \
         ELEVENLABS_API_KEY MINIMAX_API_KEY OPENAI_API_KEY GOOGLE_CLOUD_PROJECT \
         ASSEMBLYAI_API_KEY DEEPGRAM_API_KEY \
         SUNO_API_KEY UDIO_API_KEY IDEOGRAM_API_KEY STABILITY_API_KEY \
         TWELVELABS_API_KEY GOOGLE_APPLICATION_CREDENTIALS; do
  [ -n "${!e}" ] && echo "$e: set" || echo "$e: unset"
done

Modelo de sugestão ao usuário (agente usa textualmente ao escalar)

Para habilitar <capacidade> via <provedor>, por favor, defina <ENV_VAR>.
  Custo: <notas de custo>
  Qualidade: <nível de qualidade>
Responda 'pular' para recorrer a <próximo provedor>.

Exemplos:

  • Para habilitar vídeo cinematográfico por IA via Runway Gen-4, por favor, defina RUNWAY_API_KEY. Custo: ~US$ 0,05/seg a partir de 2026-04. Qualidade: state-of-the-art. Responda 'pular' para recorrer a generate-veo-video ou jimeng se configurado.
  • Para habilitar a geração de vídeo ByteDance Seedance, por favor, defina SEEDANCE_API_KEY. Custo: medido por clipe. Qualidade: state-of-the-art para movimento realista. Responda 'pular' para recorrer a jimeng (Dreamina) que compartilha a família de modelos ByteDance.

Capacidades

script.storyboard — briefing para direção criativa, roteiro, lista de planos, cronograma e plano de ativos

Use isso antes de geração, busca, captura ou montagem quando o usuário fornecer um conceito vago ou pedir um vídeo completo. Por padrão, faça o planejamento diretamente como trabalho do agente: produza um briefing estruturado, direção criativa global, arco narrativo/emocional, arco de áudio, roteiro/narração, lista de planos, mapa de cronograma, requisitos de ativos e storyboard revisável antes de gastar tempo em downloads ou geração.

Para qualquer vídeo não trivial, leia references/story-structure-audio.md e salve creative_direction.md antes da montagem final. Isso é obrigatório para trailers, montagens esportivas/musicais, comentários de filmes, edições de found footage, vídeos de lançamento de produto e qualquer saída onde clipes planos aleatórios ou música chata falhariam o briefing.

Portão rígido: não comece a montagem final para um vídeo não trivial até que creative_direction.md exista. plan.md não é um substituto. O arquivo deve incluir duração alvo ou intervalo de duração solicitado, idioma de saída, uma tabela de função do plano com tempo, batida, função da fonte/plano, evento de áudio, função da legenda/título e risco de falha; rejeite planos onde o final/ato final não tem recompensa, clímax, revelação, recapitulação útil ou gancho não resolvido deliberado apropriado ao gênero. Regra de idioma: se o usuário especificar um idioma de saída, use-o para todo o conteúdo voltado para o espectador escrito pelo agente; caso contrário, use o idioma que o usuário está usando na conversa.

ProvedorTipoRequerCustoQualidadeOffline
Planejamento nativo do agentenativo-do-agentenenhumgratuitoaltasim
Habilidade storyboard-creationhabilidade-do-agentehabilidade instaladagratuitoaltasim
Habilidade remotion-best-practiceshabilidade-do-agentehabilidade instaladagratuitoalta para vídeo de movimento baseado em códigosim

Seleção:

  • Comece com planejamento nativo do agente para roteiros normais, listas de planos, mapas de cronograma e planos de ativos.
  • Inclua creative_direction.md com a promessa de uma frase, arco da história, curva emocional, arco de áudio, curva de densidade de corte, motivo visual, funções da fonte e salvaguardas contra falta de dinamismo.
  • Use storyboard-creation apenas quando precisar de convenções explícitas de painéis de storyboard, gramática de ângulo de câmera, verificações de continuidade ou planejamento de animatic.
  • Use remotion-best-practices apenas quando o storyboard for implementado como código de vídeo de movimento Remotion/React.

video.search — descobrir filmagens candidatas da internet

Use isso antes de video.download quando o usuário pedir found footage, B-roll, clipes de domínio público, imagens de arquivo, material do YouTube/Bilibili ou momentos nomeados de filmes/TV/jogos/animes. Prefira fontes gratuitas/abertas primeiro e registre URL da fonte, licença, criador e exigência de atribuição antes de editar.

Para entregas de found footage ou alegações de origem de plataforma, leia references/source-triage.md e classifique cada candidato como fonte direta da plataforma, transporte verificado de origem da plataforma ou espelho fraco.

ProvedorTipoRequerCustoQualidadeOffline
Pesquisa na web + filtros de fontepesquisa-webacesso a pesquisa onlinegratuitoboanão

Disciplina de pesquisa:

  • Para B-roll reutilizável/seguro para uso comercial, comece com Wikimedia Commons, YouTube Creative Commons ou outras páginas de domínio público/banco de imagens pesquisáveis pelo navegador e mantenha metadados de atribuição ao lado de cada arquivo baixado.
  • Para fluxos de trabalho de referência do Bilibili/YouTube ou fan-edit, pesquise nomes de cena específicos em vez de termos genéricos. Adicione modificadores de qualidade como 1080p, 4K, HD, BD, 蓝光 ou 高清.
  • Para Bilibili, use pesquisa web direcionada como site:bilibili.com "Game of Thrones" S3E09 BV; uploads independentes /video/BV... geralmente são mais fáceis de processar do que URLs de bangumi com restrição geográfica.
  • Não trate a capacidade de download como permissão. Se a licença ou autorização do usuário não estiver clara, pergunte antes de usar as filmagens em uma entrega.

video.download — baixar/importar vídeo da web para o espaço de trabalho

Use isso depois que video.search identificar URLs candidatas, ou diretamente quando o usuário fornecer URLs. Mantenha todos os downloads brutos em um diretório sources/, salve sources.json com URL/licença/criador/procedência e normalize os nomes de arquivo antes da edição downstream.

Para filmagens da internet, sources.json deve registrar a URL da plataforma, URL de transporte se diferente, comando, caminho do arquivo de cookie se usado, arquivo local, resumo de probe, intervalos selecionados, função da fonte, notas de licença/direitos e ressalvas de qualidade.

ProvedorTipoRequerCustoQualidadeOffline
yt-dlpcli-públicoyt-dlp + ffmpeggratuitoaltanão
you-getcli-públicobinário you-getgratuitoboanão
luxcli-públicolux + ffmpeggratuitoboanão
BBDowncli-públicoBBDown + ffmpeggratuitoalta para Bilibilinão

Notas operacionais:

  • Prefira yt-dlp -f "bestvideo[height>=1080]+bestaudio/best" --merge-output-format mp4 para URLs do YouTube/Bilibili quando a qualidade importar. Use cookies apenas quando o usuário tiver autorizado o acesso ao conteúdo.
  • Para extração somente de áudio do Bilibili, evite yt-dlp -x --audio-format mp3; baixe o m4a bruto e converta com ffmpeg, depois verifique o volume antes de usá-lo.
  • Use BBDown quando metadados específicos do Bilibili, legendas, danmaku, playlists ou streams de membros de alta qualidade forem centrais para a tarefa.

music.search — descobrir músicas existentes, BGM ou fontes de áudio limpas

Use isso antes de music.download quando o usuário quiser uma música existente, faixa de trilha sonora, faixa livre de royalties, áudio de plataforma ou uma versão/cover específico(a). Mantenha a pesquisa focada na música solicitada, não apenas em qualquer áudio disponível. Registre título, artista, URL da plataforma, uploader, tipo de fonte, notas de versão, direitos/licenciamento e atribuição em music_sources.json.

ProvedorTipoRequerCustoQualidadeOffline
Pesquisa na web + filtros de fontepesquisa-webacesso a pesquisa onlinegratuitoboanão
Extratores de pesquisa yt-dlpcli-públicoyt-dlpgratuitoboanão
Metadados/pesquisa spotdlcli-públicospotdlgratuitoboa para músicas vinculadas ao Spotifynão

Disciplina de pesquisa:

  • Para áudio limpo, procure o upload oficial do artista, upload da gravadora, áudio oficial/MV, vídeo com letras verificado ou um upload de áudio independente sem descritores extras.
  • Se o usuário pedir uma versão específica como 女生版, dueto, piano, acústica, ao vivo, DJ, karaokê ou instrumental, verifique se o título/uploader/nomes de metadados correspondem exatamente a essa versão antes de confirmar.
  • Rejeite títulos candidatos que impliquem a fonte errada: remix, cover, fan edit, AMV, MAD, mashup, compilação, mix de trailer ou OST/trilha sonora não relacionada, a menos que o usuário tenha pedido explicitamente essa variante.
  • Para músicas de tie-in e faixas promocionais, presuma que vazamento de diálogo/voz/SFX é possível. Pesquise alternativas com {artist} {song} 纯音乐, {song} 无对白, {song} 歌词版, official audio ou lyric video antes de pedir ao usuário para aceitar uma fonte arriscada.
  • Não trate a capacidade de download como permissão. Se direitos, licença ou autorização do usuário não estiverem claros, pergunte antes de usar a música em uma entrega.

music.download — baixar/importar música existente para o espaço de trabalho

Use isso depois que music.search identificar um candidato ou diretamente quando o usuário fornecer uma URL/local de música. Mantenha os downloads brutos em sources/music/, salve music_sources.json e crie um arquivo de trabalho normalizado para edição.

ProvedorTipoRequerCustoQualidadeOffline
Download de áudio yt-dlpcli-públicoyt-dlp + ffmpeggratuitoaltanão
spotdlcli-públicospotdl + ffmpeggratuitoboa para metadados vinculados ao Spotifynão
scdlcli-públicoscdlgratuitoboa para SoundCloudnão
bandcamp-dlcli-públicobandcamp-dlgratuitoboa para Bandcampnão
Importação de arquivo local + ffmpegnativoffmpeggratuitoaltasim

Notas operacionais:

  • Use apenas música que o usuário está autorizado a usar ou que esteja claramente licenciada para a entrega. Não contorne DRM, paywalls ou controles de acesso.
  • Para URLs de áudio gerais, baixe o áudio fonte primeiro, depois converta explicitamente:
yt-dlp -f "bestaudio[ext=m4a]/bestaudio" -o "sources/music/audio_raw.%(ext)s" "URL"
ffmpeg -i sources/music/audio_raw.m4a -vn -c:a libmp3lame -q:a 0 sources/music/audio.mp3
  • Para downloads somente de áudio do Bilibili, não use yt-dlp -x --audio-format mp3; pode produzir um MP3 de aparência válida, mas quase silencioso. Baixe o m4a bruto, converta com ffmpeg, depois verifique o volume:
yt-dlp -f 30280 -o "sources/music/audio_raw.%(ext)s" "BILIBILI_URL"
ffmpeg -i sources/music/audio_raw.m4a -c:a libmp3lame -q:a 0 sources/music/audio.mp3
ffmpeg -i sources/music/audio.mp3 -af volumedetect -f null - 2>&1 | grep mean_volume

Rejeite arquivos com volume médio abaixo de aproximadamente -40dB a menos que o silêncio seja esperado.

  • Ouça amostras em pelo menos três pontos antes de editar, especialmente para músicas promocionais/OST/tie-in:
ffplay -ss 30 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 90 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 150 -t 5 -autoexit sources/music/audio.mp3
  • Normalize ou equalize o loudness somente depois de verificar que a fonte é a música/versão correta e não tem vazamento de diálogo/SFX.

visual.capture — gravar tela / webcam / janela

ProvedorTipoRequerCustoQualidadeOffline
cli-anything-openscreenharness-cliharness instaladogratuitoaltasim
cli-anything-obs-studioharness-cliOBS instaladogratuitoaltasim
ffmpeg -f x11grab / avfoundationnativoffmpeggratuitoaltasim
screencapturenativomacOSgratuitoaltasim
mss / pyautogui + cv2pythonpacotesgratuitoboasim

visual.generate — produzir um clipe de vídeo a partir de prompt/referência

| Provedor | Tipo | Requer | Custo | Qualidade | Offline | |---|

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

cli-anything-adguardhome

>-

cli-anything-anygen

>-

cli-anything-audacity

>-

cli-anything-blender

>-

cli-anything-browser

Browser automation CLI using DOMShell MCP server. Maps Chrome

cli-anything-calibre

>-

cli-anything-ccswitch

CLI interface for CC Switch — manage AI coding tool configurations from the terminal

cli-anything-chromadb

>-

cli-anything-cloudanalyzer

Command-line interface for CloudAnalyzer — Agent-friendly harness for CloudAnalyzer, a QA platform for mapping, localization, and perception outputs. Supports 27 commands across 8 groups: point cloud evaluation, trajectory evaluation, ground segmentation QA, config-driven quality gates, baseline evolution, processing, visualization, and interactive REPL.

cli-anything-cloudcompare

Command-line interface for CloudCompare — Agent-friendly harness for CloudCompare, the open-source 3D point cloud and mesh processing software. Supports 41 commands across 9 groups: project management, session control, point cloud operations (subsample, filter, segment, analyze), mesh operations, distance computation (C2C, C2M), transformations (ICP, matrix), export (LAS/LAZ/PLY/PCD/OBJ/STL/E57), and interactive REPL.

cli-anything-comfyui

>-

cli-anything-dify-workflow

Wrapper for the Dify workflow DSL CLI. Create, inspect, validate, edit, and export Dify workflow files through a CLI-Anything harness.

cli-anything-drawio

>-

cli-anything-eez-studio

Use EEZ Studio from the command line: inspect and modify native .eez-project files, edit LVGL screens/widgets, manage SCPI commands, and invoke the real EEZ Studio backend for LVGL builds.

cli-anything-eth2-quickstart

>-

cli-anything-exa

>-

cli-anything-firefly-iii

Firefly III CLI - Personal finance management via CLI-Anything

cli-anything-freecad

Complete CLI harness for FreeCAD parametric 3D CAD modeler (258 commands). Covers ALL workbenches: Part (29 primitives + boolean + mirror + loft + sweep), Sketcher (26 cmds: geometry + constraints + editing), PartDesign (38 cmds: pad/pocket/groove/fillet/chamfer/patterns/hole/datum), Assembly (11 cmds), Mesh (16 cmds), TechDraw (15 cmds: views + dimensions + PDF/SVG), Draft (33 cmds: 2D shapes + arrays + transforms), FEM (12 cmds), CAM/CNC (10 cmds), Surface (6 cmds), Spreadsheet (7 cmds), Import (13 formats), Export (17 formats), Measure (12 cmds), Materials (21 presets). Headless FreeCAD export to STEP/IGES/STL/OBJ/DXF/PDF/glTF/3MF.

cli-anything-gimp

>-

cli-anything-godot

>-

Habilidades Relacionadas