O que Kanban Motion faz?
Feito por Kanban Studios. Motion graphics escritos como código e travados em uma voz. Esta habilidade tem duas camadas:
- Motion as Code (abaixo, inalterado): o fluxo de trabalho completo para o kit Motion as Code.
- Adições do Kanban Motion (após ele): um kit inicial que não precisa de projeto externo, geração de narração e alinhamento de palavras, planejamento de vídeo de lançamento (inspecionar, planejar, tons, leis criativas), uma trilha sonora original, uma biblioteca de som CC0 e mixer, e entrega (quadro de pôster e texto para compartilhar).
Use o kit quando o usuário o tiver ou estiver editando-o. Caso contrário, use o kit inicial. As mesmas regras se aplicam a ambos: placas são funções puras do tempo, verifique stills antes de renderizar e peça permissão antes de uma renderização completa.
Motion as Code
Um fluxo de trabalho para criar motion graphics a partir de código, travados em uma narração, sem After Effects. Cada cena (uma "placa") é um arquivo TypeScript que desenha cada quadro como uma função pura do tempo; os tempos em nível de palavra da narração informam a cada placa quando animar. A pré-visualização no navegador e o MP4 exportado são idênticos.
Saída: 1920x1080, 60 fps. Stack: TypeScript + three.js, bun + Vite, headless Chrome + ffmpeg.
Onde o kit vive
A pasta do projeto é Motion_as_kit na pasta Documentos do usuário (C:\Users\awaiz\OneDrive\Documents\Motion_as_kit no PC Windows dele). Se não estiver acessível ou tiver sido movida, pergunte ao usuário onde está. Mantenha a estrutura de pastas exatamente como está: os scripts usam caminhos relativos.
Antes da primeira alteração em uma sessão, leia README.md, app/src/timeline.ts e app/src/engine/scene.ts.
Requisitos (na máquina do usuário)
- bun (bun.sh): instala pacotes e executa scripts
- Google Chrome: o renderizador o executa headless (defina
BROWSER_CHANNEL, ex.:msedge, para usar outro navegador) - ffmpeg com libx264
- Python + uv, apenas para realinhar uma nova narração ou reconstruir a mixagem de SFX; execute como
python -m uv
app/node_modules não é enviado. Execute bun install dentro de app/ antes de qualquer outra coisa.
Estrutura
| Caminho | Função |
|---|---|
audio/voiceover.mp3 | A narração |
audio/sfx/ | 28 efeitos sonoros (nome_1.mp3, nome_2.mp3 são takes alternativos) |
data/lyrics.json | Tempos no nível de palavra, gerados por analysis/align_vo.py (alinhamento forçado CTC, wav2vec2 ONNX) |
data/audio.json | Envelopes de volume da voz, início das palavras, grade de batida nominal, gerados por analysis/audio_vo.py |
analysis/sfx_mix.py | Folha de sinalização (~500 sinais) e mixer de SFX |
app/src/engine/ | O mecanismo pdoom-video. Não edite. |
app/src/scenes/_vo.ts | Kit de ferramentas compartilhado: câmera 2D, caneta plotter, palavras karaoke em espaço mundial, papel quadriculado |
app/src/scenes/*.ts | As placas |
app/src/timeline.ts | Quando cada placa toca; os cortes ficam na pausa pouco antes de cada linha |
app/scripts/render.ts | Renderizador offline: headless Chrome para quadros brutos para ffmpeg |
out/ | Renderizações |
A demonstração enviada tem nove placas: gancho, modelo, prompt, louco, código, quadros, pipeline, edições, veredito (92,6 s no total; veredito volta ao quadro 0).
Regras
- Tudo em uma placa deve ser uma função determinística do tempo. Sem
Math.random()sem semente, sem tempo de relógio real, sem estado que não seja reiniciado na busca. - Não edite
app/src/engine/. - Não execute uma renderização completa, e nunca uma renderização 4K, sem perguntar ao usuário primeiro. Use stills para verificar o trabalho.
- Explique cada alteração em uma ou duas frases antes de fazê-la.
- Mantenha
LICENSE.pdoom-enginecom o projeto (mecanismo e estilo visual são pdoom-video por mexicat, MIT).
Fluxo de trabalho
1. Pré-visualização (o loop rápido)
cd app
bun install # apenas na primeira vez
bunx vite # http://localhost:5173
Edições recarregam a quente. Teclas: espaço play/pause, esquerda/direita avançar 1 s (5 s com shift), , . avançar um quadro, [ ] placa anterior/próxima, l loop na placa, h ocultar UI. Adicione ?t=35 à URL para iniciar em 35 s.
2. Verificar stills durante a edição
cd app
bun scripts/render.ts stills --t 12.5,40.2 --only code --out ../out/wip
Renderiza quadros individuais (aqui a placa code em 12,5 s e 40,2 s). Olhe os stills e mostre-os ao usuário antes de propor uma renderização completa.
3. Renderizar o vídeo (pergunte primeiro)
cd app
bun run render
Equivalente a bun scripts/render.ts video --samples auto --min-samples 4 --max-samples 12 --shutter 0.5 --crf 17 --out ../out/motion-as-code.mp4.
--samples 4: cerca de 4x mais rápido no rascunho; movimentos rápidos mostram cópias escalonadas--samples auto: mais sub-quadros onde o movimento é rápido (padrão)--scale 2: 4K (3840x2160)
4. Efeitos sonoros
Sem necessidade de re-renderizar: reconstrua a mixagem, depois copie a imagem e adicione o áudio. Execute a partir da raiz do projeto.
python -m uv run --no-project --with numpy python analysis/sfx_mix.py
cd out
ffmpeg -i motion-as-code.mp4 -i mix.wav -map 0:v -map 1:a -c:v copy -c:a aac -b:a 320k -shortest motion-as-code_sfx.mp4
Os efeitos reduzem em até 7 dB sob a voz; a mixagem é normalizada para -14 LUFS. Para alterar o volume de um efeito, edite seu valor db na folha de sinalização; para movê-lo, edite sua expressão de tempo.
5. Trocar a narração
- Substitua
audio/voiceover.mp3. - Edite
SCRIPT(eSPOKENpara números e siglas) emanalysis/align_vo.py. - Execute novamente, a partir da raiz do projeto:
python -m uv run --no-project --with onnxruntime --with numpy python analysis/align_vo.py
python -m uv run --no-project --with numpy python analysis/audio_vo.py
As placas encontram suas palavras pelo conteúdo (lineOf, wordOf), então com o mesmo script cada animação se reajusta automaticamente. Se a redação mudou, atualize as frases âncora nas chamadas cut(...) em timeline.ts e informe ao usuário quais mudaram.
Escrevendo ou alterando uma placa
Uma placa é uma classe que estende Scene (app/src/engine/scene.ts) e é a exportação padrão do arquivo. O mecanismo chama render(f, out) uma vez por quadro com:
f.ttempo da música,f.lttempo desde o início da placa,f.pprogresso de 0 a 1 através da placaf.acaracterísticas de áudio naquele momento (envoltória da voz, pulsos de batida)f.seekedverdadeiro após uma busca; placas com estado devem redefinir nela
Para adicionar uma placa: crie app/src/scenes/suaplaca.ts, depois adicione uma linha E('suaplaca', 'suaplaca', inicio, fim) em timeline.ts. Os tempos de início vêm do script: cut('Isto é Claude') corta 0,18 s antes da primeira palavra dessa linha. O nome do arquivo em timeline.ts deve corresponder a um arquivo em app/src/scenes/.
A placa prompt lê suas divisões de token de app/src/scenes/prompt-data.ts.
Estude uma placa existente e _vo.ts antes de escrever uma nova, e reutilize o kit de ferramentas e a paleta (tinta, osso, laranja de sinal) em vez de inventar novos auxiliares.
Solução de problemas
| Problema | Correção |
|---|---|
| Página em branco em localhost:5173 | Execute bun install em app/; verifique o terminal do vite para erros |
| Sem som na pré-visualização | Pressione espaço; o navegador bloqueia áudio até a interação. Verifique se a guia não está silenciada |
| Renderizador não encontra Chrome | Instale o Chrome, ou defina BROWSER_CHANNEL (ex.: msedge) |
| ffmpeg não encontrado / sem libx264 | Instale uma versão completa do ffmpeg; confirme ffmpeg -version em um novo terminal |
| Renderização muito lenta | --samples 4 para rascunhos; renderize placas individuais com o comando stills |
| Animação desalinhada após nova narração | Execute ambos os scripts de análise novamente; atualize as frases cut(...) se a redação mudou |
| Módulo de cena não encontrado | O nome do arquivo em timeline.ts deve corresponder a um arquivo em app/src/scenes/ |
Adições do Kanban Motion
Tudo abaixo adiciona ao fluxo de trabalho do Motion as Code acima; nada o substitui. <skill-dir> é a pasta que contém este SKILL.md (Claude Code exibe como "Diretório base para esta habilidade"). Não adivinhe um caminho de instalação.
Escolha o caminho
| Situação | Faça isto |
|---|---|
O usuário tem Motion_as_kit, ou pede para editar uma placa, renderizar ou trocar a narração nele | Siga Motion as Code acima. Use as adições (geração de narração, trilha sonora, planejamento de lançamento, entrega) onde elas ajudarem. |
| Um novo vídeo a partir de um projeto, site, script ou ideia, sem kit por perto | Use o kit inicial abaixo, mais o fluxo de trabalho de lançamento. |
| "Criar um vídeo de lançamento", "transformar isso em vídeo", "promo" | Execute o fluxo de trabalho de lançamento (inspecionar, planejar, construir, entregar) em qualquer kit disponível. |
A saída vai para kanban-motion-output/ no diretório atual, ou para um kanban-motion-output-YYYY-MM-DD-HHmmss/ com timestamp se essa pasta existir. Dentro dela: reel/ (as placas), out/ (renderizações, mixagem, stills), work/ (downloads, rascunho), além de plan.md, script.txt e share-copy.txt.
Kit inicial
Uma versão pequena e sem dependências da mesma ideia: módulos ES puros em um navegador, quadros capturados por headless Chrome, codificados por ffmpeg. Requisitos: Node 18+, Chrome ou Edge, ffmpeg com libx264 e uv (para os scripts de áudio). Uma vez por máquina: npm install --prefix <skill-dir>/scripts.
Copie <skill-dir>/template/ para kanban-motion-output/reel/. Antes da primeira alteração, leia reel.js, engine.js e uma placa.
| Caminho | Função |
|---|---|
reel.js | A linha do tempo: E(plate({...}), start, end) por placa, com cortes da voz via cut('frase') |
engine.js | Hooks de pré-visualização, busca e renderização. Não edite. |
motion.js | Kit de ferramentas: range, ease, spring de forma fechada, rng/hash com semente, typed e sincronização de voz lineOf, wordOf, wordsIn, cut |
plates/*.js | paper (fundo de papel quadriculado que respira com a voz), say (palavras cinéticas pousando ao serem faladas), code (editor de digitação), shot (captura de tela real em uma janela), outro (nome, sublinhado de caneta, tagline, URL). Para vídeos de lançamento: bg (gradiente flutuante), photo (imagem com sangria com um empurrão e uma "virada" de linha de varredura opcional para uma segunda imagem), screen (UI real com teclas de câmera e chamadas de rastreamento), typewrite (manchetes letra por letra), stats (números crescendo), steps (um pipeline acendendo na voz), cap (legendas da linha sendo falada), logo (revelação de logotipo com tagline, selo, URL e crédito). Para sequências cinematográficas: space (um movimento de câmera contínuo através de uma cena 3D de sólidos wireframe em morphing, uma grade de perspectiva e tipo cinético em 3D) |
style.css | Tokens de paleta e tipo (tinta, osso, laranja de sinal). Substitua pelas cores e fontes exatas do projeto. |
audio/, data/, cues.json | Narração e música; words.json, lines.json e audio.json; a folha de sinalização de som. O modelo envia uma demonstração funcional de todos os três, então a pré-visualização e a renderização funcionam imediatamente. Coloque imagens em assets/. |
Uma placa é { name, setup(root), draw(f) }. draw recebe f.t (tempo global), f.lt (tempo desde que a placa começou), f.p (0 a 1 através da placa), f.dur, f.env (volume da voz 0 a 1) e f.fps. Ela deve definir cada propriedade visual apenas a partir de f: sem Math.random() (use rng(seed)), sem tempo de relógio real, sem estado que uma busca não redefiniria. Dê a uma placa tail: 0.4 em E(...) para permitir que ela se sobreponha à próxima para uma transição.
node <skill-dir>/scripts/render.mjs preview --dir reel # http://127.0.0.1:5173, mesmas teclas do kit
node <skill-dir>/scripts/render.mjs stills --dir reel --plates --out out/wip # quadro estabilizado + quadro no corte por placa
node <skill-dir>/scripts/render.mjs stills --dir reel --t 2.4,6.1 --only say --out out/wip
node <skill-dir>/scripts/render.mjs video --dir reel --samples 4 --audio out/mix.wav --out out/reel.mp4 # pergunte primeiro
As flags de renderização espelham o kit: --samples (sub-quadros de desfoque de movimento, 4 para rascunhos, 8 a 12 para finais), --shutter 0.5, --scale 2 (4K, pergunte primeiro), --crf 17, --from/--to, --fps. Use BROWSER_CHANNEL=msedge ou BROWSER_PATH=... se o Chrome estiver faltando. Vertical (1080x1920) e quadrado (1080x1080) funcionam alterando width/height em reel.js; verifique novamente o layout de cada placa nos stills ao fazer isso.
Exemplos trabalhados estão na pasta examples/ do repositório (cinco projetos reais: paisagem com narração, vertical com cortes de batida, explicativo vertical com narração e duas sequências cinematográficas 3D). Leia o mais próximo da solicitação antes de escrever um novo reel. Capture UI real como material "mostrar a coisa":
- Sites ao vivo: use capturas de tela do headless Chrome em 2x.
- Aplicativos que o usuário possui: execute-os em localhost, usando a própria demonstração do aplicativo ou login "preenchido", se houver.
Em seguida, aponte câmeras e chamadas com frações 0..1 lidas de uma cópia gradeada de cada captura de tela.
Narração
Adicione uma quando o usuário solicitar narração ou voz sobreposta, ou passar --voice. Detalhes estão em references/voiceover.md.
- Escreva
script.txt: uma linha por batida, pois as linhas se tornam cortes. Uma linha em branco adiciona uma pausa mais longa;[pause 0.8]adiciona uma exata;[at 6.0]inicia a próxima linha em um tempo exato, para encaixar uma voz em uma edição existente. Escreva números e siglas da maneira como são falados. A narração deve adicionar aos visuais em vez de lê-los, corresponder ao ritmo da cena, soar conversacional e ser específica ao produto. Orçamento de cerca de 2,5 palavras por segundo. - Gere-a com Kokoro, uma voz de peso aberto que roda localmente. O modelo baixa uma vez (cerca de 340 MB).
Boas vozes:uv run <skill-dir>/scripts/voiceover.py script.txt -o reel/audio/voiceover.wav --lines reel/data/lines.json --voice af_heartaf_heart,af_bella,am_michael,am_fenrir,bf_emma,bm_george(misture-as com--voice af_heart:0.6,af_bella:0.4; ajuste o ritmo com--speed).--engine systemusa a voz do SO sem download. Se o usuário gravou sua própria voz, coloque-a emreel/audio/voiceover.wave pule esta etapa. - Alinhe-a para obter tempos no nível de palavra. Os tempos de palavra do faster-whisper são encaixados nas próprias palavras do script, e os limites de linha da etapa 2 são fixados exatamente:
Isso escreveuv run <skill-dir>/scripts/align.py reel/audio/voiceover.wav --script script.txt --lines reel/data/lines.json -o reel/data/words.jsonwords.jsoneaudio.json(o envelope de voz por trás def.env). - Sincronize as placas:
cut('Cada quadro')inicia uma placa 0,18 s antes dessa linha.lineOf,wor...