Communitygithub.com

RAW KINETIQ

Transforma uma faixa de áudio em um videoclipe de tipografia cinética (MP4) completo, onde cada palavra sincroniza com a música e o visual é inspirado no significado e na emoção da canção.

O que é RAW KINETIQ?

RAW KINETIQ é uma skill para agentes de IA (como Claude Code) que automatiza a criação de vídeos de tipografia cinética (lyric videos) em MP4, partindo apenas de um arquivo de áudio. O processo integra transcrição por Whisper, separação de stem vocal com Demucs, sincronização visual com o BPM da música e renderização via Remotion. O diferencial está no design inteligente: as cores, fontes, movimentos e planos de fundo são definidos a partir da letra, do gênero e do clima da canção, evitando templates prontos. A skill suporta imagens do usuário, recortes automáticos, múltiplos formatos (16:9, 9:16 para TikTok/Reels, quadrado) e inclui uma etapa de auto-verificação antes da renderização final para garantir qualidade. Ideal para artistas, produtores ou criadores que desejam um lyric video profissional, personalizado e único para YouTube, TikTok ou Instagram, sem necessidade de edição manual complexa.

Funciona com✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/bani4kaskashka/Claude-Skill-Raw-Kinetiq/tree/main/skills/raw-kinetiq

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que RAW KINETIQ faz?

Música entra, MP4 sai. O pipeline já está pronto; seu trabalho é executá-lo, revisar a sincronização como um editor faria e corrigir o que as máquinas erraram. O vídeo final deve dar a sensação de que cada palavra chega exatamente no momento em que é cantada, e os visuais respiram com a energia da faixa.

O vídeo é desenhado em torno da música, nunca a música encaixada em um estilo padrão. O tema da música, como ela soa, seu gênero e ritmo decidem tudo: as cores, as fontes, quantas palavras aparecem na tela, como elas chegam e saem, onde se posicionam, a intensidade da câmera, o que vive no fundo e onde as imagens do usuário são colocadas. Não há predefinições para escolher, apenas um kit de ferramentas para combinar (referências/kit.md), e quando a música tem uma imagem que o kit não cobre, você a constrói para aquela música. Duas músicas nunca devem ficar parecidas, e um vídeo deve parecer diferente de qualquer outro no YouTube. Seja criativo, arrisque-se, depois verifique seu trabalho (passo 5) para garantir que os riscos funcionem.

As coisas acontecem por causa do que as palavras dizem. Um vídeo onde apenas o fundo e a fonte mudam é um slideshow. Quando uma linha menciona algo, uma mão o segura; quando nomeia uma boca, uma boca se abre e a câmera entra; quando diz "conheço todas as saídas", placas de saída passam rápidas. Esses momentos são desenhados por você em código (formas SVG, animadas no Remotion; nunca um gerador de imagens), sincronizados com suas palavras (passo 4b).

Caminhos abaixo: SKILL = a pasta desta skill (${CLAUDE_SKILL_DIR}), PY = o Python que o setup_env.sh mostra (~/.raw-kinetiq/venv/Scripts/python.exe no Windows, ~/.raw-kinetiq/venv/bin/python nos demais). Use a ferramenta Bash para os scripts .sh (Git Bash no Windows).

0. O que você precisa do usuário

Apenas a música é obrigatória. Obtenha a música (e a letra, se ele tiver) e faça as perguntas de estilo de uma vez, logo de início, em uma única chamada AskUserQuestion para que o usuário possa escolher e sair enquanto a análise roda. Pule qualquer pergunta que a mensagem dele já tenha respondido. Se ele disse "só vai" ou está ausente, use os padrões e informe quais você usou.

Pergunta (cabeçalho)OpçõesPadrão
Formato16:9 (1920x1080) (Recomendado) / Vertical 9:16 para TikTok, Reels, Shorts (1080x1920) / Quadrado (1080x1080)16:9
ClimaDesenhado a partir da música (Recomendado) / depois 2-3 direções concretas inspiradas nas próprias imagens da música, cada uma em palavras simples (para uma música sobre febre: "Palavras tremendo em névoa de calor, amarelo suor sobre preto"). "Outro" permite que descrevam a vibe com suas próprias palavrasdesenhado a partir da música
Sobreposições (multiSeleção)Nome do artista (canto superior esquerdo) / Nomes das seções (canto inferior esquerdo) / Temporizador + barra de progresso / BPM + contador de batida. Diga na pergunta que escolher nenhum resulta em um videoclipe limponenhum
Ativos"Você tem imagens que gostaria de colocar no vídeo (capa do álbum, fotos, logotipo, uma foto sua)?" Não, desenhe a partir da música (Recomendado) / Sim, vou enviá-las aqui / Sim, estão em uma pastanão

As respostas mapeiam nas flags do new_project.sh: --size e --overlays artist,section,timer,bpm (apenas as selecionadas). Sempre 60 fps, a menos que peçam outro valor. O clima é seu para desenhar no passo 2b, guiado pela resposta deles.

Se eles tiverem ativos, responda imediatamente: "Envie-os (ou me diga a pasta) e uma palavra sobre o que cada um é ou onde gostaria que ficasse, se tiver preferência." Descrições são opcionais: abra cada imagem com a ferramenta Read e veja por si mesmo o que é. Traga-as no passo 2c.

Outras entradas, que não precisam de pergunta:

EntradaPadrão
Letracolada > tags do arquivo (Suno as escreve) > transcrição que você limpa
Título / artistatags do arquivo; se o título da tag for lixo (ex.: [Rec] Out 24 ...), use o nome do arquivo
Fundoauto: as cenas seguem as seções e seu design
Cartão finaltítulo + artista nos últimos segundos; --no-endcard quando não quiserem

1. Configuração (uma vez por máquina, instantâneo depois disso)

bash SKILL/scripts/setup_env.sh

Cria o ambiente Python compartilhado (faster-whisper, Demucs, librosa, Pillow; builds para CPU) e mostra seu caminho do Python. Precisa de Python 3.10+, Node 18+ e ffmpeg (com ffprobe) no PATH; se algum estiver faltando, diga ao usuário o que instalar em vez de instalar software de sistema você mesmo. A primeira execução baixa alguns GB (CPU torch agora, os modelos Whisper e Demucs no primeiro uso).

2. Analise a música (em cache, execute em segundo plano)

Pasta do projeto: <pasta da música>/<nome da música> lyric video/ a menos que o usuário diga o contrário. Se o usuário colou a letra, salve-a primeiro como <projeto>/work/lyrics.txt, mantendo as tags [Seção].

PY SKILL/scripts/prepare.py "<música>" "<projeto>/work"

Cerca de 8-10 minutos em CPU para uma música de 3 minutos (Demucs, depois Whisper large-v3 duas vezes). Cada etapa armazena em cache sua saída, então uma reexecução só faz o que está faltando. Nunca exclua essas saídas para "começar limpo"; para refazer uma etapa, exclua apenas aquele arquivo. Ele mostra:

  • duração, BPM, duração do compasso (240 / BPM), energia por segundo (quedas são saltos nela),
  • intervalos de vocais presentes (lacunas = instrumental),
  • ambas as transcrições do Whisper (mix completo e a faixa vocal isolada).

2b. Desenhe o vídeo desta música

Comece pela música, não pelo kit de ferramentas. Não abra o kit ainda: um menu de movimentos prontos puxa toda música para o mesmo punhado de estilos. Primeiro descubra o que esta música é e escreva em <projeto>/work/design.md:

  1. A música em poucas linhas: a história, quem está falando e para quem, o lugar, a hora do dia, os objetos e imagens que a letra repete, e como soa (tenso, terno, entorpecido, desafiador, brincalhão, paranoico). A sensação escolhe o movimento mais do que o gênero.
  2. O mundo em que ela vive. Leia o vocabulário, não apenas a história: palavras da letra se agrupam em um mundo, e esse grupo diz onde a música vive, muitas vezes mais do que o significado comum do título. Uma música cheia de "veredito", "testemunhar", "sentença" vive em um tribunal; "âncora", "deriva", "porto" no mar; "saldo", "dever", "juros" no dinheiro. Depois liste todos os significados do título e do refrão, incluindo gírias e o que as palavras significam em jogos, filmes, esportes e subculturas ("fantasma" é um espírito, alguém que desaparece e um termo de jogador), e escolha o significado que o vocabulário apoia, ou funda dois. Escreva os candidatos e por que escolheu um.
  3. A imagem central, desse mundo e das próprias palavras da letra, nunca do gênero. Uma música sobre ser vigiado: janelas acendendo uma a uma. Uma música sobre o tempo acabando: um pavio queimando na tela.
  4. Movimentos característicos: o que as próprias palavras fazem, nos termos desta música. Dois ou três, cada um em uma frase: como uma palavra chega, como sai, o que o refrão faz. Eles vêm da imagem central: em uma música sobre febre, palavras chegam tremendo em névoa de calor e esfriam até parar; em uma música sobre cartas não enviadas, palavras são escritas em tinta que sangra, então a página as dobra. O teste: se o mesmo movimento serviria para outra música aleatória, ainda não é um movimento característico. Torne-o grande o suficiente para ser notado: depois de um refrão, um espectador deve ser capaz de descrever o que as palavras fizeram. Um brilho fino ou um borrão de luz por uma fração de segundo parece nada; deixe o movimento ocupar espaço e tempo nos picos e mantenha-o mais suave nos versos. Você escreverá estes como efeitos para esta música (video/src/custom, kit "As peças próprias da música").
  5. O plano de filmagem: cada seção com sua cena, câmera, layout da letra, paleta e qual movimento usa. A imagem central evolui através dele como um curta-metragem (abaixo), e cada seção é enquadrada de forma diferente: uma nova tonalidade ou mais algumas luzes na mesma vista não é um novo plano.
  6. O que você não está fazendo: nomeie os movimentos óbvios para este gênero e clima que você está evitando, para não voltar a eles.
  7. O estilo de desenho que os momentos compartilharão (passo 4b), do mundo da música: arte de linha neon, papel recortado plano, nanquim e aguada, linhas de projeto, silhuetas ousadas, quadrinhos, xilogravura. Um estilo para a música toda, para que os momentos pareçam um único filme.

Os fatos para ler: o BPM (note sensações metade do tempo: uma batida trap de 140 BPM muitas vezes soa como 70), densidade vocal (palavras por segundo no whisper_full.json: rap rápido precisa de rajadas curtas; canto lento e sustentado pode segurar frases) e energia por segundo (onde salta, o vídeo muda: um refrão que se move diferente do verso, uma ponte que quebra o padrão, um refrão final maior que o primeiro).

Agora leia referências/kit.md e construa o design:

  • Momentos são desenhados depois que a linha do tempo existe (passo 4b), mas planeje-os agora: o storyboard molda o plano de filmagem, e uma seção construída em torno de um momento pode ficar simples atrás dele.
  • As peças próprias da música primeiro. Escreva os movimentos característicos como effects, a imagem central como layers (e um estilo de linha como modes quando um momento precisar) em video/src/custom/index.tsx. Use o movimento característico onde a música atinge o pico (pelo menos os refrões) e mantenha-o no centro do vídeo, não como algo único.
  • O kit de ferramentas é o elenco de apoio. Suas entradas, saídas, estilos de linha e camadas embutidos carregam as linhas intermediárias e preenchem uma cena. Muitos foram feitos para músicas anteriores (os impactos, cortes, rasgos e falhas para uma faixa phonk, cantos cortados ao meio, o túnel), e recorrer a eles por padrão é exatamente o que faz dois vídeos parecerem iguais. Use um embutido apenas quando ele se encaixar honestamente na imagem desta música e escreva o porquê em design.md.
  • Paleta: cores do mundo da música ou das imagens do usuário, com mudanças por seção. Escreva todas; não comece de um tema.
  • Tipografia: qualquer Google Font para display e uma alt contrastante, escolhida para a voz desta música.
  • Câmera, energia e reagir: um movimento por seção, a intensidade da câmera e se os visuais pulsarem com a batida ou com a voz.
  • Ativos: onde cada imagem do usuário vai e como o texto abre espaço para ela (2c).

Um vídeo é uma sequência de planos, nunca uma imagem com palavras em cima. Uma ideia central é certa, um quadro imutável não é. Planeje a música como um curta-metragem, seção por seção: o que o espectador vê na introdução, como o primeiro verso a enquadra, o que se abre no refrão, o que quebra na ponte, como resolve. A imagem central deve evoluir: mude a escala, o ângulo ou movimento da câmera, a hora do dia, a paleta, o que está no quadro. Uma camada personalizada recebe a seção e seu progresso, para que possa mostrar coisas diferentes em seções diferentes. Cada refrão deve parecer claramente diferente de seu verso, e o último refrão maior que o primeiro. Se duas seções vizinhas compartilham cena, câmera, layout e paleta, mude uma.

Mude o enquadramento, não apenas as cores. Quando uma camada personalizada carrega a música, dê a ela planos reais: uma posição de câmera diferente (de cima, de dentro, ao nível do chão, próximo a um detalhe), uma escala diferente, um assunto diferente no quadro. Recolorir a mesma vista, ou adicionar luzes a ela, ainda parece um plano, e a verificação sinaliza um enquadramento que ocupa muita música (one-shot).

Coloque as palavras com a imagem. Onde a letra fica é parte do design: na superfície que a cena mostra, na janela, ao lado do sujeito, movendo-se para um novo local a cada rajada quando a música se move. Uma seção inteira de rajadas exatamente no mesmo local é uma legenda. O hook burst de um efeito pode mover uma rajada para qualquer lugar (seu transform).

Lento não é estático. Uma música suave, lenta ou sussurrada se move devagar, mas nunca para: a câmera deriva ou empurra, a luz aumenta com a voz ("react": "voice", o padrão para músicas suaves), as cenas mudam a cada seção. Mantenha a sensação (terno continua terno) e ainda faça cada seção uma nova imagem. Dê espaço para letras lentas serem grandes: menos palavras por vez, definidas grandes, colocadas com intenção, não uma legenda pequena na mesma linha a música toda.

Seja ousado: pegue emprestado de gêneros (uma música soul com tipografia brutalista, uma faixa drill em serifa) e arrisque; a auto-verificação (passo 5) pega o que não funciona. Ela também sinaliza um vídeo sem design.md (no-design), refrões que usam apenas movimentos embutidos (no-signature), embutidos emprestados de músicas anteriores (borrowed) e um fundo feito apenas de camadas embutidas (stock-world).

Diga ao usuário o design em duas ou três frases simples ("uma música sobre ser vigiado, então as palavras ficam na frente de um prédio à noite cujas janelas acendem uma a uma; cada palavra acende como uma janela enquanto é cantada, e o refrão escurece a rua para um quarto iluminado").

Depois configure o projeto de vídeo (ele reutiliza um existente):

bash SKILL/scripts/new_project.sh "<música>" "<projeto>" --size 1920x1080 --fps 60 [--overlays artist,timer] [--no-endcard]

e escreva o design em video/src/data/config.json (cores, fontes, movimento, cenas, ativos). Reexecutar new_project.sh mantém tudo que você colocou lá. Para um projeto feito com uma versão mais antiga desta skill, adicione --update: ele troca o código do template atual e mantém os dados da música, suas peças personalizadas e seus ativos.

2c. As imagens do usuário

PY SKILL/scripts/assets.py "<projeto>" <arquivos de imagem ou pasta> [--cutout nome1,nome2 [--person]]

Copia-as para o projeto (na vertical, tamanho adequado), mostra a forma, brilho e cores principais de cada uma e escreve video/public/assets/sheet.png. Olhe a folha. Recorte os sujeitos que devem ficar no quadro sem seu fundo (--cutout; adicione --person quando for uma pessoa, ou o modelo pode manter apenas uma mão ou rosto). Verifique cada recorte na folha; se as bordas estiverem erradas, tente o outro modelo, ou use a imagem como fundo ou pôster.

Use o que o usuário disse sobre cada imagem; quando não disseram nada, decida pelo que você vê. Coloque-as onde a música precisa (kit, "Ativos"): um retrato recortado ao lado dos versos, a capa do álbum como fundo para o refrão, uma foto de paisagem como plano de fundo para a ponte.

3. Ajuste a letra (leia, limpe, marque)

PY SKILL/scripts/align.py "<projeto>/work"

... (conteúdo truncado para tradução)

Habilidades Relacionadas