Communitygithub.com

voz, vídeo e som

Tudo o que se ouve num filme, feito sem poder ouvi-lo. Gere e verifique a voz do narrador, escolha uma voz com a pessoa, pontue o filme para que a música acompanhe o clima, coloque efeitos sonoros, abaixe a música sob a voz e atinja um alvo de loudness. Use depois que o roteiro estiver escrito e sempre que as falas, a voz, a música ou a mixagem mudarem.

O que é voz, vídeo e som?

Esta skill capacita um agente de IA a projetar a trilha sonora completa de um filme — voz, música e efeitos — sem jamais ouvir o áudio. Ela substitui a audição por medições precisas (LUFS, pico verdadeiro, ritmo de fala), verificação por transcrição e relatórios claros para o ser humano. O agente coordena a geração de locução via ElevenLabs, normaliza volumes, ajusta pausas e redige falas com problemas. Para a música, ele mapeia o clima de cada ato, seleciona faixas analisando seu perfil de nível ao longo do tempo, edita cortes em linhas de compasso com crossfades e faz a ducking automática da música sob a voz. Efeitos sonoros são posicionados com precisão de milissegundos. A skill suporta uso com ferramentas de linha de comando (scripts Python, ffmpeg, npx hyperframes) e é ideal para assistentes de edição de vídeo que precisam entregar um filme completo e bem mixado sem acesso ao monitoramento de áudio.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shubhamnshukla/video-agent-kit/tree/main/skills/video-voice-and-sound

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Voz e som

Você não pode ouvir. Decida por medições, verifique por transcrição e diga à pessoa o que escutar.

1. A voz

Gere um arquivo por fala com scripts/vo.py lines.json assets/vo-raw <voice_id>. Ele consulta a ElevenLabs para obter timings de palavras e passa as falas anterior e posterior, para que a entonação flua de fala para fala. Esses timings de palavras são o relógio do filme: cada corte e cada card é posicionado em uma palavra.

Depois execute scripts/vo_finish.py assets/vo-raw assets/vo:

  • nivela cada fala para −17 LUFS (as takes geradas variam em 10 dB ou mais);
  • com --tighten <prefix>, encurta pausas acima de 0,34 s em seções rápidas. Falas escritas como fragmentos ("Kabir. Designer. ...") voltam com lacunas de meio segundo ou mais, e o filme parece lento por causa disso.

Verifique cada fala. Junte os arquivos, transcreva-os (npx hyperframes transcribe file.wav --json) e leia o texto comparado ao roteiro. A fala gerada omite e troca palavras pequenas: "couldn't" retornou como "could". Reescreva essa fala ("could not") e gere-a novamente. Reporte qualquer discordância entre o transcritor e o roteiro, mesmo quando você achar que o transcritor é quem está errado.

Ritmo. Após finalizar, a fala do filme deve ter de 2,4 a 2,8 palavras por segundo para um filme enérgico. Um narrador calmo e lento torna o filme lento independentemente da edição; esta é a razão mais comum pela qual um primeiro rascunho é considerado chato.

Refaça falas individuais com --only id,id; o arquivo de timings é mesclado.

2. Escolhendo um narrador com a pessoa

Voz é gosto, e é deles. Ofereça amostras cedo, antes que o filme seja construído sobre uma voz, porque uma nova voz altera o comprimento de cada fala e de cada deixa.

  • Pesquise a biblioteca de vozes por sotaque, gênero e uso (sua API lista vozes compartilhadas com descrições).
  • Gere a mesma passagem com cinco a oito vozes: vo.py lines.json samples A,B,C --sample 5. Use uma passagem que contenha os nomes e o nome da marca.
  • Entregue a eles os arquivos com uma linha cada: a descrição da própria biblioteca e o ritmo medido. Você não pode classificá-las de ouvido; diga isso.

Nomes. Uma voz pode pronunciar mal nomes de outra língua. Faça um A/B das falas com nomes: como escritas, e reescritas foneticamente para aquele leitor (Kabeer, Urjun). Deixe que escolham. Verificar a pronúncia do nome da marca é trabalho da pessoa; peça isso explicitamente.

3. Música que acompanha o clima

Uma única faixa do início ao fim achata uma história. Mapeie os atos para climas primeiro, depois encontre uma faixa para cada um:

Parte do filmeClimaO que procurar
Abertura, apresentação das pessoasleve, esperançosopiano calmo ou pulsação suave, pouca percussão
O problematenso, pesadouma base escura que cresce lentamente; adicione um batimento cardíaco ou um zumbido grave
A frase que resume tudoquase silêncioum único golpe baixo, depois quase nada sob as palavras
O produto chegaelevaçãouma faixa animada cuja introdução é contida e que acelera depois
Final e card finalalívioa seção mais suave da mesma faixa

Escolhendo sem ouvir. Para cada candidata, meça o nível ao longo do tempo (scripts/levels.py track 2) e seu tempo. Você está procurando formato: um trecho silencioso constante para a abertura; uma subida lenta para tensão; um salto claro de 5 dB ou mais onde uma faixa acelera. Posicione a aceleração no momento em que a resposta do produto aparece. Encontre a grade de batidas (tempo e o momento da primeira batida forte) para qualquer seção cortada no ritmo.

Editando uma faixa. Corte apenas nas linhas de compasso, com um crossfade de 40 ms, e cubra a junção com um corte na imagem. Para terminar uma faixa antes do fim, salte de uma linha de compasso na seção alta para uma linha de compasso onde a seção suave começa. Após a edição, meça ao redor da junção para confirmar que o nível muda onde você pretendia.

Mudando de faixa. Mude em um corte seco na imagem, com um impacto no corte. Desvaneça a faixa de saída em 0,3 s.

4. Efeitos sonoros

Sons pequenos fazem os cards e cortes parecerem colocados. Mantenha um kit: três ou quatro estalos curtos, um toque, tons de enviado e recebido, caneta no papel, um whoosh suave, um boom grave, um riser escuro, um batimento cardíaco.

  • Meça onde está o pico de cada efeito (levels.py file 0.1). Um riser pode atingir o pico 1,9 s após o início do arquivo; um impacto pode ter 0,25 s de silêncio primeiro. Inicie o arquivo para que o pico caia na imagem.
  • Coloque o som cerca de 20 ms após a imagem, nunca antes.
  • Alterne dois ou três estalos diferentes em uma sequência de cards.
  • Um batimento cardíaco sob uma seção tensa: baixo no início (0,3), subindo (0,4, depois 0,6) e deixado sozinho por um segundo quando a música para.

5. A mixagem

Clipes na composição raiz: música em seus próprios clipes com data-volume="1", voz em 1,25 após nivelamento, efeitos entre 0,35 e 2,0 dependendo do arquivo.

scripts/mix.py index.html mix.json escreve as faixas de volume que abaixam a música sob a voz. Escolha os níveis a partir do nível medido da faixa: uma base deve ficar 11 a 13 dB abaixo da voz.

Base, medidaSob a vozNos intervalos
piano calmo, −25 dBFS0,91,5
base escura, −21 dBFS0,550,95
faixa animada, abertura contida, −17 dBFS0,340,62
a mesma faixa em arranjo completo, −11 dBFS0,190,4
sua seção suave, −15 dBFS0,30,75

Execute mix.py novamente sempre que um clipe de voz se mover.

Alvo. Meça o arquivo renderizado: ffmpeg -i film.mp4 -af ebur128=peak=true -f null -. Objetivo: cerca de −16 LUFS integrados e um pico verdadeiro em ou abaixo de −1 dBFS.

6. O que dizer à pessoa

Cada entrega diz, em palavras simples: nada foi ouvido; as falas de voz foram transcritas de volta e conferem (ou quais não conferem); os números de loudness; e as coisas específicas para escutar, como a pronúncia do nome da marca, se a música está muito alta sob a voz em um trecho nomeado e se uma mudança de música parece limpa.

7. Licenças e chaves

Música e efeitos vêm de uma biblioteca com a qual a pessoa tem conta, ou de fontes cuja licença permite o uso. Registre títulos e a conta em CREDITS.md e lembre-os de confirmar que o plano cobre o local onde o filme será exibido. As chaves são lidas do ambiente ou de um arquivo fora do projeto, nunca escritas nele.

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

Habilidades Relacionadas