robinfernandez2016-create/sonido

O que sonido faz?

O áudio é medido: picos, volume, bandas de frequência e o fotograma em que cada golpe cai. E antes de mostrar opções de música ou efeitos, elas são filtradas com ferramentas que "ouvem" por você. As regras vêm de correções reais; cada uma diz por que existe.

Para que serve

• Voz: limpá-la, nivelá-la, transcrevê-la por palavra e, se for sintética, fazer com que ela diga bem as marcas.
• Efeitos (SFX): um som em cada gesto de cada animação, no seu fotograma.
• Música: uma cama nova por peça, que entre com os cortes e saia com fade out.
• Mixagem e entrega: o volume pronto para redes, medido.

Ferramentas: ffmpeg para tudo que é medido e mixado; Whisper (whisper-cli) para transcrever; Adobe Podcast ou um limpador local para a voz; ElevenLabs ou outro gerador para música, efeitos e voz (sempre após o skill presupuesto); e "o ouvido" (referencias/oido.md).

O fluxo

1. Voz primeiro. Após a montagem aprovada, exporte a mixagem da trilha de voz, limpe-a, nivele-a e recolocae-a (abaixo).
2. Lista de golpes. Cada gesto de cada animação com seu segundo exato e o som que ele carrega. Os instantes vêm da mesma constante usada pela composição, não de olhar.
3. Efeitos. Um script por peça que coloca cada som no seu instante, com seu nível, e fixa a duração (referencias/sfx-con-ffmpeg.md). É medido e muxado no vídeo da animação.
4. Música. Estilo diferente do da peça anterior; 2 opções filtradas com o ouvido; a subida quadrada com um corte; fade out de ~2 s na marca de saída; nível de cama e redução sob a voz.
5. Mixagem e nível de entrega.
6. Controle (no final) e uma linha em pieza.md.

Voz

Real por padrão. A locução é uma gravação da pessoa ou do locutor. Não proponha voz sintética por conta própria; se faltar locução, peça-a.

Limpeza

• Adobe Podcast (Enhance Speech), em sua versão gratuita e sem ajustar configurações, é o que soou melhor: em um teste deixou a voz 3,3 dB mais limpa em relação ao fundo; DeepFilterNet e Resemble Enhance, localmente, apenas ~0,3 dB e soavam "abafados, borrados". O problema daquela voz era a reverberação do cômodo, não o ruído. Os locais ficam como reserva (DeepFilterNet vai a ~50× tempo real; Resemble, a ~2× em CPU).
• Subir a voz de uma pessoa para um serviço externo precisa de sua permissão explícita. Não contorne isso com scripts ou regras que você mesmo cria; se não houver permissão, limpe localmente.
• Um upload por peça, não por clipe: a mixagem da voz já montada. Se o serviço tiver limite de tamanho, MP3 de 320 kbps e o longo dividido nos silêncios.
• Ao retornar: meça o deslocamento em relação ao original (deve dar ~0 ms), nivele-a à sonoridade da original, coloque-a em uma nova trilha a partir do mesmo ponto e silencie a original (não a apague).

Transcrição (para legendas, efeitos e cortes)

• Sobre a voz tal como está na linha do tempo, por palavra: whisper-cli -m <modelo> -l es -ml 1 -sow -oj. Como reconstruí-la: skill motion, legendas.
• Whisper fecha palavras alongadas até 2 s antes do tempo. Nunca se corta uma frase: o final real é medido no áudio original (envoltório entre 300 e 3400 Hz).

Voz sintética (apenas se pedida, e com presupuesto)

• Números escritos por extenso, uma frase por chamada, 2 takes por frase e escolhe-se o melhor; no máximo 5 gerações simultâneas; saída a 48 kHz / 24 bits, na sonoridade da voz que já existia.
• Ao montá-la, os silêncios vão entre frases, nunca dentro.
• Voz projetada do zero: com "guidance" baixo (~3); com um alto (~8) fica rígida.
• A voz de um ator real não é copiada: busca-se seu estilo. A pessoa atua as falas e seu timbre é alterado com um alterador de voz, que preserva seu ritmo.
• Se alguém aparece falando para a câmera, ouve-se sua voz. Clonar uma voz ou sincronizar lábios, apenas com permissão dessa pessoa.

Marcas bem ditas

• Uma marca que coincide com uma palavra em inglês sai em inglês mesmo que a voz seja latina. Escreva-a foneticamente para a voz ("Social" → "Sosiál") e teste com uma vírgula depois.
• Meça isso: O Whisper transcreve igual as duas pronúncias. Uma pausa de mais de 70 ms dentro da palavra = partiu-a em dois. Para um "u" inicial, o F2 de seus primeiros 50 ms distingue o espanhol (abaixo de ~1000 Hz) do "iu" inglês (acima de 2000 Hz e caindo), por exemplo com Praat.
• Nenhuma medição acerta totalmente o sotaque: gera uma rodada, descarta as que partem a palavra e cola apenas o trecho da marca de cada sobrevivente em um único .wav para que a pessoa escolha de ouvido. Avise-a sempre que uma voz sintética disser uma marca.

Efeitos sonoros

Gesto na tela	Som
Mensagem que entra em um chat simulado (ou algo que representa uma mensagem)	O som real daquele aplicativo, que o público reconhece como "chegou uma mensagem" (geralmente a notificação), cortado para ~1 s; em rajadas, ~0,4 s e mais baixo
Mensagem enviada, nota de voz enviada	Os sons reais do aplicativo para isso
Movimento de câmera, panorâmica	Um swoosh grave ou um deslizamento de tom, nunca ruído contínuo; abaixo da voz, mais baixo, ou um golpe, ou nada
Golpe, aparição forte	Golpe com corpo em médios (200–2000 Hz) e um pouco de grave
Contador, tique, pop de interface	Tons curtos sintetizados; em avisos seguidos, um semitom acima a cada vez
Clímax	Sino + grave
Gesto de uma pessoa (aparecer, quebrar, riscar, pressionar)	Kit realista (biblioteca ou gerado), com os agudos medidos
Palavra-chave da voz	Um acento curto com corpo em sua sílaba forte

Os sons reais de um aplicativo são gravados do telefone ou extraídos do aplicativo oficial; seus níveis vêm diferentes e precisam ser equalizados. Kits realistas também sibilam (relógios, subidas e moedas medidos tinham de 70 a 97% de sua energia acima de 3 kHz): meça-os e passe-os por um passa-baixa, ou sintetize-os com tom.

Música

• Uma banda que toca: instrumental, animada, meio improvisada e com acordes; não um loop de biblioteca que soa como propaganda. Um estilo base (por exemplo, rock orgânico) e rotação entre peças: funk, jazz, R&B ou algo local quando a peça pede alegria.
• O prompt descreve o som, não a imagem: gênero, energia, instrumentos, BPM e como evolui. O que funcionou, em inglês: «Starts instantly with no intro, full band from the very first beat», «Keeps full energy to the end», «Instrumental. Not corporate, not stock music, not lounge».
• Duas opções: A = o estilo base, B = o que toca na rotação. Para comparar no editor, a segunda vai em outra trilha, silenciada.
• Meça antes de escolher: metade dos takes gerados se apagam antes do final ou têm um buraco. Olhe os últimos 3 s, procure silêncios de mais de 0,5 s e extraia o envelope por segundo (onde sobe, quando morre). Takes de ~50 s costumam se apagar sozinhos por volta do segundo 46: escolha o corte de cabeça para que o fade out caia sobre a parte cheia.
• A subida cai em um corte de imagem e em uma pausa da voz. Adiante ou atrase a trilha, ou repita um compasso da intro na costura que melhor emenda. Nunca a estique, e não mova o vídeo para alinhá-la.
• Se a música acabar antes da peça, repita uma frase de 4 compassos após a subida.
• Fade out de ~2 s (curva cos², assado no WAV) que termina exatamente na marca de saída, sobre o groove e não sobre o golpe final.
• Em uma série (histórias 1 → 2 → 3), a música segue de uma para outra e com o mesmo volume.
• Vem muito masterizada (−12 a −14 LUFS, pico real perto de 0 dB): é normal; baixa-se ao nível de cama.

O que não se quebra

• Voz real por padrão. Por quê: a voz da pessoa é o que torna a peça crível, e a sintética se denuncia no primeiro nome mal dito.
• As animações se ajustam à voz, nunca o contrário: não se inserem pausas na voz para alinhar um gráfico.
• Toda animação leva seu efeito sonoro, sem que peçam, e cada golpe cai no fotograma medido. Por quê: uma animação muda parece pela metade, e um golpe que chega tarde, pior.
• Se um som não tem um gesto na tela nem um acento na voz, sobra. Por quê: o SFX acompanha; não é ambiente.
• Nada de 'chhh'. Nem ruído branco nem ruído contínuo para um movimento; o ruído, apenas como transitório de milissegundos. Por quê: o chiado soa barato, suja a locução e é o que mais vezes foi rejeitado.
• Em uma simulação, os sons reais do aplicativo. Por quê: um som conhecido torna o chat crível; um 'pop' genérico o denuncia como animação.
• Cada som com seu próprio nível. Não se normaliza o stem inteiro; o limitador só cuida dos picos. Por quê: ao normalizar tudo junto, o golpe mais forte afunda os outros.
• O que precisa ser ouvido tem corpo nos médios. Por quê: um grave puro (quase toda sua energia abaixo de 120 Hz) não soa no alto-falante de um celular.
• O som vai na direção da ideia. Por quê: um problema que afunda e não resolve, e uma solução que sobe e fecha (por exemplo, em uma quinta), contam a história sem palavras.
• Uma música nova em cada peça. Por quê: a canção repetida é a primeira coisa que cansa («gosto de tudo, menos da música»).
• A música nunca é cortada abruptamente. Se a peça mudar de duração, refaz-se a cama (corte e fade out); não se recorta o clipe no editor. Por quê: um final cortado é perceptível na entrega.
• A voz manda. Se a voz mudar, refaz-se a redução da música.
• Filtre antes de mostrar e mostre apenas as 2 ou 3 melhores. Por quê: nove opções às cegas cansam e queimam a confiança.
• O ouvido filtra, não escolhe. Por quê: houve takes com a melhor nota do ouvido que foram rejeitados; decide a pessoa, de ouvido.

Números

O quê	Valor
Efeito solto (sem voz por baixo)	pico ≈ −5,5 dB; RMS ≈ −22 a −25 dB
Efeito sob a locução	pico ≤ −9 dB; RMS ≤ −27 dB
Som de mensagem de um chat	ao nível da voz (≈ −21 dB RMS no stem)
Golpe de cada balão de chat	em seu fotograma + 0,02 s
Swoosh sob a voz	centro ≤ 750 Hz, passa-baixa a 2,5 kHz, pico ≈ −20 dB
Chiado	nenhum trecho com mais de 35% de sua energia acima de 3,5 kHz
Limitador	alimiter=limit=0.52:level=disabled (teto ≈ −5,7 dB)
Cama musical, com voz de fundo	−20 LUFS nos buracos; −4,5 dB sob a voz
Cama, com uma pessoa falando para a câmera	−23 LUFS nos buracos; −7 dB sob a voz
Fade out	~2 s, cos², terminando na marca de saída
Voz de câmera crua	≈ −26 LUFS: se subi-la, sobe também música e efeitos
Entrega para redes	−14 a −15 LUFS integrados; pico real ≤ −1 dBTP
Teste do celular	a sonoridade cai 2–6 dB: bom; mais de 6 dB: falta presença

Comandos para medir cada linha: referencias/sfx-con-ffmpeg.md.

Armadilhas conhecidas

• alimiter auto-nivela por padrão: com level ativo, o teto não é teto e o pico escapa. Sempre level=disabled.
• O limitador não é linear: normaliza iterando (mede, corrige, reconstrói; no máximo 4 voltas).
• volume=…:eval=frame muda o ganho por blocos de ~21 ms: modular acima de ~5 Hz dá degraus (um zumbido quebrado). O rápido, por amostra dentro de aevalsrc.
• -t corta mas não preenche: apad + -t fixa a duração.
• Se a renderização do Remotion trouxer uma trilha de áudio muda no .mov (depende da versão), o SFX a substitui (-map 0:v -map 1:a), com -t <duração do vídeo>; -shortest no MOV come os últimos fotogramas.
• Whisper alucina sobre música sozinha ou ruído ("Gracias por ver el video", "Thank you"): aí não há voz.
• O áudio vinculado de um clipe pode pisar outras trilhas ao colocá-lo: o SFX vai por último, em uma trilha livre.
• Premiere mudo depois de remover uns fones Bluetooth: eles ficaram como entrada e saída (modo viva-voz). Ajustes → Hardware de áudio: entrada "Sem entrada", saída os alto-falantes do equipamento. No macOS, system_profiler SPAudioDataType diz qual é o dispositivo padrão.
• Acelerar uma nota de voz sem mudar o tom: atempo=1.1.

O que é entregue e o que é verificado

É entregue: a voz limpa (.wav); um .wav de efeitos por animação, do mesmo comprimento exato (fotograma 0 = fotograma 0), muxado em seu .mov ou ao lado; a cama musical com o fade out assado; a mixagem; e uma linha em pieza.md com o que foi feito, as medidas e o pendente.

É verificado, medindo:

• Volume integrado entre −14 e −15 LUFS e pico real ≤ −1 dBTP.
• Cama em seu nível nos buracos e baixando sob a voz.
• A música termina em fade out exatamente na marca de saída.
• Cada golpe em seu fotograma (lista de golpes contra a onda).
• Nenhum trecho com chiado (mais de 35% acima de 3,5 kHz).
• Os golpes-chave se ouvem no teste do celular.
• Voz limpa sem deslocamento em relação ao original.
• Duração do SFX igual à do vídeo.
• Se houver voz sintética: marcas medidas e ouvidas pela pessoa.