Communitygithub.com

voix-voix-et-son

Tout ce qui s'entend dans un film, conçu sans pouvoir l'entendre. Générer et vérifier la voix du narrateur, choisir une voix avec la personne, habiller le film pour que la musique suive l'ambiance, placer des effets sonores, baisser la musique sous la voix et atteindre une cible de loudness. À utiliser une fois le script écrit, et à chaque changement de réplique, de voix, de musique ou de mix.

Qu'est-ce que voix-voix-et-son ?

Cette compétence permet à un agent IA de gérer l'ensemble de la conception sonore d'un film, de la génération de voix à la post-production, sans jamais pouvoir écouter l'audio. Elle repose sur des outils automatisés (scripts Python) et des mesures objectives (LUFS, loudness, tempo) pour compenser l'absence d'audition. L'agent peut générer des pistes vocales via ElevenLabs, les niveler, les transcrire pour les vérifier, et ajuster le pacing. Il peut également choisir une voix en collaboration avec l'utilisateur en proposant des échantillons et en évaluant la prononciation. La compétence couvre la création de bandes musicales adaptées aux différentes parties du film, le placement d'effets sonores sur les coupures, et le mixage final avec ducking automatique de la musique sous la voix. Elle inclut aussi la gestion des licences, des clés API, et la rédaction d'un compte-rendu pour le client. Cette compétence est conçue pour fonctionner sur une base de scripts locaux (vo.py, mix.py, levels.py) et peut être intégrée dans un workflow de montage vidéo existant.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shubhamnshukla/video-agent-kit/tree/main/skills/video-voice-and-sound

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Voix et son

Vous ne pouvez pas entendre. Décidez à partir de mesures, vérifiez par transcription et dites à la personne quoi écouter.

1. La voix

Générez un fichier par ligne avec scripts/vo.py lines.json assets/vo-raw <voice_id>. Il interroge ElevenLabs pour obtenir les timings des mots et transmet les lignes avant et après, afin que l'intonation s'enchaîne de ligne en ligne. Ces timings des mots constituent l'horloge du film : chaque cut et chaque carte est placé sur un mot.

Ensuite, scripts/vo_finish.py assets/vo-raw assets/vo :

  • nivelle chaque ligne à −17 LUFS (les prises générées varient de 10 dB ou plus) ;
  • avec --tighten <prefix>, raccourcit les pauses de plus de 0,34 s dans les sections rapides. Les lignes écrites comme des fragments ("Kabir. Designer. ...") reviennent avec des écarts d'une demi-seconde ou plus, et le film paraît lent pour cela.

Vérifiez chaque ligne. Concaténez les fichiers, transcrivez-les (npx hyperframes transcribe file.wav --json) et lisez le texte par rapport au script. La parole générée omet et échange des petits mots : "couldn't" est revenu comme "could". Réécrivez une telle ligne ("could not") et générez-la à nouveau. Signalez tout désaccord entre le transcripteur et le script, même si vous pensez que le transcripteur a tort.

Rythme. Une fois terminée, la parole du film doit tourner à 2,4 à 2,8 mots par seconde pour un morceau énergique. Un narrateur calme et lent rend un film lent quelle que soit la coupe ; c'est la raison la plus courante pour laquelle une première version est qualifiée d'ennuyeuse.

Refaire des lignes uniques avec --only id,id ; le fichier de timing est fusionné.

2. Choisir un narrateur avec la personne

La voix est une affaire de goût, et c'est le sien. Proposez des échantillons tôt, avant que le film ne soit construit sur une seule voix, car une nouvelle voix change la longueur de chaque ligne et chaque repère.

  • Recherchez dans la bibliothèque de voix par accent, genre et utilisation (son API répertorie les voix partagées avec des descriptions).
  • Générez le même passage avec cinq à huit voix : vo.py lines.json samples A,B,C --sample 5. Utilisez un passage contenant les noms et le nom de la marque.
  • Donnez-leur les fichiers avec une ligne chacun : la description de la bibliothèque elle-même et le rythme mesuré. Vous ne pouvez pas les classer à l'oreille ; dites-le.

Noms. Une voix peut mal prononcer des noms d'une autre langue. Faites un A/B des lignes de noms : telles qu'écrites, et ré-orthographiées pour ce lecteur (Kabeer, Urjun). Laissez-les choisir. Vérifier à l'oreille le nom de la marque est le travail de la personne ; demandez-le explicitement.

3. Musique qui suit l'ambiance

Un seul morceau du début à la fin aplatit une histoire. Cartographiez d'abord les actes avec les ambiances, puis trouvez un morceau pour chacun :

Partie du filmAmbianceCe qu'il faut chercher
Ouverture, rencontre des personnagesléger, plein d'espoirpiano discret ou pulsation douce, peu de percussions
Le problèmetendu, lourdun fond sombre qui monte lentement ; ajoutez un battement de cœur ou un bourdonnement grave
La ligne qui résume toutquasi silenceun seul coup grave, puis presque rien sous les mots
Le produit arriveessorun morceau entraînant dont l'ouverture est retenue et qui décolle plus tard
Fin et carte de finsoulagementla même section plus douce du morceau

Choisir sans entendre. Pour chaque candidat, mesurez le niveau dans le temps (scripts/levels.py track 2) et son tempo. Vous cherchez une forme : une période calme et stable pour l'ouverture ; une montée lente pour la tension ; un saut clair de 5 dB ou plus là où un morceau décolle. Placez le décollage au moment où la réponse du produit apparaît. Trouvez la grille de beats (tempo et temps du premier downbeat) pour toute section coupée au beat.

Éditer un morceau. Coupez uniquement sur les barres de mesure, avec un crossfade de 40 ms, et couvrez la jointure par un cut dans l'image. Pour terminer un morceau plus tôt, sautez d'une barre de mesure dans la partie forte à une barre de mesure où la partie douce commence. Après l'édition, mesurez de part et d'autre de la jointure pour confirmer que le niveau change comme vous le souhaitiez.

Changer de morceau. Changez sur un cut dur dans l'image, avec un impact sur le cut. Fondu sortant du morceau sortant sur 0,3 s.

4. Effets sonores

Les petits sons donnent l'impression que les cartes et les cuts sont placés. Gardez une trousse : trois ou quatre pops courts, un tapotement, des tonalités émises et reçues, un stylo sur du papier, un souffle doux, un boom grave, un riser sombre, un battement de cœur.

  • Mesurez où se trouve le pic de chaque effet (levels.py file 0.1). Un riser peut culminer 1,9 s après le début de son fichier ; un impact peut avoir 0,25 s de silence d'abord. Démarrez le fichier pour que le pic atterrisse sur l'image.
  • Placez le son environ 20 ms après l'image, jamais avant.
  • Alternez deux ou trois pops différents dans une série de cartes.
  • Un battement de cœur sous une section tendue : d'abord discret (0,3), puis montant (0,4, puis 0,6), et laissé seul pendant une seconde lorsque la musique s'arrête.

5. Le mix

Clips dans la composition racine : musique sur ses propres clips avec data-volume="1", voix à 1,25 après nivellement, effets entre 0,35 et 2,0 selon le fichier.

scripts/mix.py index.html mix.json écrit les pistes de volume qui baissent la musique sous la voix. Choisissez les niveaux à partir du niveau mesuré du morceau : un fond doit se situer 11 à 13 dB sous la voix.

Fond, mesuréSous la voixDans les silences
piano discret, −25 dBFS0,91,5
fond sombre, −21 dBFS0,550,95
morceau entraînant, ouverture retenue, −17 dBFS0,340,62
le même morceau en arrangement complet, −11 dBFS0,190,4
sa section douce, −15 dBFS0,30,75

Relancez mix.py dès qu'un clip vocal bouge.

Cible. Mesurez le fichier rendu : ffmpeg -i film.mp4 -af ebur128=peak=true -f null -. Visez environ −16 LUFS intégrés et un pic vrai à ou sous −1 dBFS.

6. Ce qu'il faut dire à la personne

Chaque livraison dit, en mots simples : rien n'a été entendu ; les lignes vocales ont été retranscrites et correspondent (ou lesquelles ne correspondaient pas) ; les chiffres de loudness ; et les choses spécifiques à écouter, comme la façon dont le nom de la marque est prononcé, si la musique est trop forte sous la voix dans un passage nommé, et si un changement de musique semble propre.

7. Licences et clés

La musique et les effets proviennent d'une bibliothèque pour laquelle la personne a un compte, ou de sources dont la licence autorise l'utilisation. Enregistrez les titres et le compte dans CREDITS.md, et rappelez-leur de confirmer que le plan couvre le lieu où le film sera projeté. Les clés sont lues depuis l'environnement ou un fichier en dehors du projet, jamais écrites dedans.

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

Skills associés