Communitygithub.com

voz-video-y-sonido

Todo lo que se escucha en una película, hecho sin poder oírlo. Genera y verifica la voz del narrador, elige una voz con la persona, musicaliza el filme para que la música siga el estado de ánimo, coloca efectos de sonido, atenúa la música bajo la voz y alcanza un objetivo de sonoridad. Úsalo una vez que el guion esté escrito, y cada vez que cambien líneas, voz, música o mezcla.

¿Qué es voz-video-y-sonido?

Esta habilidad permite a un agente de IA crear y gestionar todos los elementos de audio de una película sin escucharlos, basándose en mediciones objetivas y transcripciones. Es útil para desarrolladores y creadores de contenido que trabajan con herramientas de IA como Claude Code, Cursor o Codex, automatizando tareas que requieren percepción auditiva. La habilidad soporta generación de voz con ElevenLabs y efectos de sonido, nivelación de audio a -17 LUFS, ajuste de ritmo, selección de narradores, composición musical por estados de ánimo y mezcla final. El agente puede verificar cada línea mediante transcripción, ajustar pausas, mapear partes del filme a pistas musicales con su forma de volumen, colocar efectos de sonido en puntos precisos y crear volúmenes de atenuación automática. Al final, proporciona un informe claro con métricas de sonoridad y elementos específicos que la persona debe verificar.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shubhamnshukla/video-agent-kit/tree/main/skills/video-voice-and-sound

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Voz y sonido

No puedes oír. Decide a partir de mediciones, verifica mediante transcripción y dile a la persona qué debe escuchar.

1. La voz

Genera un archivo por línea con scripts/vo.py lines.json assets/vo-raw <voice_id>. Pide a ElevenLabs las temporizaciones de palabras y pasa las líneas anteriores y posteriores, para que la entonación fluya de línea a línea. Esas temporizaciones de palabras son el reloj de la película: cada corte y cada tarjeta se colocan sobre una palabra.

Luego scripts/vo_finish.py assets/vo-raw assets/vo:

  • nivela cada línea a −17 LUFS (las tomas generadas varían hasta 10 dB o más);
  • con --tighten <prefix>, acorta pausas de más de 0.34 s en secciones rápidas. Las líneas escritas como fragmentos ("Kabir. Diseñador. ...") vuelven con espacios de medio segundo o más, y la película se siente lenta por ello.

Verifica cada línea. Une los archivos, transcríbelos (npx hyperframes transcribe file.wav --json) y lee el texto comparándolo con el guion. El habla generada omite y cambia palabras pequeñas: "couldn't" regresó como "could". Reescribe esa línea ("could not") y genérala de nuevo. Informa de cualquier discrepancia entre el transcriptor y el guion, incluso si crees que el transcriptor es el que está equivocado.

Ritmo. Después de terminar, el habla de la película debe tener entre 2.4 y 2.8 palabras por segundo para una pieza enérgica. Un narrador lento y calmado hace una película lenta sin importar el montaje; esta es la razón más común por la que un primer borrador se considera aburrido.

Rehacer líneas individuales con --only id,id; el archivo de temporización se fusiona.

2. Elegir un narrador con la persona

La voz es cuestión de gusto, y es de ellos. Ofrece muestras temprano, antes de que la película se construya sobre una sola voz, porque una voz nueva cambia la duración de cada línea y cada indicación.

  • Busca en la biblioteca de voces por acento, género y uso (su API lista voces compartidas con descripciones).
  • Genera el mismo pasaje con cinco a ocho voces: vo.py lines.json samples A,B,C --sample 5. Usa un pasaje que incluya los nombres y el nombre de la marca.
  • Entrégales los archivos con una línea cada uno: la descripción de la biblioteca y el ritmo medido. No puedes clasificarlas de oído; diles eso.

Nombres. Una voz puede pronunciar mal nombres de otro idioma. Haz una comparación A/B de las líneas con nombres: tal como están escritas, y reescritas para ese lector (Kabeer, Urjun). Deja que ellos elijan. Verificar la pronunciación del nombre de la marca es responsabilidad de la persona; pídelo explícitamente.

3. Música que sigue el estado de ánimo

Una sola pista de principio a fin aplana una historia. Primero mapea los actos a estados de ánimo, luego encuentra una pista para cada uno:

Parte de la películaEstado de ánimoQué buscar
Apertura, conocer a las personasligero, esperanzadorpiano suave o pulso suave, poca percusión
El problematenso, pesadouna base oscura que crece lentamente; añade un latido cardíaco o un zumbido grave
La línea que lo resumecasi silencioun golpe grave, luego casi nada bajo las palabras
El producto llegaelevaciónuna pista optimista cuya apertura es contenida y que luego acelera
Final y tarjeta finalaliviola misma pista en su sección más suave

Elegir sin oír. Para cada candidato, mide el nivel a lo largo del tiempo (scripts/levels.py track 2) y su tempo. Buscas una forma: un tramo tranquilo y constante para la apertura; un ascenso lento para la tensión; un salto claro de 5 dB o más donde la pista acelera. Coloca el impulso en el momento en que aparece la respuesta del producto. Encuentra la cuadrícula de ritmo (tempo y tiempo del primer tiempo fuerte) para cualquier sección cortada al ritmo.

Editar una pista. Corta solo en líneas de compás, con un fundido cruzado de 40 ms, y cubre la unión con un corte en la imagen. Para terminar una pista antes, salta de una línea de compás en la sección fuerte a una línea de compás donde comienza la sección suave. Después de la edición, mide a través de la unión para confirmar que el nivel cambia donde pretendías.

Cambiar de pista. Cambia en un corte duro en la imagen, con un impacto en el corte. Desvanece la pista saliente durante 0.3 s.

4. Efectos de sonido

Los sonidos pequeños hacen que las tarjetas y los cortes se sientan colocados. Mantén un kit: tres o cuatro chasquidos cortos, un golpe, tonos de envío y recepción, bolígrafo sobre papel, un susurro suave, un estruendo grave, un ascenso oscuro, un latido cardíaco.

  • Mide dónde está el pico de cada efecto (levels.py file 0.1). Un ascenso puede alcanzar su pico 1.9 s después de que comience el archivo; un golpe puede tener 0.25 s de silencio al principio. Inicia el archivo para que el pico caiga sobre la imagen.
  • Coloca el sonido aproximadamente 20 ms después de la imagen, nunca antes.
  • Alterna dos o tres chasquidos diferentes en una serie de tarjetas.
  • Un latido cardíaco bajo una sección tensa: suave al principio (0.3), subiendo (0.4, luego 0.6), y solo durante un segundo cuando la música se detiene.

5. La mezcla

Clips en la composición raíz: música en sus propios clips con data-volume="1", voz a 1.25 después del nivelado, efectos entre 0.35 y 2.0 según el archivo.

scripts/mix.py index.html mix.json escribe las pistas de volumen que atenúan la música bajo la voz. Elige los niveles a partir del nivel medido de la pista: una base debe estar de 11 a 13 dB por debajo de la voz.

Base, medidaBajo la vozEn los espacios
piano suave, −25 dBFS0.91.5
base oscura, −21 dBFS0.550.95
pista optimista, apertura contenida, −17 dBFS0.340.62
la misma pista en arreglo completo, −11 dBFS0.190.4
su sección suave, −15 dBFS0.30.75

Ejecuta mix.py de nuevo cada vez que un clip de voz se mueva.

Objetivo. Mide el archivo renderizado: ffmpeg -i film.mp4 -af ebur128=peak=true -f null -. Apunta a aproximadamente −16 LUFS integrados y un pico verdadero a −1 dBFS o menos.

6. Qué decirle a la persona

Cada entrega dice, en palabras claras: no se oyó nada; las líneas de voz se transcribieron de vuelta y coinciden (o cuáles no); las cifras de sonoridad; y las cosas específicas para escuchar, como cómo se dice el nombre de la marca, si la música es demasiado alta bajo la voz en un tramo nombrado, y si un cambio de música se siente limpio.

7. Licencias y claves

La música y los efectos provienen de una biblioteca con la que la persona tiene una cuenta, o de fuentes cuya licencia permite el uso. Registra los títulos y la cuenta en CREDITS.md, y recuérdales que confirmen que el plan cubre el lugar donde se mostrará la película. Las claves se leen del entorno o de un archivo fuera del proyecto, nunca se escriben dentro de él.

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

Skills relacionados