Communitygithub.com

Traducción de audio para YouTube — doblaje en sus segundos

Dobla la voz de un video a otro idioma conservando la música original: cada frase cae en el mismo segundo que en el original y la pista se corta a la duración exacta del video para el audio multilingüe de YouTube.

¿Qué es Traducción de audio para YouTube — doblaje en sus segundos?

Paso 3 de la receta Video Localization (doblar y publicar), de oknehcvark/youtube-audio-translation (publicado el 2026-10-06). Gratis y local salvo las voces de edge-tts. scripts/dub.py separa la voz de la música, transcribe frases con tiempos usando faster-whisper, imprime un presupuesto de caracteres por frase y hace que el agente traduzca cada línea para que quepa en sus segundos. build locuta cada frase y la coloca en su inicio original, mix la monta sobre la música con la duración exacta del archivo de video (YouTube rechaza pistas de otra longitud) y check vuelve a transcribir el doblaje para dar una tasa de error. También entrega el SRT con los mismos tiempos, informa qué frases se aceleraron y dice claramente que nadie lo ha escuchado todavía.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/oknehcvark/youtube-audio-translation/tree/HEAD/skills/youtube-audio-translation

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Traducción de audio de YouTube

Convierte un video en pistas de audio adicionales en otros idiomas. Todo es gratuito y local excepto las voces (edge-tts usa las voces en línea de Microsoft). El motor es scripts/dub.py en la carpeta de esta skill.

El proceso: separar voz y música -> transcribir la voz en frases con tiempo -> tú traduces cada frase para que encaje en su tiempo -> construir (decir cada frase y colocarla en el segundo original) -> mezclar con la música exactamente en la duración del video -> verificar.

Reglas (cada una cuesta un intento fallido)

  1. La duración del resultado debe ser igual a la duración del archivo VIDEO (--ref video.mp4). Nunca tomarla de un .aac sin procesar: ffprobe solo estima su duración a partir de la tasa de bits y puede equivocarse por 15 s. YouTube rechaza una pista que no coincida con el video ("la pista de audio y el video deben tener la misma duración").
  2. Tú traduces; no uses un traductor automático. Un traductor ignora cuántos segundos tiene una frase. Ejecuta budget primero y escribe cada línea dentro de su presupuesto de caracteres. Si te pasas del presupuesto, la voz se acelera y suena apresurada; por debajo del 80% del espacio, la herramienta ralentiza un poco la voz.
  3. Corrige los errores de reconocimiento antes de traducir. Nombres y términos se escuchan mal (un servicio llamado "Klap" se escuchó como "Clip" y "Клэп"; "экспорт" como "эксперт"). Lee todo el source.srt, corrígelo e informa al usuario sobre las suposiciones que hiciste.
  4. Las frases se colocan en su segundo de inicio original, nunca pegadas una tras otra. La herramienta ya hace esto; no proceses posteriormente el audio de una manera que desplace las frases.
  5. No puedes escuchar el audio. Verifica con check y los números, y di claramente que nadie ha escuchado. Pide al usuario (idealmente un hablante nativo) que escuche. Nunca escribas que "suena natural".
  6. Pregunta antes de instalar algo. Nunca sobrescribas ni elimines los archivos del usuario; trabaja en una carpeta separada (por ejemplo, work/ junto al video).

1. Verifica la configuración (una vez)

python3 --version                       # 3.10 o más reciente
ffmpeg -version | head -1               # 4.4 o más reciente
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version               # solo para el paso de separación
rubberband --version                    # opcional: aceleraciones más agradables (de lo contrario se usa ffmpeg atempo)

Componentes faltantes:

  • Paquetes de Python: pip3 install -r requirements.txt
  • ffmpeg: brew install ffmpeg (macOS) / winget install ffmpeg (Windows) / apt install ffmpeg (Linux)
  • rubberband (opcional): brew install rubberband / apt install rubberband-cli
  • el separador (grande, instálalo por separado): pip3 install "audio-separator[cpu]". Si import scipy falla en macOS (un error dlopen), pip3 install scipy==1.14.1 lo soluciona.

La primera transcribe descarga un modelo de voz de ~1.5 GB; la primera separate descarga un modelo de ~70 MB. Informa al usuario y asegúrate de que haya varios GB de espacio libre en disco.

2. Separar la voz de la música

python3 scripts/dub.py separate "/ruta/video.mp4" -o work

Da work/vocals.wav y work/music.wav. Si el video no tiene música, omite este paso y mezcla con silencio (usa --music con cualquier archivo silencioso) o simplemente construye y entrega dub_only.wav.

3. Transcribir

python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt

--lang es el idioma del discurso ORIGINAL. Lee completamente work/source.srt y corrige los errores en su lugar (mantén los tiempos). Las frases tienen una duración aproximada de 2 a 7 segundos.

4. Traducir

python3 scripts/dub.py budget work/source.srt --lang fr

Imprime, para cada frase, los segundos que tiene y el número máximo de caracteres (aproximadamente 15 caracteres/s para francés e inglés, 14 para español, 13 para hindi y alemán, 5 caracteres/s para chino). Escribe tú mismo la traducción como una lista JSON de cadenas en el mismo orden, una por frase, por ejemplo work/lines.fr.json:

["Primera frase traducida.", "Segunda frase traducida.", "..."]

Traduce el significado, no palabra por palabra; acorta libremente (elimina muletillas, palabras repetidas); mantén los nombres de marca tal como están escritos. Para hindi, escribe los nombres de marcas extranjeras en devanagari para que la voz los pronuncie. Los dígitos siguen siendo dígitos. Mantén una forma de tratamiento coherente ("vous", "ustedes", ...). Las frases pueden redistribuirse entre líneas vecinas cuando una oración cruza un límite.

python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt

fr.srt también es el archivo de subtítulos para el mismo idioma (tiempos originales): entrégalo al usuario.

5. Construir, mezclar, verificar

Elige una voz: edge-tts --list-voices | grep fr- (ejemplos: fr-FR-HenriNeural, es-MX-JorgeNeural, hi-IN-MadhurNeural, zh-CN-YunxiNeural, en-US-GuyNeural, de-DE-ConradNeural).

python3 scripts/dub.py build work/fr.srt --ref "/ruta/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav

Lee el resumen. Si enumera frases que necesitan más de 1.25x o que se extienden a la siguiente, acorta esas líneas en lines.fr.json, reconstruye fr.srt y ejecuta build de nuevo: solo las frases modificadas se pronuncian de nuevo.

python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/ruta/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/ruta/video.mp4"

mix escribe final.wav y final.m4a e imprime su duración junto a la del video; deben coincidir en unas pocas centésimas de segundo. check vuelve a leer el doblaje con un reconocedor de voz (la tasa de error de unos pocos % hasta ~15% es normal; los dígitos, nombres de marca y variantes ortográficas cuentan como errores; el chino se puntúa por carácter).

Repite los pasos 4-5 para cada idioma; los pasos 2-3 se hacen una vez.

6. Informar al usuario

Informa al usuario, por idioma: los archivos (final.m4a, <lang>.srt), la voz utilizada, la duración comparada con el video, la tasa de error, cuántas frases se aceleraron y en cuánto como máximo. Di lo que no pudiste verificar: el sonido en sí y la traducción si no puedes juzgar bien el idioma. Enumera las suposiciones que hiciste al corregir los errores de reconocimiento.

La subida a YouTube corre por cuenta del usuario: YouTube Studio -> Subtítulos -> agregar el idioma -> agregar la pista de audio (y el .srt como subtítulos de ese idioma). No subas nada en nombre del usuario.

Si algo sale mal

  • TTS failed for phrase N / retry: la red falló; ejecuta build de nuevo, las frases terminadas se conservan.
  • Una frase está en silencio: su texto estaba vacío; verifica la línea en el JSON.
  • La voz suena apresurada: la línea supera su presupuesto; acórtala.
  • YouTube dice que las duraciones difieren: ejecuta ffprobe en el video y en final.m4a y compara; reconstruye con el VIDEO como --ref. La duración de .m4a se redondea al fotograma AAC (aproximadamente 0.02 s).
  • Windows/Linux: no probado por el autor; el código es multiplataforma, pero informa los problemas con honestidad.

Skills relacionados