Traducción de audio de YouTube
Convierte un video en pistas de audio adicionales en otros idiomas. Todo es gratuito y local excepto las voces (edge-tts usa las voces en línea de Microsoft). El motor es scripts/dub.py en la carpeta de esta skill.
El proceso: separar voz y música -> transcribir la voz en frases con tiempo -> tú traduces cada frase para que encaje en su tiempo -> construir (decir cada frase y colocarla en el segundo original) -> mezclar con la música exactamente en la duración del video -> verificar.
Reglas (cada una cuesta un intento fallido)
- La duración del resultado debe ser igual a la duración del archivo VIDEO (
--ref video.mp4). Nunca tomarla de un.aacsin procesar:ffprobesolo estima su duración a partir de la tasa de bits y puede equivocarse por 15 s. YouTube rechaza una pista que no coincida con el video ("la pista de audio y el video deben tener la misma duración"). - Tú traduces; no uses un traductor automático. Un traductor ignora cuántos segundos tiene una frase. Ejecuta
budgetprimero y escribe cada línea dentro de su presupuesto de caracteres. Si te pasas del presupuesto, la voz se acelera y suena apresurada; por debajo del 80% del espacio, la herramienta ralentiza un poco la voz. - Corrige los errores de reconocimiento antes de traducir. Nombres y términos se escuchan mal (un servicio llamado "Klap" se escuchó como "Clip" y "Клэп"; "экспорт" como "эксперт"). Lee todo el
source.srt, corrígelo e informa al usuario sobre las suposiciones que hiciste. - Las frases se colocan en su segundo de inicio original, nunca pegadas una tras otra. La herramienta ya hace esto; no proceses posteriormente el audio de una manera que desplace las frases.
- No puedes escuchar el audio. Verifica con
checky los números, y di claramente que nadie ha escuchado. Pide al usuario (idealmente un hablante nativo) que escuche. Nunca escribas que "suena natural". - Pregunta antes de instalar algo. Nunca sobrescribas ni elimines los archivos del usuario; trabaja en una carpeta separada (por ejemplo,
work/junto al video).
1. Verifica la configuración (una vez)
python3 --version # 3.10 o más reciente
ffmpeg -version | head -1 # 4.4 o más reciente
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version # solo para el paso de separación
rubberband --version # opcional: aceleraciones más agradables (de lo contrario se usa ffmpeg atempo)
Componentes faltantes:
- Paquetes de Python:
pip3 install -r requirements.txt ffmpeg:brew install ffmpeg(macOS) /winget install ffmpeg(Windows) /apt install ffmpeg(Linux)rubberband(opcional):brew install rubberband/apt install rubberband-cli- el separador (grande, instálalo por separado):
pip3 install "audio-separator[cpu]". Siimport scipyfalla en macOS (un errordlopen),pip3 install scipy==1.14.1lo soluciona.
La primera transcribe descarga un modelo de voz de ~1.5 GB; la primera separate descarga un modelo de ~70 MB. Informa al usuario y asegúrate de que haya varios GB de espacio libre en disco.
2. Separar la voz de la música
python3 scripts/dub.py separate "/ruta/video.mp4" -o work
Da work/vocals.wav y work/music.wav. Si el video no tiene música, omite este paso y mezcla con silencio (usa --music con cualquier archivo silencioso) o simplemente construye y entrega dub_only.wav.
3. Transcribir
python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt
--lang es el idioma del discurso ORIGINAL. Lee completamente work/source.srt y corrige los errores en su lugar (mantén los tiempos). Las frases tienen una duración aproximada de 2 a 7 segundos.
4. Traducir
python3 scripts/dub.py budget work/source.srt --lang fr
Imprime, para cada frase, los segundos que tiene y el número máximo de caracteres (aproximadamente 15 caracteres/s para francés e inglés, 14 para español, 13 para hindi y alemán, 5 caracteres/s para chino). Escribe tú mismo la traducción como una lista JSON de cadenas en el mismo orden, una por frase, por ejemplo work/lines.fr.json:
["Primera frase traducida.", "Segunda frase traducida.", "..."]
Traduce el significado, no palabra por palabra; acorta libremente (elimina muletillas, palabras repetidas); mantén los nombres de marca tal como están escritos. Para hindi, escribe los nombres de marcas extranjeras en devanagari para que la voz los pronuncie. Los dígitos siguen siendo dígitos. Mantén una forma de tratamiento coherente ("vous", "ustedes", ...). Las frases pueden redistribuirse entre líneas vecinas cuando una oración cruza un límite.
python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt
fr.srt también es el archivo de subtítulos para el mismo idioma (tiempos originales): entrégalo al usuario.
5. Construir, mezclar, verificar
Elige una voz: edge-tts --list-voices | grep fr- (ejemplos: fr-FR-HenriNeural, es-MX-JorgeNeural, hi-IN-MadhurNeural, zh-CN-YunxiNeural, en-US-GuyNeural, de-DE-ConradNeural).
python3 scripts/dub.py build work/fr.srt --ref "/ruta/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav
Lee el resumen. Si enumera frases que necesitan más de 1.25x o que se extienden a la siguiente, acorta esas líneas en lines.fr.json, reconstruye fr.srt y ejecuta build de nuevo: solo las frases modificadas se pronuncian de nuevo.
python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/ruta/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/ruta/video.mp4"
mix escribe final.wav y final.m4a e imprime su duración junto a la del video; deben coincidir en unas pocas centésimas de segundo. check vuelve a leer el doblaje con un reconocedor de voz (la tasa de error de unos pocos % hasta ~15% es normal; los dígitos, nombres de marca y variantes ortográficas cuentan como errores; el chino se puntúa por carácter).
Repite los pasos 4-5 para cada idioma; los pasos 2-3 se hacen una vez.
6. Informar al usuario
Informa al usuario, por idioma: los archivos (final.m4a, <lang>.srt), la voz utilizada, la duración comparada con el video, la tasa de error, cuántas frases se aceleraron y en cuánto como máximo. Di lo que no pudiste verificar: el sonido en sí y la traducción si no puedes juzgar bien el idioma. Enumera las suposiciones que hiciste al corregir los errores de reconocimiento.
La subida a YouTube corre por cuenta del usuario: YouTube Studio -> Subtítulos -> agregar el idioma -> agregar la pista de audio (y el .srt como subtítulos de ese idioma). No subas nada en nombre del usuario.
Si algo sale mal
TTS failed for phrase N/retry: la red falló; ejecutabuildde nuevo, las frases terminadas se conservan.- Una frase está en silencio: su texto estaba vacío; verifica la línea en el JSON.
- La voz suena apresurada: la línea supera su presupuesto; acórtala.
- YouTube dice que las duraciones difieren: ejecuta
ffprobeen el video y enfinal.m4ay compara; reconstruye con el VIDEO como--ref. La duración de.m4ase redondea al fotograma AAC (aproximadamente 0.02 s). - Windows/Linux: no probado por el autor; el código es multiplataforma, pero informa los problemas con honestidad.