Communitygithub.com

dub-studio

Dobla un video en este equipo, traduciéndolo y re-doblándolo mientras conserva su música y efectos de sonido, sin servicios de pago. Transcripción local con faster-whisper (o lee un SRT/VTT), traduces línea por línea en JSON con un presupuesto de tiempo, elimina la voz original con Demucs (o un método alternativo), vocaliza cada línea con una voz sintética integrada Kokoro, ajusta las líneas a sus ranuras (acelera, pausas, o marca), remezcla a una sonoridad fija (-16 LUFS por defecto) y escribe un MP4, SRT/VTT bilingüe, un informe de sincronización y una hoja. Úsalo cuando el usuario quiera doblar, traducir, re-vocalizar o localizar un video o locución a español, francés, italiano, portugués brasileño, hindi o inglés, o quiera una "versión en español" de un video. Solo para videos que el usuario posea, tenga derechos, o cuya voz ya sea sintética; nunca clona una voz. No se admiten malayo, japonés, alemán y otros idiomas sin una voz Kokoro funcional.

¿Qué es dub-studio?

dub-studio es una herramienta de línea de comandos que te permite doblar videos localmente en tu propia máquina, traduciendo el diálogo y reemplazando la voz original con una voz sintética, mientras conserva la música de fondo y los efectos de sonido. Es completamente gratuita y no requiere servicios de pago externos. El flujo de trabajo es: primero transcribe el audio del video usando faster-whisper (o acepta subtítulos SRT/VTT existentes), luego tú traduces cada línea dentro de un límite de tiempo definido, luego la herramienta extrae la voz original con Demucs, sintetiza cada línea traducida con Kokoro, ajusta la duración de las líneas a sus intervalos de tiempo (acelerando o añadiendo pausas), mezcla todo con el fondo, normaliza la sonoridad y genera el video final en MP4 junto con subtítulos bilingües y un informe de sincronización. Está diseñada para usarse con Claude Code, Cursor, Codex, o cualquier agente de IA que pueda ejecutar comandos de shell y editar archivos JSON. Es útil para creadores de contenido, desarrolladores o cualquier persona que necesite localizar videos de forma rápida y sin depender de servicios en la nube. El flujo está altamente automatizado, pero requiere que el usuario (o el agente) realice las traducciones y verifique la calidad del resultado final.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/VinVirtual/dub-studio/tree/HEAD

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace dub-studio?

Pipeline: video -> audio -> faster-whisper (o los subtítulos del usuario) -> líneas de origen temporizadas -> tu traducción (JSON, una línea cada una, dentro de un presupuesto de tiempo) -> Demucs elimina la voz -> Kokoro vocaliza cada línea traducida -> ajuste de tiempo (atempo, pausas, banderas) -> mezcla con el fondo -> sonoridad -> MP4 + subtítulos + informe.

Carpeta del skill (escrita $D a continuación): esta carpeta. Cada comando es $D/dub <comando> ...; $D/dub help los lista.

Reglas (léelas primero)

  • Derechos. --rights es la propia declaración del usuario; la herramienta la registra pero no puede verificarla. Solo dobla un video que el usuario haya hecho o posea (--rights own), tenga permiso por escrito o una licencia para doblar (licensed), o cuyo discurso ya sea una voz sintética que pueda reemplazar (synthetic). Pregunta si no está claro. Si el video muestra o expresa a una persona real que no ha dado su consentimiento, no lo dobles. Nunca hagas que alguien parezca decir algo que no dijo.
  • Sin clonación. La nueva voz es siempre una de las voces integradas de Kokoro, elegida por nombre. Nunca intentes imitar al hablante original ni a ninguna persona real, y nunca pases una grabación como voz (la herramienta lo rechaza).
  • Etiquétalo. Los metadatos del MP4 de salida, los archivos VTT y out/<lang>/README.md dicen que el doblaje usa una voz sintética. Mantén esa etiqueta cuando entregues los archivos e indica al usuario que la mantenga cuando publique.
  • Calidad de la traducción. Tú escribes la traducción. Di que es traducción automática y sugiere que un hablante fluido la revise antes de publicarla.

Idiomas

Ejecuta $D/dub languages para la lista actualizada. Medido en esta máquina (Kokoro v1.0 a través de kokoro-onnx, fonemas espeak-ng), verificado leyendo la voz con reconocimiento de voz:

códigoidiomaestado
en-us, en-gbIngléscompatible
esEspañolcompatible
fr-frFrancéscompatible
itItalianocompatible
pt-brPortugués brasileñocompatible
hiHindiaceptable: comprensible, algunas palabras incorrectas
cmnChino mandarínexperimental: la mayor parte no se entiende al leer en voz alta; rechazado sin --experimental
jaJaponésno funciona con kokoro-onnx (los kanji se leen como "letra china")
msMalayono compatible: Kokoro no tiene voz malaya

Cualquier otro (alemán, coreano, indonesio, árabe...) no es compatible: dilo claramente y no sustituyas una voz de otro idioma. Cualquier idioma que faster-whisper conozca puede ser la fuente.

Flujo de trabajo

  1. $D/dub check. Corrige cualquier línea MISS (check_env.sh imprime los comandos). Demucs es opcional; sin él, el fondo usa una alternativa (ver abajo).
  2. Confirma los derechos y los idiomas de destino con el usuario.
  3. $D/dub prepare <video> --out <proyecto> --to es,fr-fr --rights own [--from en]
    • Añade --srt subs.srt (o .vtt) con --from <lang> cuando el usuario tenga un guión o subtítulos correctos: omite el reconocimiento de voz y usa esos tiempos de referencia como las líneas.
    • La entrada debe tener un flujo de video y una pista de audio. --from debe ser un código de idioma simple (en, pt-BR).
    • Ejecutar prepare de nuevo en la misma carpeta es rechazado, porque source.json puede contener correcciones. --force reemplaza source.json y vuelve a crear los archivos de traducción.
    • Sin ello, faster-whisper small se ejecuta en la CPU (--model base es más rápido, medium más preciso). Lee source.json y corrige cualquier palabra malinterpretada antes de traducir (mantén IDs y tiempos).
    • --voice es=em_alex elige una voz; --max-tempo 1.2 baja el límite de aceleración; --target -23 establece la sonoridad de emisión.
  4. Traduce. Abre cada translations/<lang>.json. Para cada línea, escribe la traducción de source en text:
    • Una línea de entrada, una línea de salida: nunca fusiones, dividas, reordones ni elimines líneas, nunca cambies id.
    • Mantente dentro de budget.ideal caracteres (cabe a velocidad normal). budget.max es el límite estricto (hablado a la máxima aceleración). Más corto es mejor que más rápido: elimina palabras de relleno, usa la redacción natural más corta.
    • Traduce el significado, no las palabras. Registro hablado y natural. Mantén nombres, nombres de productos y números. No añadas hechos.
    • Solo texto sin formato: sin corchetes, acotaciones, marcas ni emojis.
  5. $D/dub lint <proyecto>: corrige cada ERROR (demasiado largo, vacío, faltante). Lee las ADVERTENCIAS (líneas largas toman prestada la pausa posterior; números faltantes; líneas sin traducir) y acorta donde puedas.
  6. $D/dub build <proyecto> [--separation ...]: fondo, voz, ajuste, mezcla, sonoridad, multiplexión. Imprime el MP4 de cada idioma, la sonoridad y cuántas líneas se aceleraron, desplazaron o marcaron. Una línea FLAG significa que la traducción es demasiado larga incluso con las pausas: acórtala y vuelve a compilar (las voces se almacenan en caché, solo se vuelven a vocalizar las líneas cambiadas). Las líneas que se retrasaron se informan como delayed, no marcadas: corrige la línea marcada, no ellas.
  7. Míralo. Lee out/<lang>/sheet.png: la fila de la voz doblada debería estar en las ranuras de las líneas de origen; azul (desplazamiento) está bien, rojo (desbordamiento) y morado (retrasado) no. Lee out/<lang>/report.md.
  8. $D/dub verify <proyecto> --asr: verifica la duración, la sonoridad (medida con ffmpeg's ebur128: dentro de 0.5 LU del objetivo, pico verdadero máximo 0.5 dB por encima del techo, ya que la codificación AAC puede añadir un poco), banderas y la etiqueta de voz sintética en el MP4, y lee el doblaje con reconocimiento de voz. No puedes oír el resultado: esta puntuación de relectura es cómo verificas que la voz dice las palabras correctas. Las líneas por debajo del 60% se listan; revísalas.
  9. Entrega: los MP4s, los archivos de subtítulos y las rutas del informe, la sonoridad medida, las puntuaciones de relectura y la frase de etiqueta.

Qué va dónde

  • dub.json: configuración y la declaración de derechos. fit.maxTempo (1.25), fit.gap (0.12 s entre líneas), fit.maxEarly (0.3 s una línea puede comenzar antes), loudness.target (-16 LUFS) y ceiling (-1.5 dBTP), mix.background / mix.voice (dB), mix.duck (dB, para el método de duplicación), keepOriginal (true conserva el audio original como una segunda pista, no predeterminada), separation.
  • source.json: las líneas de origen temporizadas. translations/<lang>.json: tus traducciones.
  • out/<lang>/: <name>.<lang>.mp4, <name>.<lang>.srt|vtt (solo doblaje), <name>.<lang>+<src>.srt|vtt (bilingüe), report.md|json, sheet.png, README.md.
  • work/: caché (audio extraído, fondo, líneas vocalizadas), indexado al archivo de origen exacto, al método de fondo y al nivel de duplicación. Seguro de eliminar; verify --asr entonces necesita dub build de nuevo, porque lee work/<lang>/voice.wav.

Fondo (música y efectos)

separation en dub.json o --separation:

  • demucs (predeterminado cuando está instalado): htdemucs en la CPU, aproximadamente de 15 a 25 s para un clip de 20 s aquí. Mejor resultado. Los pesos se descargan desde una revisión anclada de Hugging Face como safetensors y se verifican con valores SHA-256 anclados; nunca se usa el fallo de pickle de demucs.
  • center: elimina lo que está paneado al centro (generalmente la voz). Solo para estéreo real; también elimina el bajo centrado y los instrumentos mono.
  • duck: conserva el audio original y lo baja (mix.duck, -18 dB) mientras habla la voz original. La voz original permanece ligeramente audible: díselo al usuario.
  • none: solo voz. auto elige demucs, si no center (estéreo con contenido lateral real), si no duck, y el informe dice cuál se usó.

Solución de problemas

  • Errores "demasiado largo": acorta la línea; no subas maxTempo por encima de aproximadamente 1.3, suena apresurado.
  • Las líneas se desvían tarde (shift s crece en el informe): una línea anterior se desbordó; acórtala.
  • Palabras malinterpretadas en source.json: edita el texto directamente allí (mantén IDs y tiempos) y no vuelvas a ejecutar prepare (lo rechaza, y --force reemplazaría tus ediciones y las traducciones). dub lint luego advierte sobre cada traducción cuyo source ya no coincida: actualiza esas traducciones.
  • El video tiene texto o subtítulos grabados en el idioma de origen: se quedan. Dilo; el doblaje solo reemplaza el sonido.
  • Las bocas en pantalla no coincidirán: este es un doblaje estilo locución, no sincronía de labios.
  • dub prepare rechaza: lee el mensaje (derechos, idioma, audio faltante, subtítulos incorrectos) y corrígelo; no evites la verificación de derechos.

Skills relacionados