¿Qué hace dub-studio?
Pipeline: video -> audio -> faster-whisper (o los subtítulos del usuario) -> líneas de origen temporizadas -> tu traducción (JSON, una línea cada una, dentro de un presupuesto de tiempo) -> Demucs elimina la voz -> Kokoro vocaliza cada línea traducida -> ajuste de tiempo (atempo, pausas, banderas) -> mezcla con el fondo -> sonoridad -> MP4 + subtítulos + informe.
Carpeta del skill (escrita $D a continuación): esta carpeta. Cada comando es $D/dub <comando> ...; $D/dub help los lista.
Reglas (léelas primero)
- Derechos.
--rightses la propia declaración del usuario; la herramienta la registra pero no puede verificarla. Solo dobla un video que el usuario haya hecho o posea (--rights own), tenga permiso por escrito o una licencia para doblar (licensed), o cuyo discurso ya sea una voz sintética que pueda reemplazar (synthetic). Pregunta si no está claro. Si el video muestra o expresa a una persona real que no ha dado su consentimiento, no lo dobles. Nunca hagas que alguien parezca decir algo que no dijo. - Sin clonación. La nueva voz es siempre una de las voces integradas de Kokoro, elegida por nombre. Nunca intentes imitar al hablante original ni a ninguna persona real, y nunca pases una grabación como voz (la herramienta lo rechaza).
- Etiquétalo. Los metadatos del MP4 de salida, los archivos VTT y
out/<lang>/README.mddicen que el doblaje usa una voz sintética. Mantén esa etiqueta cuando entregues los archivos e indica al usuario que la mantenga cuando publique. - Calidad de la traducción. Tú escribes la traducción. Di que es traducción automática y sugiere que un hablante fluido la revise antes de publicarla.
Idiomas
Ejecuta $D/dub languages para la lista actualizada. Medido en esta máquina (Kokoro v1.0 a través de kokoro-onnx, fonemas espeak-ng), verificado leyendo la voz con reconocimiento de voz:
| código | idioma | estado |
|---|---|---|
en-us, en-gb | Inglés | compatible |
es | Español | compatible |
fr-fr | Francés | compatible |
it | Italiano | compatible |
pt-br | Portugués brasileño | compatible |
hi | Hindi | aceptable: comprensible, algunas palabras incorrectas |
cmn | Chino mandarín | experimental: la mayor parte no se entiende al leer en voz alta; rechazado sin --experimental |
ja | Japonés | no funciona con kokoro-onnx (los kanji se leen como "letra china") |
ms | Malayo | no compatible: Kokoro no tiene voz malaya |
Cualquier otro (alemán, coreano, indonesio, árabe...) no es compatible: dilo claramente y no sustituyas una voz de otro idioma. Cualquier idioma que faster-whisper conozca puede ser la fuente.
Flujo de trabajo
$D/dub check. Corrige cualquier línea MISS (check_env.shimprime los comandos). Demucs es opcional; sin él, el fondo usa una alternativa (ver abajo).- Confirma los derechos y los idiomas de destino con el usuario.
$D/dub prepare <video> --out <proyecto> --to es,fr-fr --rights own [--from en]- Añade
--srt subs.srt(o.vtt) con--from <lang>cuando el usuario tenga un guión o subtítulos correctos: omite el reconocimiento de voz y usa esos tiempos de referencia como las líneas. - La entrada debe tener un flujo de video y una pista de audio.
--fromdebe ser un código de idioma simple (en,pt-BR). - Ejecutar
preparede nuevo en la misma carpeta es rechazado, porquesource.jsonpuede contener correcciones.--forcereemplazasource.jsony vuelve a crear los archivos de traducción. - Sin ello, faster-whisper
smallse ejecuta en la CPU (--model basees más rápido,mediummás preciso). Leesource.jsony corrige cualquier palabra malinterpretada antes de traducir (mantén IDs y tiempos). --voice es=em_alexelige una voz;--max-tempo 1.2baja el límite de aceleración;--target -23establece la sonoridad de emisión.
- Añade
- Traduce. Abre cada
translations/<lang>.json. Para cada línea, escribe la traducción desourceentext:- Una línea de entrada, una línea de salida: nunca fusiones, dividas, reordones ni elimines líneas, nunca cambies
id. - Mantente dentro de
budget.idealcaracteres (cabe a velocidad normal).budget.maxes el límite estricto (hablado a la máxima aceleración). Más corto es mejor que más rápido: elimina palabras de relleno, usa la redacción natural más corta. - Traduce el significado, no las palabras. Registro hablado y natural. Mantén nombres, nombres de productos y números. No añadas hechos.
- Solo texto sin formato: sin corchetes, acotaciones, marcas ni emojis.
- Una línea de entrada, una línea de salida: nunca fusiones, dividas, reordones ni elimines líneas, nunca cambies
$D/dub lint <proyecto>: corrige cada ERROR (demasiado largo, vacío, faltante). Lee las ADVERTENCIAS (líneas largas toman prestada la pausa posterior; números faltantes; líneas sin traducir) y acorta donde puedas.$D/dub build <proyecto> [--separation ...]: fondo, voz, ajuste, mezcla, sonoridad, multiplexión. Imprime el MP4 de cada idioma, la sonoridad y cuántas líneas se aceleraron, desplazaron o marcaron. Una líneaFLAGsignifica que la traducción es demasiado larga incluso con las pausas: acórtala y vuelve a compilar (las voces se almacenan en caché, solo se vuelven a vocalizar las líneas cambiadas). Las líneas que se retrasaron se informan comodelayed, no marcadas: corrige la línea marcada, no ellas.- Míralo. Lee
out/<lang>/sheet.png: la fila de la voz doblada debería estar en las ranuras de las líneas de origen; azul (desplazamiento) está bien, rojo (desbordamiento) y morado (retrasado) no. Leeout/<lang>/report.md. $D/dub verify <proyecto> --asr: verifica la duración, la sonoridad (medida con ffmpeg's ebur128: dentro de 0.5 LU del objetivo, pico verdadero máximo 0.5 dB por encima del techo, ya que la codificación AAC puede añadir un poco), banderas y la etiqueta de voz sintética en el MP4, y lee el doblaje con reconocimiento de voz. No puedes oír el resultado: esta puntuación de relectura es cómo verificas que la voz dice las palabras correctas. Las líneas por debajo del 60% se listan; revísalas.- Entrega: los MP4s, los archivos de subtítulos y las rutas del informe, la sonoridad medida, las puntuaciones de relectura y la frase de etiqueta.
Qué va dónde
dub.json: configuración y la declaración de derechos.fit.maxTempo(1.25),fit.gap(0.12 s entre líneas),fit.maxEarly(0.3 s una línea puede comenzar antes),loudness.target(-16 LUFS) yceiling(-1.5 dBTP),mix.background/mix.voice(dB),mix.duck(dB, para el método de duplicación),keepOriginal(true conserva el audio original como una segunda pista, no predeterminada),separation.source.json: las líneas de origen temporizadas.translations/<lang>.json: tus traducciones.out/<lang>/:<name>.<lang>.mp4,<name>.<lang>.srt|vtt(solo doblaje),<name>.<lang>+<src>.srt|vtt(bilingüe),report.md|json,sheet.png,README.md.work/: caché (audio extraído, fondo, líneas vocalizadas), indexado al archivo de origen exacto, al método de fondo y al nivel de duplicación. Seguro de eliminar;verify --asrentonces necesitadub buildde nuevo, porque leework/<lang>/voice.wav.
Fondo (música y efectos)
separation en dub.json o --separation:
demucs(predeterminado cuando está instalado): htdemucs en la CPU, aproximadamente de 15 a 25 s para un clip de 20 s aquí. Mejor resultado. Los pesos se descargan desde una revisión anclada de Hugging Face como safetensors y se verifican con valores SHA-256 anclados; nunca se usa el fallo de pickle de demucs.center: elimina lo que está paneado al centro (generalmente la voz). Solo para estéreo real; también elimina el bajo centrado y los instrumentos mono.duck: conserva el audio original y lo baja (mix.duck, -18 dB) mientras habla la voz original. La voz original permanece ligeramente audible: díselo al usuario.none: solo voz.autoelige demucs, si no center (estéreo con contenido lateral real), si no duck, y el informe dice cuál se usó.
Solución de problemas
- Errores "demasiado largo": acorta la línea; no subas
maxTempopor encima de aproximadamente 1.3, suena apresurado. - Las líneas se desvían tarde (
shift screce en el informe): una línea anterior se desbordó; acórtala. - Palabras malinterpretadas en
source.json: edita el texto directamente allí (mantén IDs y tiempos) y no vuelvas a ejecutarprepare(lo rechaza, y--forcereemplazaría tus ediciones y las traducciones).dub lintluego advierte sobre cada traducción cuyosourceya no coincida: actualiza esas traducciones. - El video tiene texto o subtítulos grabados en el idioma de origen: se quedan. Dilo; el doblaje solo reemplaza el sonido.
- Las bocas en pantalla no coincidirán: este es un doblaje estilo locución, no sincronía de labios.
dub preparerechaza: lee el mensaje (derechos, idioma, audio faltante, subtítulos incorrectos) y corrígelo; no evites la verificación de derechos.