¿Qué hace evo-dubbing-mux-report?
Multiplexa segmentos de audio TTS normalizados en el video original con desplazamientos de tiempo precisos usando FFmpeg, y genera el informe JSON con metadatos de sincronización, deriva y sonoridad.
Descripción
Esta habilidad toma segmentos de audio generados por TTS (text-to-speech) que han sido normalizados y los fusiona en un video de origen en los momentos exactos especificados. Utiliza FFmpeg para realizar el multiplexado y produce un informe JSON que contiene información detallada sobre la sincronización, la deriva acumulada y las mediciones de sonoridad de cada segmento.
Plataformas Soportadas
- Claude Code: Soporte completo, incluyendo ejecución de comandos FFmpeg.
- Cursor: Compatible con ajustes menores en la configuración de entorno.
- Codex: Funciona con Node.js y FFmpeg instalados.
Requisitos
- FFmpeg: Debe estar instalado y accesible en el PATH del sistema.
- Node.js: Se requiere para ejecutar scripts de generación de informes.
- Video de entrada: Archivo de video en formato compatible (MP4, MOV, etc.).
- Segmentos de audio: Archivos WAV o MP3 con nombres que incluyan marcas de tiempo.
Instalación
-
Clona el repositorio:
git clone https://github.com/OpenLAIR/evo-dubbing-mux-report.git cd evo-dubbing-mux-report -
Instala las dependencias:
npm install
Uso
node mux.js --video input.mp4 --audio-dir ./audio_segments --output output.mp4 --report report.json
Parámetros
| Parámetro | Descripción |
|---|---|
--video | Ruta al archivo de video de entrada |
--audio-dir | Directorio que contiene los segmentos de audio |
--output | Ruta del archivo de video de salida |
--report | Ruta del archivo JSON de informe (opcional) |
Estructura del Informe JSON
{
"segments": [
{
"start_time": 0.5,
"end_time": 2.3,
"drift": 0.01,
"loudness": -23.5
}
],
"total_duration": 120.0,
"average_drift": 0.005
}
- start_time/end_time: Tiempos en segundos dentro del video.
- drift: Deriva en segundos entre el tiempo esperado y el real.
- loudness: Sonoridad integrada en LUFS.
Ejemplo
# Multiplexar audio TTS en video
node mux.js --video my_video.mp4 --audio-dir ./tts_output --output dubbed_video.mp4 --report sync_report.json
Licencia
MIT