¿Qué hace voxcpm2-video-dub-skill – Doblaje de video con clon…?
Habilidad de doblaje de video VoxCPM2 para pipelines de agentes — Doblaje con clonación de voz para videos cortos en chino y multilingües.
Descripción
Esta habilidad permite a los agentes de IA realizar doblaje de videos mediante clonación de voz, manteniendo la identidad vocal del hablante original. Está diseñada específicamente para plataformas de videos cortos (como TikTok, Kwai, etc.) y soporta tanto chino como otros idiomas.
Plataformas compatibles
- Claude Code
- Cursor
- Codex
- Otros pipelines de agentes
Cómo funciona
- El agente recibe el video de entrada junto con el audio de referencia (voz a clonar).
- VoxCPM2 extrae las características vocales del audio de referencia.
- Se genera el nuevo audio doblado en el idioma objetivo utilizando el modelo de clonación.
- El nuevo audio se sincroniza con el video original, produciendo el video final.
Requisitos
- Python 3.8+
- Dependencias:
torch,voxcpm2,ffmpeg - Espacio en disco suficiente para el modelo y los videos procesados
Uso
# Ejemplo de comando en el pipeline del agente
python dub_video.py --input video.mp4 --reference voice_sample.wav --output video_dubbed.mp4 --lang es
Parámetros
| Parámetro | Descripción | Valor por defecto |
|---|---|---|
--input | Ruta al video de entrada | Obligatorio |
--reference | Ruta al audio de referencia para clonación | Obligatorio |
--output | Ruta al video de salida | output.mp4 |
--lang | Código del idioma objetivo (ej. es, en, zh) | zh |
--speed | Velocidad del audio (factor de multiplicación) | 1.0 |
--pitch | Tono del audio (desplazamiento en semitonos) | 0 |
Notas
- Asegúrate de que el audio de referencia tenga al menos 10 segundos de voz clara y sin ruido.
- El modelo funciona mejor con voces limpias; evita archivos con música de fondo o eco.
- Para mejores resultados, utiliza videos con duración de 15 a 60 segundos (típicos de plataformas de videos cortos).
Enlaces
- Repositorio original del modelo VoxCPM2: enlace
- Reporte de errores: Issues en GitHub
Licencia
MIT License