Video Toolkit
Crea videos explicativos profesionales a partir de un resumen de texto. El kit de herramientas utiliza modelos de IA de código abierto en GPUs en la nube (Modal o RunPod) para generar voces en off, imágenes, música y animaciones de cabezas parlantes. Remotion (React) se encarga de la composición y el renderizado.
CRÍTICO: Ruta del Kit de Herramientas
El kit de herramientas reside en una ruta fija. SIEMPRE cd aquí antes de ejecutar cualquier comando de la herramienta.
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
NUNCA ejecutes comandos de la herramienta desde dentro de un directorio de proyecto. Las herramientas resuelven las rutas relativas a la raíz del kit.
Configuración
Paso 1: Verificar el Estado Actual
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Si todo muestra [x], salta a "Prueba Rápida" más abajo. De lo contrario, continúa con la configuración.
Paso 2: Instalar Dependencias de Python
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
Nota: --break-system-packages es necesario en Debian/Ubuntu con Python administrado (PEP 668). Es seguro dentro de contenedores.
Paso 3: Configurar los Endpoints de la GPU en la Nube
El kit de herramientas necesita las URL de los endpoints de la GPU en la nube en .env. Verifica si .env existe y tiene endpoints de Modal:
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Si los endpoints de Modal están configurados, estás listo. Si no, pide al usuario que proporcione las URL de los endpoints de Modal o que configure Modal:
pip3 install --break-system-packages modal
python3 -m modal setup # Abre el navegador para autenticación
# Despliega cada herramienta — captura la URL del endpoint de la salida
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # Requiere: modal secret create huggingface-token HF_TOKEN=hf_...
Requisito previo de LTX-2: Antes de desplegar LTX-2, crea un secreto de HuggingFace y acepta la licencia de Gemma 3:
modal secret create huggingface-token HF_TOKEN=hf_your_read_access_token
Añade cada URL a .env:
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
Opcional pero recomendado: Cloudflare R2 para transferencia de archivos confiable:
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
Paso 4: Verificar y Prueba Rápida
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Todas las herramientas deben mostrar [x]. Luego, ejecuta una prueba rápida para confirmar que el pipeline de la GPU funciona:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "Hola, esto es una prueba." --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
Si obtienes un archivo .mp3 válido, la configuración está completa. Si falla, verifica:
.envtiene laMODAL_QWEN3_TTS_ENDPOINT_URLcorrecta- Ejecuta
python3 tools/verify_setup.py --jsony verificamodal_toolspara ver qué endpoints faltan
Costo: Modal incluye $30/mes de cómputo gratuito. Un video típico de 60 segundos cuesta $1-3.
Crear un Video
Paso 1: Crear Proyecto
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/NOMBRE_DEL_PROYECTO
cd projects/NOMBRE_DEL_PROYECTO
npm install
Plantillas: product-demo (marketing/explicativo), sprint-review, sprint-review-v2 (escenas componibles).
Paso 2: Escribir la Configuración
Edita projects/NOMBRE_DEL_PROYECTO/src/config/demo-config.ts:
export const demoConfig: ProductDemoConfig = {
product: {
name: 'Mi Producto',
tagline: 'Lo que hace en una línea',
website: 'ejemplo.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
Tipos de escena: title, problem, solution, demo, feature, stats, cta.
Regla de duración: Estima durationSeconds como ceil(recuento_palabras / 2.5) + 2. Ajustarás esto después de generar el audio en el Paso 4.
Paso 3: Escribir el Guión de la Voz en Off
Crea projects/NOMBRE_DEL_PROYECTO/VOICEOVER-SCRIPT.md:
## Escena 1: Título (9s, ~17 palabras)
Construye videos con IA. El kit de herramientas de nombre de producto lo hace fácil.
## Escena 2: Problema (14s, ~30 palabras)
El enunciado del problema va aquí. Mantenlo contundente y cercano.
Presupuesto de palabras por escena: (durationSeconds - 2) * 2.5 palabras. El -2 cubre 1s de retardo de audio + 1s de relleno.
Paso 4: Generar Activos
CRÍTICO: Todos los comandos a continuación DEBEN ejecutarse desde la raíz del kit de herramientas, no desde el directorio del proyecto.
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. Música de Fondo
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/NOMBRE_DEL_PROYECTO/public/audio/bg-music.mp3 \
--cloud modal
Preajustes: corporate-bg, upbeat-tech, ambient, dramatic, tension, hopeful, cta, lofi.
4b. Voz en Off (por escena)
Genera un archivo .mp3 POR ESCENA. NO generes un único archivo de voz en off.
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Escena 01
python3 tools/qwen3_tts.py \
--text "El texto de la voz en off para la escena uno." \
--speaker Ryan --tone warm \
--output projects/NOMBRE_DEL_PROYECTO/public/audio/scenes/01.mp3 \
--cloud modal
# Escena 02
python3 tools/qwen3_tts.py \
--text "El texto de la voz en off para la escena dos." \
--speaker Ryan --tone warm \
--output projects/NOMBRE_DEL_PROYECTO/public/audio/scenes/02.mp3 \
--cloud modal
# ... repite para cada escena
Locutores: Ryan, Aiden, Vivian, Serena, Uncle_Fu, Dylan, Eric, Ono_Anna, Sohee
Tonos: neutral, warm, professional, excited, calm, serious, storyteller, tutorial
Para clonación de voz (necesita una grabación de referencia):
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "Texto a decir" \
--ref-audio assets/voices/reference.m4a \
--ref-text "Transcripción exacta del audio de referencia" \
--output projects/NOMBRE_DEL_PROYECTO/public/audio/scenes/01.mp3 \
--cloud modal
4c. Imágenes de Escena
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "Fondo tech oscuro con rejilla geométrica azul, iluminación cinematográfica" \
--width 1920 --height 1080 \
--output projects/NOMBRE_DEL_PROYECTO/public/images/title-bg.png \
--cloud modal
Preajustes de imagen (usa --preset en lugar de --prompt --width --height):
title-bg, problem, solution, demo-bg, stats-bg, cta, thumbnail, portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/NOMBRE_DEL_PROYECTO/public/images/title-bg.png \
--cloud modal
4d. Clips de Video — B-Roll y Fondos Animados (opcional)
Genera clips de video con IA para cortes de b-roll, fondos de diapositivas animados o secuencias de introducción/cierre:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Clip de b-roll desde texto
python3 tools/ltx2.py \
--prompt "Toma aérea con dron sobre una ciudad europea a la hora dorada, gran angular cinematográfico" \
--output projects/NOMBRE_DEL_PROYECTO/public/videos/broll-europe.mp4 \
--cloud modal
# Animar una diapositiva/captura de pantalla (imagen a video)
python3 tools/ltx2.py \
--prompt "Efectos de partículas suaves, cambios de luz ambiental suaves, deriva de cámara muy ligera" \
--input projects/NOMBRE_DEL_PROYECTO/public/images/title-bg.png \
--output projects/NOMBRE_DEL_PROYECTO/public/videos/animated-title.mp4 \
--cloud modal
# Fondo abstracto de introducción/cierre
python3 tools/ltx2.py \
--prompt "Fondo abstracto oscuro y atmosférico con rayas de luz azul que fluyen, partículas bokeh, cinematográfico" \
--output projects/NOMBRE_DEL_PROYECTO/public/videos/intro-bg.mp4 \
--cloud modal
Usa en composiciones de Remotion con <OffthreadVideo>:
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
Reglas de LTX-2:
- Máximo ~8 segundos por clip (193 fotogramas a 24fps). El valor predeterminado es ~5s (121 fotogramas).
- El ancho/alto debe ser divisible por 64. Predeterminado: 768x512.
- ~$0.20-0.25 por clip, ~2.5 min de tiempo de generación.
- Arranque en frío ~60-90s. Los clips posteriores en GPU caliente son más rápidos.
- El audio generado es solo ambiental: usa las herramientas de voz en off/música para el habla y la música.
- ~30% de las generaciones pueden tener artefactos de datos de entrenamiento (logotipos/texto). Vuelve a ejecutar con
--seedpara variar.
4e. Narrador con Cabeza Parlante (opcional)
Genera un retrato del presentador y luego anima los clips por escena:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. Generar retrato
python3 tools/flux2.py \
--prompt "Retrato de presentador profesional, estilo limpio, fondo oscuro, mirando a la cámara, medio cuerpo" \
--width 1024 --height 576 \
--output projects/NOMBRE_DEL_PROYECTO/public/images/presenter.png \
--cloud modal
# 2. Generar clips de narrador por escena (uno por escena, NO un video largo)
python3 tools/sadtalker.py \
--image projects/NOMBRE_DEL_PROYECTO/public/images/presenter.png \
--audio projects/NOMBRE_DEL_PROYECTO/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/NOMBRE_DEL_PROYECTO/public/narrator-01.mp4 \
--cloud modal
# Repite para cada escena que necesite un narrador
Reglas de SadTalker — síguelas exactamente:
- SIEMPRE usa
--preprocess full(elcroppredeterminado genera un cuadrado, relación de aspecto incorrecta) - SIEMPRE usa
--still(reduce el movimiento de la cabeza, se ve profesional) - SIEMPRE genera clips por escena (6-15s cada uno), NUNCA un solo video largo
- Procesamiento: ~3-4 min por cada 10s de audio en Modal A10G
--expression-scale 0.8mantiene las expresiones sutiles (rango 0.0-1.5)
4e. Edición de Imágenes (opcional)
Crea variantes de escena a partir de imágenes existentes:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/NOMBRE_DEL_PROYECTO/public/images/title-bg.png \
--prompt "Hazlo más oscuro con tonos rojos, más siniestro" \
--output projects/NOMBRE_DEL_PROYECTO/public/images/problem-bg.png \
--cloud modal
4f. Escalado (opcional)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/NOMBRE_DEL_PROYECTO/public/images/some-image.png \
--output projects/NOMBRE_DEL_PROYECTO/public/images/some-image-4x.png \
--scale 4 --cloud modal
Paso 5: Sincronizar el Tiempo
HAZ ESTO SIEMPRE después de generar la voz en off. La duración del audio difiere de las estimaciones.
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/NOMBRE_DEL_PROYECTO/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
Actualiza el durationSeconds de cada escena en demo-config.ts a: ceil(duracion_audio_real + 2).
Ejemplo: si 01.mp3 dura 6.8s, establece el durationSeconds de la escena 1 en 9 (ceil(6.8 + 2) = 9).
Paso 6: Revisar Fotogramas Fijos
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOMBRE_DEL_PROYECTO
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
Verifica: truncamiento de texto, temporización de animaciones, posicionamiento PiP del narrador, contraste de fondo.
Paso 7: Renderizar
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOMBRE_DEL_PROYECTO
npm run render
Salida: out/ProductDemo.mp4
Patrones de Composición
Audio por Escena
Usa audio por escena con un retardo de 1 segundo (from={30} = 30 fotogramas = 1s a 30fps):
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
Narrador PiP por Escena
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
USA SIEMPRE <OffthreadVideo>, NUNCA <video>. Remotion requiere su propio componente para un renderizado preciso fotograma a fotograma.
Transiciones
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
NUNCA importes desde el barrel lib/transitions — importa las transiciones personalizadas directamente desde lib/transitions/presentations/.
Recuperación de Errores
| Problema | Solución |
|---|---|
| El comando de la herramienta falla con "No module named..." | Ejecuta pip3 install --break-system-packages -r tools/requirements.txt desde la raíz del kit de herramientas |
| "MODAL_*_ENDPOINT_URL not configured" | Verifica que .env tenga la URL del endpoint. Ejecuta python3 tools/verify_setup.py |
| La salida de SadTalker es cuadrada/recortada | Olvidaste --preprocess full. Vuelve a ejecutar con esa bandera |
| El audio es demasiado corto/largo para la escena | Vuelve a ejecutar el Paso 5 (sincronizar tiempo) y actualiza la configuración |
npm run render falla | Asegúrate de estar en el directorio del proyecto, no en la raíz del kit de herramientas. Ejecuta npm install primero |
| "Cannot find module" en Remotion | Verifica las importaciones en tu archivo de composición. Las rutas de importación deben ser relativas al archivo que las usa |