Video Toolkit
Crea vídeos explicativos profesionales a partir de un breve texto descriptivo. El toolkit utiliza modelos de IA de código abierto en GPUs en la nube (Modal o RunPod) para locuciones, generación de imágenes, música y animación de presentador virtual. Remotion (React) se encarga de la composición y el renderizado.
IMPORTANTE: Ruta del Toolkit
El toolkit se encuentra en una ruta fija. VE SIEMPRE cd aquí antes de ejecutar cualquier comando de la herramienta.
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
NUNCA ejecutes comandos de la herramienta desde dentro de un directorio de proyecto. Las herramientas resuelven rutas relativas a la raíz del toolkit.
Configuración
Paso 1: Verificar el Estado Actual
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Si todo muestra [x], salta a "Prueba Rápida" más abajo. De lo contrario, continúa con la configuración.
Paso 2: Instalar Dependencias de Python
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
Nota: --break-system-packages es necesario en Debian/Ubuntu con Python administrado (PEP 668). Es seguro dentro de contenedores.
Paso 3: Configurar Endpoints de GPU en la Nube
El toolkit necesita URLs de endpoints de GPU en la nube en .env. Comprueba si .env existe y tiene endpoints de Modal:
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Si los endpoints de Modal están configurados, estás listo. Si no, pide al usuario que proporcione las URLs de los endpoints de Modal o configura Modal:
pip3 install --break-system-packages modal
python3 -m modal setup # Abre el navegador para autenticación
# Despliega cada herramienta — captura la URL del endpoint desde la salida
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # Requiere: modal secret create huggingface-token HF_TOKEN=hf_...
Requisito de LTX-2: Antes de desplegar LTX-2, crea un secreto de HuggingFace y acepta la licencia de Gemma 3:
modal secret create huggingface-token HF_TOKEN=hf_your_read_access_token
Añade cada URL a .env:
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
Opcional pero recomendado — Cloudflare R2 para transferencia de archivos confiable:
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
Paso 4: Verificar y Prueba Rápida
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Todas las herramientas deberían mostrar [x]. Luego ejecuta una prueba rápida para confirmar que el pipeline de GPU funciona:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "Hola, esto es una prueba." --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
Si obtienes un archivo .mp3 válido, la configuración está completa. Si falla, verifica:
.envtiene elMODAL_QWEN3_TTS_ENDPOINT_URLcorrecto- Ejecuta
python3 tools/verify_setup.py --jsony revisamodal_toolspara ver qué endpoints faltan
Costo: Modal incluye $30/mes de cómputo gratuito. Un vídeo típico de 60s cuesta $1-3.
Creación de un Vídeo
Paso 1: Crear Proyecto
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/PROJECT_NAME
cd projects/PROJECT_NAME
npm install
Plantillas: product-demo (marketing/explicativo), sprint-review, sprint-review-v2 (escenas componibles).
Paso 2: Escribir Configuración
Edita projects/PROJECT_NAME/src/config/demo-config.ts:
export const demoConfig: ProductDemoConfig = {
product: {
name: 'Mi Producto',
tagline: 'Lo que hace en una línea',
website: 'example.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
Tipos de escena: title, problem, solution, demo, feature, stats, cta.
Regla de duración: Estima durationSeconds como ceil(recuento_palabras / 2.5) + 2. Ajustarás esto después de generar el audio en el Paso 4.
Paso 3: Escribir el Guión de Locución
Crea projects/PROJECT_NAME/VOICEOVER-SCRIPT.md:
## Escena 1: Título (9s, ~17 palabras)
Crea vídeos con IA. El toolkit de nombre del producto lo hace fácil.
## Escena 2: Problema (14s, ~30 palabras)
El enunciado del problema va aquí. Hazlo contundente y cercano.
Presupuesto de palabras por escena: (durationSeconds - 2) * 2.5 palabras. El -2 contempla 1s de retardo de audio + 1s de relleno.
Paso 4: Generar Activos
IMPORTANTE: Todos los comandos siguientes DEBEN ejecutarse desde la raíz del toolkit, no desde el directorio del proyecto.
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. Música de Fondo
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/PROJECT_NAME/public/audio/bg-music.mp3 \
--cloud modal
Preajustes: corporate-bg, upbeat-tech, ambient, dramatic, tension, hopeful, cta, lofi.
4b. Locución (por escena)
Genera UN archivo .mp3 POR ESCENA. NO generes un único archivo de locución.
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Escena 01
python3 tools/qwen3_tts.py \
--text "El texto de locución para la escena uno." \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
# Escena 02
python3 tools/qwen3_tts.py \
--text "El texto de locución para la escena dos." \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/02.mp3 \
--cloud modal
# ... repite para cada escena
Locutores: Ryan, Aiden, Vivian, Serena, Uncle_Fu, Dylan, Eric, Ono_Anna, Sohee
Tonos: neutral, warm, professional, excited, calm, serious, storyteller, tutorial
Para clonación de voz (necesita una grabación de referencia):
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "Texto a hablar" \
--ref-audio assets/voices/reference.m4a \
--ref-text "Transcripción exacta del audio de referencia" \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
4c. Imágenes de Escena
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "Fondo tecnológico oscuro con rejilla geométrica azul, iluminación cinematográfica" \
--width 1920 --height 1080 \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
Preajustes de imagen (usa --preset en lugar de --prompt --width --height):
title-bg, problem, solution, demo-bg, stats-bg, cta, thumbnail, portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
4d. Clips de Video — B-Roll y Fondos Animados (opcional)
Genera clips de video AI para escenas de relleno (b-roll), fondos de diapositiva animados o secuencias de introducción/cierre:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Clip b-roll desde texto
python3 tools/ltx2.py \
--prompt "Toma de dron aéreo sobre una ciudad europea a la hora dorada, gran angular cinematográfico" \
--output projects/PROJECT_NAME/public/videos/broll-europe.mp4 \
--cloud modal
# Animar una diapositiva/captura de pantalla (imagen a video)
python3 tools/ltx2.py \
--prompt "Suaves efectos de partículas, cambios sutiles de luz ambiental, deriva de cámara muy ligera" \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--output projects/PROJECT_NAME/public/videos/animated-title.mp4 \
--cloud modal
# Fondo abstracto de intro/outro
python3 tools/ltx2.py \
--prompt "Fondo abstracto oscuro y melancólico con rayas de luz azul fluyendo, partículas bokeh, cinematográfico" \
--output projects/PROJECT_NAME/public/videos/intro-bg.mp4 \
--cloud modal
Usa en composiciones de Remotion con <OffthreadVideo>:
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
Reglas de LTX-2:
- Máx. ~8 segundos por clip (193 fotogramas a 24fps). Por defecto es ~5s (121 fotogramas).
- Ancho/alto debe ser divisible por 64. Por defecto: 768x512.
- ~$0.20-0.25 por clip, ~2.5 min de generación.
- Inicio en frío ~60-90s. Los clips siguientes en GPU cálida son más rápidos.
- El audio generado es solo ambiente — usa las herramientas de locución/música para voz y música.
- ~30% de las generaciones pueden tener artefactos de datos de entrenamiento (logotipos/texto). Vuelve a ejecutar con
--seedpara variar.
4e. Presentador Virtual (opcional)
Genera un retrato del presentador, luego anima clips por escena:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. Generar retrato
python3 tools/flux2.py \
--prompt "Retrato de presentador profesional, estilo limpio, fondo oscuro, mirando a la cámara, cuerpo superior" \
--width 1024 --height 576 \
--output projects/PROJECT_NAME/public/images/presenter.png \
--cloud modal
# 2. Generar clips de presentador por escena (uno por escena, NO un video largo)
python3 tools/sadtalker.py \
--image projects/PROJECT_NAME/public/images/presenter.png \
--audio projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/PROJECT_NAME/public/narrator-01.mp4 \
--cloud modal
# Repite para cada escena que necesite un presentador
Reglas de SadTalker — síguelas exactamente:
- SIEMPRE usa
--preprocess full(elcroppor defecto produce un cuadrado, relación de aspecto incorrecta) - SIEMPRE usa
--still(reduce el movimiento de la cabeza, parece profesional) - SIEMPRE genera clips por escena (6-15s cada uno), NUNCA un video largo
- Procesamiento: ~3-4 min por cada 10s de audio en Modal A10G
--expression-scale 0.8mantiene las expresiones sutiles (rango 0.0-1.5)
4e. Edición de Imágenes (opcional)
Crea variantes de escena a partir de imágenes existentes:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--prompt "Hazlo más oscuro con tonos rojos, más ominoso" \
--output projects/PROJECT_NAME/public/images/problem-bg.png \
--cloud modal
4f. Escalado (opcional)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/PROJECT_NAME/public/images/some-image.png \
--output projects/PROJECT_NAME/public/images/some-image-4x.png \
--scale 4 --cloud modal
Paso 5: Sincronizar Tiempos
HAZ ESTO SIEMPRE después de generar la locución. La duración del audio difiere de las estimaciones.
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/PROJECT_NAME/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
Actualiza durationSeconds de cada escena en demo-config.ts a: ceil(duración_audio_real + 2).
Ejemplo: si 01.mp3 es 6.8s, establece durationSeconds de la escena 1 a 9 (ceil(6.8 + 2) = 9).
Paso 6: Revisar Fotogramas Fijos
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
Verifica: truncamiento de texto, sincronización de animaciones, posicionamiento del presentador PiP, contraste del fondo.
Paso 7: Renderizar
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npm run render
Salida: out/ProductDemo.mp4
Patrones de Composición
Audio por Escena
Usa audio por escena con un retardo de 1 segundo (from={30} = 30 fotogramas = 1s a 30fps):
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
Presentador Virtual PiP por Escena
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
USA SIEMPRE <OffthreadVideo>, NUNCA <video>. Remotion requiere su propio componente para un renderizado preciso por fotograma.
Transiciones
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
NUNCA importes desde el barril lib/transitions — importa las transiciones personalizadas directamente desde lib/transitions/presentations/.
Recuperación de Errores
| Problema | Solución |
|---|---|
| El comando de la herramienta falla con "No module named..." | Ejecuta pip3 install --break-system-packages -r tools/requirements.txt desde la raíz del toolkit |
| "MODAL_*_ENDPOINT_URL not configured" | Verifica que .env tenga la URL del endpoint. Ejecuta python3 tools/verify_setup.py |
| La salida de SadTalker es cuadrada/recortada | Olvidaste --preprocess full. Vuelve a ejecutar con esa bandera |
| Audio demasiado corto/largo para la escena | Vuelve a ejecutar el Paso 5 (sincronizar tiempos) y actualiza la configuración |
npm run render falla | Asegúrate de estar en el directorio del proyecto, no en la raíz del toolkit. Ejecuta npm install primero |
| "Cannot find module" en Remotion | Verifica las importaciones de las rutas de transición personalizadas |
| La generación de LTX-2 tiene artefactos de logotipo/texto | Vuelve a ejecutar con una semilla diferente: --seed 42 |
| El endpoint de Modal devuelve 503 | El GPU puede estar en inicio en frío. Espera 2 minutos y vuelve a intentarlo |
ffprobe no encontrado | Instala ffmpeg: sudo apt install ffmpeg |
Referencia Rápida de Herramientas
| Herramienta | Comando | Propósito |
|---|---|---|
qwen3_tts.py | python3 tools/qwen3_tts.py --text "..." --speaker Ryan --output ... | Locución AI |
flux2.py | python3 tools/flux2.py --preset title-bg --output ... | Generación de imágenes |
music_gen.py | python3 tools/music_gen.py --preset corporate-bg --duration 90 --output ... | Música de fondo |
sadtalker.py | python3 tools/sadtalker.py --image ... --audio ... --preprocess full --still --output ... | Animación de presentador virtual |
ltx2.py | python3 tools/ltx2.py --prompt "..." --output ... | Generación de clips de video (b-roll, fondos animados) |
image_edit.py | python3 tools/image_edit.py --input ... --prompt "..." --output ... | Edición de imágenes con IA |
upscale.py | python3 tools/upscale.py --input ... --output ... --scale 4 | Escalado de imágenes |
verify_setup.py | python3 tools/verify_setup.py | Verificación del estado de la configuración |
Todas las herramientas aceptan:
--cloud modal(orunpod) — especifica el backend de GPU en la nube--output— ruta de salida (relativa a la raíz del toolkit)--verbose— salida detallada para depuración