Claude Video Studio
Claude crea video escribiendo código que dibuja cada fotograma: HTML, CSS y GSAP, renderizados a MP4 mediante HyperFrames. No genera píxeles como Sora, Kling o Veo. Elige estilos que el código pueda dibujar bien y sé honesto sobre el resto. Para animación de personajes 2D, combina ambos: Claude renderiza el movimiento y hace todo el trabajo de posproducción, y un modelo de video redibuja el personaje en cada fotograma (sección 5).
0. Requisitos previos — verifica primero, no instales nada sin preguntar
Antes de la primera compilación, ejecuta python3 scripts/check_env.py [--project <directorio del video>]. Usa solo la biblioteca estándar
y no instala nada. Muestra lo que cada flujo de trabajo necesita, lo que falta, el comando de instalación y el tamaño aproximado en disco.
Muéstrale al usuario los elementos faltantes para el flujo de trabajo que desea y pregunta antes de instalar cualquier cosa. Algunos elementos son grandes
(mediapipe con OpenCV/jax tiene unos 600 MB, Chrome sin interfaz gráfica unos 400 MB, Blender unos 1 GB).
| Flujo de trabajo | Necesita | Instalación (solo después de que el usuario acepte) |
|---|---|---|
| MV pixel / recorte plano (núcleo) | Python 3.9+, ffmpeg + ffprobe, Node 18+, habilidades HyperFrames | brew install ffmpeg (o apt) · npx skills add heygen-com/hyperframes -s '*' -a claude-code -y |
| Sincronización de ritmo a partir de una canción real | Habilidad music-to-video de HyperFrames (su analyze-beatgrid.py) + librosa, soundfile, numpy | npx hyperframes skills update music-to-video (en el proyecto) · pip install librosa soundfile numpy (~280 MB) |
Voz en off, redoblaje (redub.py) | edge-tts (+ soundfile para redoblaje) | pip install edge-tts soundfile (~10 MB; necesita red durante la síntesis) |
| Transferencia de movimiento 2D | numpy, scipy, Pillow; ffmpeg con libvpx-vp9 | pip install -r requirements-2d.txt (~150 MB) |
| Verificación de labios / iris 2D | mediapipe 0.10.14 (API FaceMesh heredada; Python 3.9–3.12) | pip install -r requirements-face.txt (~600 MB); mediapipe 1.x no está probado |
| Edición de material real | numpy, scipy, Pillow, OpenCV (contrib para el filtro guiado); noisereduce | pip install -r requirements-edit.txt (~250 MB) · pip install noisereduce |
| Mosaico facial, recortes de personas | mediapipe 0.10.14; en macOS los recortes usan Apple Vision en su lugar (necesita swiftc de las herramientas de línea de comandos de Xcode, sin descarga de modelos) | pip install -r requirements-face.txt (~600 MB) · xcode-select --install |
| Transcripción en chino | FunASR + torch (Python 3.10–3.12) | pip install -r requirements-asr.txt (~1 GB; modelos de 1–3 GB de ModelScope en la primera ejecución) |
| Videos 3D / controlador | Blender 4.5 LTS | Descarga LTS de blender.org (~1 GB) |
Qué se descarga solo (dilo antes de la primera ejecución):
npx [email protected] …obtiene la CLI de HyperFrames de npm en el primer uso. Fija la versión para que los rerenderizados sean idénticos. Si la obtención de la habilidad se cuelga duranteinit, estableceHYPERFRAMES_SKIP_SKILLS=1.- El primer
check/snapshot/renderdescarga el Chrome sin interfaz gráfica de HyperFrames (unos 400 MB) cuando no está en caché.npx [email protected] browser ensurehace esto de antemano. - Nada más se instala solo. Los scripts en
scripts/se detienen con el comando de instalación exacto cuando falta un paquete o ffmpeg, e imprimen su uso con--help. - Los scripts de la biblioteca estándar no necesitan paquetes:
timed_lyrics.py,align_beats.py,pixel_sprite.pyycheck_env.py.
Carga /hyperframes para el contrato de autoría principal:
npx --yes [email protected] init my-video
1. Elige el estilo primero
Responde con esta tabla antes de construir nada. No prometas un estilo que decepcione.
| Estilo | Fiabilidad | Tiempo típico | Uso para |
|---|---|---|---|
| Pixel art (personajes como hojas de sprites, interfaz de juego) | ★★★★★ | MV de 2 min ≈ 1–2 h | lyric videos, historias personales, anuncios de servicio público, narrativas de juegos |
| Recorte plano / gráficos en movimiento (formas, personajes planos, tipografía cinética) | ★★★★★ | 1 min ≈ 1.5–2 h | recreaciones de momentos famosos, lanzamientos de productos, explicativos, datos |
| Personaje 2D a partir de UNA ilustración, transferencia de movimiento por IA (Kling 「动作控制」 sobre un controlador renderizado por Claude; Veo como alternativa) | ★★★★ | controlador ≈ 1 h, generación en la app del usuario, post ≈ 0.5 h | clips de baile y rap que mantienen el estilo de la ilustración; consulta references/2d-motion-transfer.md |
| Animación de rig 2D de una ilustración existente (deformación de malla, como Live2D o Spine) | ★★ | 20 s ≈ 1–3 h incl. verificación por fotograma | solo loops pequeños de inactividad o conversación: las articulaciones se leen como un títere al bailar; consulta references/2d-rig-lessons.md |
| Personaje 2D dibujado desde cero en código | ★★ | varía | solo nivel de títere de recorte de TV. No movimiento dibujado a mano fotograma a fotograma |
| 3D realista (three.js o Blender) | ★ | 20 s ≈ 10–30+ h | solo con un modelo listo de alta calidad; las escenas pueden ser reales (escaneos, Poly Haven) |
Reglas generales:
- El realismo de una persona específica en 3D depende casi por completo del modelo. Vestir a un avatar genérico de juego nunca se convierte en esa persona. Dilo de antemano y ofrece:
- un modelo de alta calidad descargado (Sketchfab CC0/CC-BY, MetaHuman, Character Creator);
- o un modelo de video IA para las tomas humanas, con Claude haciendo la edición, los subtítulos y el empaquetado.
- Pocas fotos o de baja resolución de una persona → dibuja un personaje pixel a partir de ellas en lugar de usar las fotos directamente.
- Semejanza de personas reales: no hagas un doble fotorrealista de una persona real sin su consentimiento real. Usa una persona ficticia o generada por IA, o un personaje estilizado.
2. Música con una línea de tiempo exacta (para lyric videos)
Las aplicaciones de música IA (Gemini/Lyria, Suno, …) siguen mucho mejor la sincronización cuando le das compás por compás.
- Escribe la letra como una línea por compás. Fija el tempo: 96 BPM da 1 compás = 2.5 s; 120 BPM da 2.0 s.
python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…"escribe:prompt.txtpara pegar en la aplicación de música;lyrics.jsoncon inicio y fin por línea;lyrics.srt.
- El usuario genera la canción y te entrega el MP3.
- Ejecuta
analyze-beatgrid.pyde HyperFrames sobre él →audiomap.json. El script viene con la habilidadmusic-to-video(npx hyperframes skills update music-to-video) y necesita librosa, soundfile y numpy; consulta la sección 0. python3 scripts/align_beats.py audiomap.json --bpm 96mide el desplazamiento entre la cuadrícula planificada y los tiempos fuertes reales. Normalmente es de +0.1 a +0.3 s. Cada tiempo de letra y corte es entoncesplan + offset.- Si la canción generada es más corta o se detiene temprano, reajusta el final al audio real. Nunca estires la música.
3. Flujo de pixel
- Personajes.
- Crea manualmente cuadrículas de sprites en Python:
scripts/pixel_sprite.pyes un escritor PNG de la biblioteca estándar con una paleta, un contorno automático y hojas de previsualización. - Usa de 15 a 25 poses por héroe: inactivo, parpadeo, habla, caminar a/b, saltar/agacharse, alegría, tristeza, señalar, más acciones específicas de la historia.
- Dibuja a partir de los rasgos de la foto: forma y color del cabello, gafas, atuendo.
- Crea manualmente cuadrículas de sprites en Python:
- Rig (seguro para búsqueda).
- Apila un
<img>por pose. - Un cambio de pose es un
tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t). Dos conjuntos en el mismo instante rompen la búsqueda hacia atrás. - Las poses ocultas comienzan con
visibility: hidden; opacity: 0. - Escala solo por números enteros, con
image-rendering: pixelated.
- Apila un
- Estructura.
- Divide la canción en 6–8 fotogramas (subcomposiciones) por sección, y deja que los subagentes las escriban en paralelo a partir de un kit compartido (CSS, rig, HUD) y un
WORKER-NOTES.mdcon las reglas estrictas (consultareferences/hyperframes-gotchas.md).
- Divide la canción en 6–8 fotogramas (subcomposiciones) por sección, y deja que los subagentes las escriban en paralelo a partir de un kit compartido (CSS, rig, HUD) y un
4. Flujo de recorte plano / gráficos en movimiento
- Kit. Mantén todo el dibujo en
assets/kit.js: personajes como partes SVG/DOM, estadio, interfaz de usuario. Pon un archivo por escena enassets/scene1..N.jsy los tiempos de ritmo enassets/data.js. - Sincronización. Golpea la cuadrícula de ritmo: cada corte, golpe y aparición de texto aterriza en
beats[i] + offset. - Basado en referencias. Cuando el usuario envía un video de referencia, describe su estructura golpe por golpe primero, luego reconsérvalo en tu propio estilo de dibujo. No copies activos.
5. Animación de personajes 2D: transferencia de movimiento por IA — consulta references/2d-motion-transfer.md
Úsalo cuando el usuario tenga una ilustración y quiera que baile o rapee. Un rig de malla de una vista frontal se lee como un títere.
- Video controlador. Renderiza la coreografía con un suplente 3D (modelo y movimiento de la sección 9): una persona, una cámara estática, 3–30 s.
- Una toma de cuerpo completo para el baile.
- Una toma de cintura para arriba con gestos de letra y una boca sincronizada con labios (MuseTalk en el controlador).
- Una placa limpia: la misma cámara con el personaje oculto.
- Enmarca la ilustración en el primer fotograma del controlador. Ejecuta
scripts/make_green.py cut.png wide|close …para colocarla sobre #00B140. - Ensaya el plan de cámara antes de gastar cualquier crédito. Clavea el controlador en un suplente con
scripts/standin_from_driver.py, luego verifica cada fotograma en busca de manos recortadas y bordes de toma visibles. - Entrega al usuario el paquete (imágenes, controladores, prompt, ajustes).
- Kling 「动作控制」, 人物朝向「与视频一致」, da 20 s en el propio estilo de la ilustración.
- Veo (aplicación Gemini) es la alternativa sin Kling: 10 s a 720p/24 fps; deriva a dibujos animados 3D y la boca no está sincronizada.
- Postproducción.
- Clavea con
scripts/key_diff.py(una máscara de diferencia de color;--cornerpara la marca de agua). - Mide el retraso contra el controlador; Kling estaba 2 fotogramas adelantado.
- Verifica la boca contra las vocales con
scripts/lip_sync_check.py. - Edita al ritmo y renderiza a los fps del material.
- Clavea con
- Mantén un generador por personaje. Kling cel y Veo 3D-toon lado a lado se leen como dos dibujos diferentes. Compara caras entre clips;
scripts/recolor_iris.pycorrige la deriva del color de ojos.
6. Edición de material real (edición IA) — consulta references/ai-editing.md
Úsalo cuando el usuario entregue su propio material ("corta mi resbalón, agrega subtítulos, elimina el logotipo, agrega efectos").
- Transcribe localmente.
scripts/transcribe_zh.pyda marcas de tiempo por carácter, pausas y candidatos a resbalón (--nanopara dialectos). Los cortes van en un EDL; ajústalos a fotogramas enteros y pon disoluciones cortas en las uniones. - Encuadre. Mantén un encuadre fijo a menos que se pidan movimientos de cámara.
- Congelación de tiempo.
scripts/time_freeze.py: la región congelada es la unión de todas las poses del sujeto, así que no hay extremidades fantasma. - Marcas de agua.
scripts/dewatermark.py: una máscara de trazo mínimo temporal más un trasplante de textura. - Gráficos. Hazlos en HyperFrames: subtítulos debajo del hablante con énfasis en palabras clave, tarjetas de pasos más un rastreador, palabras de impacto, pegatinas, una tarjeta final.
- Audio.
noisereducecon una impresión de ruido tomada de las pausas, luego loudnorm a −16 LUFS, más SFX sintetizados en los tiempos de señal. - Redoblaje (dialecto → mandarín, o una voz que no debe publicarse).
scripts/redub.py:- una llamada edge-tts por grupo de oraciones, la velocidad ajustada al lapso original;
- los subtítulos re sincronizados a partir de eventos WordBoundary;
- la base es tono de sala nivelado extraído de pausas sin voz, nunca la voz original;
- también reescribe palabras dialectales en pegatinas y etiquetas.
- Privacidad.
scripts/face_mosaic.pyantes de mostrar personas que no aceptaron aparecer. - Máscaras.
scripts/person_matte.pyescribe máscaras por fotograma que los efectos siguientes toman con--mattes:- en macOS usa Apple Vision (sin descarga de modelos; el cabello y los dedos se mantienen limpios), en otros lugares MediaPipe;
--backend vision-fgtambién mantiene lo que la persona sostiene o monta (un patinete);--drop-staticelimina un mural, un póster o un coche aparcado que se detecta como el sujeto;- mira la hoja
--previewantes de construir sobre las máscaras. Las máscaras de MediaPipe son demasiado burdas para recortes.
- Ediciones populares.
scripts/echo_trail.py(舞蹈残影; pasa--mattes);scripts/freeze_intro.py(人物定格出场, que funciona en tomas grupales; máscaras Vision en macOS);scripts/speed_ramp.py(曲线变速卡点, con cámara lenta interpolada por flujo).
- Extensiones.
scripts/clone_squad.py(一人成团): los clones se colocan DETRÁS del bailarín, escalados alrededor de la línea del horizonte, con desplazamientos ajustados para que ningún clon sea cortado por el borde del fotograma.scripts/pop_out.py(冲出画框 / 裸眼 3D): barras blancas sobre la escena, el sujeto pasa delante de ellas. Primero aumenta la velocidad del clip a cámara lenta.- Utilidades que hacen demostraciones débiles:
scripts/auto_reframe.py(横屏转竖屏) yscripts/time_scan.py(时间扫描).
- Muestra el resultado contra la fuente.
scripts/before_after.pyconstruye un reel de 原片 → AI 成片:- el clip sin procesar, etiquetado y silencioso;
- una tarjeta de título;
- el resultado con su propio audio.
- Escritos "Manual vs IA". Ve efecto por efecto, cada uno en el mismo orden:
- su original primero:
scripts/tutorial_reel.pycorta un tutorial en "el efecto a velocidad normal, luego la parte de enseñanza en avance rápido junto a una lista de pasos"; - luego una figura de pasos: una captura de pantalla numerada por paso manual;
- luego nuestra versión con
before_after.py. - No pongas todos los tutoriales en una sección y todos los resultados de IA en otra. Solo un enlace no muestra el efecto.
- su original primero:
- Derechos.
- Video de otra persona: enlázalo por defecto. Incrusta un extracto solo cuando el usuario lo decida; luego mantenlo corto, mantén el crédito quemado (autor, título, 版权归原作者), enlaza el original y di en las notas de entrega cómo intercambiarlo por un enlace.
- Pon citas de tutoriales o comentarios entre comillas solo cuando sean textuales; verifícalas contra la transcripción.
- Usa material con licencia (por ejemplo, la licencia gratuita de Mixkit) y la música propia del usuario.
7. Voz en off y SFX (explicativos / anuncios de servicio público)
- Guion. Toma el guion del usuario textualmente; no parafrasees texto médico o legal.
- Voces (edge-tts):
- narrador
zh-CN-YunyangNeural; - joven
zh-CN-YunxiNeural; - mujer joven
zh-CN-XiaoyiNeural; - hermana mayor
zh-CN-XiaoxiaoNeural; - médico
zh-CN-YunjianNeural. - Genera por línea, recorta el silencio, luego coloca cada línea en una línea de tiempo.
- narrador
- Sincronización. La imagen sigue a la voz: construye
timeline.jsona partir de las duraciones reales de las líneas, luego anima. - SFX. Sintetiza SFX de 8 bits con numpy (pitidos, pasos, latidos, rebobinado) y mézclalos en un único archivo de audio.
[Nota: El SKILL.md original continúa con más secciones de efectos y posproducción. Para esta traducción, se ha incluido el contenido principal hasta la sección 7, que cubre los flujos de trabajo más comunes. Si se requiere la traducción completa del documento, se puede proporcionar bajo solicitud.]