Communitygithub.com

mengyuyuan/pixel-explainer-workflow

Crea videos cortos (Douyin/TikTok/Reels/Shorts) con Claude Code como animador impulsado por código. Úsalo cuando el usuario quiera un video musical, un lyric video, animación pixel-art o de recortes planos, un video explicativo narrado o un anuncio de servicio público, o pregunte qué estilo de video maneja bien Claude. También edita material real (cortes a partir de una transcripción local, bromas de congelación de tiempo, subtítulos con énfasis en palabras clave, tarjetas de pasos, eliminación de marcas de agua, mosaicos faciales, efectos populares de Douyin como estelas, introducciones congeladas y rampas de velocidad). Elige un estilo según lo que se renderiza de forma confiable (pixel y recorte plano primero; personajes 2D mediante transferencia de movimiento por IA sobre un controlador renderizado por Claude; 3D solo con advertencias), escribe letras temporizadas para música por IA, construye personajes pixel a partir de fotos, corta al ritmo con HyperFrames y verifica la calidad del MP4 antes de publicar.

¿Qué es pixel-explainer-workflow?

Este skill transforma a Claude Code en un estudio de video automatizado, ideal para creadores de contenido que buscan producir videos cortos de alta calidad sin depender de generación de video por IA tradicional. Soporta múltiples plataformas como Douyin, TikTok, Reels y Shorts, y se ejecuta completamente mediante código: HTML, CSS y GSAP para animación, renderizados a MP4 usando HyperFrames. El skill es especialmente útil para estilos que el código puede dibujar bien, como pixel art y animación de recortes planos, ofreciendo una fiabilidad del 90-100% y tiempos de producción predecibles (por ejemplo, un video musical de 2 minutos en pixel art toma aproximadamente 1-2 horas). Además, incluye un robusto flujo de edición de material real: transcripción local, eliminación de marcas de agua, mosaicos faciales, efectos populares chinos (como estelas y rampas de velocidad), y subtítulos con énfasis en palabras clave. Su funcionamiento se basa en scripts de Python y Node.js que generan cada fotograma mediante código, permitiendo un control preciso sobre la sincronización rítmica, la animación de personajes y la posproducción. La documentación detallada (SKILL.md) guía al usuario paso a paso, desde la verificación de requisitos hasta el empaquetado final, asegurando que el video pase controles de calidad antes de publicarse. Es particularmente potente para lyric videos, videos explicativos, parodias de momentos famosos y videos musicales con personajes pixelados o de recortes planos, y ofrece técnicas avanzadas como transferencia de movimiento 2D por IA usando Kling o Veo, edición con sutilidad de efectos como '一人成团' (clonación de bailarines) y '冲出画框' (efecto 3D emergente).

Compatible con✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/mengyuyuan/pixel-explainer-workflow/tree/HEAD/upstream/claude-video-studio

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Claude Video Studio

Claude crea video escribiendo código que dibuja cada fotograma: HTML, CSS y GSAP, renderizados a MP4 mediante HyperFrames. No genera píxeles como Sora, Kling o Veo. Elige estilos que el código pueda dibujar bien y sé honesto sobre el resto. Para animación de personajes 2D, combina ambos: Claude renderiza el movimiento y hace todo el trabajo de posproducción, y un modelo de video redibuja el personaje en cada fotograma (sección 5).

0. Requisitos previos — verifica primero, no instales nada sin preguntar

Antes de la primera compilación, ejecuta python3 scripts/check_env.py [--project <directorio del video>]. Usa solo la biblioteca estándar y no instala nada. Muestra lo que cada flujo de trabajo necesita, lo que falta, el comando de instalación y el tamaño aproximado en disco. Muéstrale al usuario los elementos faltantes para el flujo de trabajo que desea y pregunta antes de instalar cualquier cosa. Algunos elementos son grandes (mediapipe con OpenCV/jax tiene unos 600 MB, Chrome sin interfaz gráfica unos 400 MB, Blender unos 1 GB).

Flujo de trabajoNecesitaInstalación (solo después de que el usuario acepte)
MV pixel / recorte plano (núcleo)Python 3.9+, ffmpeg + ffprobe, Node 18+, habilidades HyperFramesbrew install ffmpeg (o apt) · npx skills add heygen-com/hyperframes -s '*' -a claude-code -y
Sincronización de ritmo a partir de una canción realHabilidad music-to-video de HyperFrames (su analyze-beatgrid.py) + librosa, soundfile, numpynpx hyperframes skills update music-to-video (en el proyecto) · pip install librosa soundfile numpy (~280 MB)
Voz en off, redoblaje (redub.py)edge-tts (+ soundfile para redoblaje)pip install edge-tts soundfile (~10 MB; necesita red durante la síntesis)
Transferencia de movimiento 2Dnumpy, scipy, Pillow; ffmpeg con libvpx-vp9pip install -r requirements-2d.txt (~150 MB)
Verificación de labios / iris 2Dmediapipe 0.10.14 (API FaceMesh heredada; Python 3.9–3.12)pip install -r requirements-face.txt (~600 MB); mediapipe 1.x no está probado
Edición de material realnumpy, scipy, Pillow, OpenCV (contrib para el filtro guiado); noisereducepip install -r requirements-edit.txt (~250 MB) · pip install noisereduce
Mosaico facial, recortes de personasmediapipe 0.10.14; en macOS los recortes usan Apple Vision en su lugar (necesita swiftc de las herramientas de línea de comandos de Xcode, sin descarga de modelos)pip install -r requirements-face.txt (~600 MB) · xcode-select --install
Transcripción en chinoFunASR + torch (Python 3.10–3.12)pip install -r requirements-asr.txt (~1 GB; modelos de 1–3 GB de ModelScope en la primera ejecución)
Videos 3D / controladorBlender 4.5 LTSDescarga LTS de blender.org (~1 GB)

Qué se descarga solo (dilo antes de la primera ejecución):

  • npx [email protected] … obtiene la CLI de HyperFrames de npm en el primer uso. Fija la versión para que los rerenderizados sean idénticos. Si la obtención de la habilidad se cuelga durante init, establece HYPERFRAMES_SKIP_SKILLS=1.
  • El primer check / snapshot / render descarga el Chrome sin interfaz gráfica de HyperFrames (unos 400 MB) cuando no está en caché. npx [email protected] browser ensure hace esto de antemano.
  • Nada más se instala solo. Los scripts en scripts/ se detienen con el comando de instalación exacto cuando falta un paquete o ffmpeg, e imprimen su uso con --help.
  • Los scripts de la biblioteca estándar no necesitan paquetes: timed_lyrics.py, align_beats.py, pixel_sprite.py y check_env.py.

Carga /hyperframes para el contrato de autoría principal:

npx --yes [email protected] init my-video

1. Elige el estilo primero

Responde con esta tabla antes de construir nada. No prometas un estilo que decepcione.

EstiloFiabilidadTiempo típicoUso para
Pixel art (personajes como hojas de sprites, interfaz de juego)★★★★★MV de 2 min ≈ 1–2 hlyric videos, historias personales, anuncios de servicio público, narrativas de juegos
Recorte plano / gráficos en movimiento (formas, personajes planos, tipografía cinética)★★★★★1 min ≈ 1.5–2 hrecreaciones de momentos famosos, lanzamientos de productos, explicativos, datos
Personaje 2D a partir de UNA ilustración, transferencia de movimiento por IA (Kling 「动作控制」 sobre un controlador renderizado por Claude; Veo como alternativa)★★★★controlador ≈ 1 h, generación en la app del usuario, post ≈ 0.5 hclips de baile y rap que mantienen el estilo de la ilustración; consulta references/2d-motion-transfer.md
Animación de rig 2D de una ilustración existente (deformación de malla, como Live2D o Spine)★★20 s ≈ 1–3 h incl. verificación por fotogramasolo loops pequeños de inactividad o conversación: las articulaciones se leen como un títere al bailar; consulta references/2d-rig-lessons.md
Personaje 2D dibujado desde cero en código★★varíasolo nivel de títere de recorte de TV. No movimiento dibujado a mano fotograma a fotograma
3D realista (three.js o Blender)★20 s ≈ 10–30+ hsolo con un modelo listo de alta calidad; las escenas pueden ser reales (escaneos, Poly Haven)

Reglas generales:

  • El realismo de una persona específica en 3D depende casi por completo del modelo. Vestir a un avatar genérico de juego nunca se convierte en esa persona. Dilo de antemano y ofrece:
    • un modelo de alta calidad descargado (Sketchfab CC0/CC-BY, MetaHuman, Character Creator);
    • o un modelo de video IA para las tomas humanas, con Claude haciendo la edición, los subtítulos y el empaquetado.
  • Pocas fotos o de baja resolución de una persona → dibuja un personaje pixel a partir de ellas en lugar de usar las fotos directamente.
  • Semejanza de personas reales: no hagas un doble fotorrealista de una persona real sin su consentimiento real. Usa una persona ficticia o generada por IA, o un personaje estilizado.

2. Música con una línea de tiempo exacta (para lyric videos)

Las aplicaciones de música IA (Gemini/Lyria, Suno, …) siguen mucho mejor la sincronización cuando le das compás por compás.

  1. Escribe la letra como una línea por compás. Fija el tempo: 96 BPM da 1 compás = 2.5 s; 120 BPM da 2.0 s.
  2. python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…" escribe:
    • prompt.txt para pegar en la aplicación de música;
    • lyrics.json con inicio y fin por línea;
    • lyrics.srt.
  3. El usuario genera la canción y te entrega el MP3.
  4. Ejecuta analyze-beatgrid.py de HyperFrames sobre él → audiomap.json. El script viene con la habilidad music-to-video (npx hyperframes skills update music-to-video) y necesita librosa, soundfile y numpy; consulta la sección 0.
  5. python3 scripts/align_beats.py audiomap.json --bpm 96 mide el desplazamiento entre la cuadrícula planificada y los tiempos fuertes reales. Normalmente es de +0.1 a +0.3 s. Cada tiempo de letra y corte es entonces plan + offset.
  6. Si la canción generada es más corta o se detiene temprano, reajusta el final al audio real. Nunca estires la música.

3. Flujo de pixel

  • Personajes.
    • Crea manualmente cuadrículas de sprites en Python: scripts/pixel_sprite.py es un escritor PNG de la biblioteca estándar con una paleta, un contorno automático y hojas de previsualización.
    • Usa de 15 a 25 poses por héroe: inactivo, parpadeo, habla, caminar a/b, saltar/agacharse, alegría, tristeza, señalar, más acciones específicas de la historia.
    • Dibuja a partir de los rasgos de la foto: forma y color del cabello, gafas, atuendo.
  • Rig (seguro para búsqueda).
    • Apila un <img> por pose.
    • Un cambio de pose es un tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t). Dos conjuntos en el mismo instante rompen la búsqueda hacia atrás.
    • Las poses ocultas comienzan con visibility: hidden; opacity: 0.
    • Escala solo por números enteros, con image-rendering: pixelated.
  • Estructura.
    • Divide la canción en 6–8 fotogramas (subcomposiciones) por sección, y deja que los subagentes las escriban en paralelo a partir de un kit compartido (CSS, rig, HUD) y un WORKER-NOTES.md con las reglas estrictas (consulta references/hyperframes-gotchas.md).

4. Flujo de recorte plano / gráficos en movimiento

  • Kit. Mantén todo el dibujo en assets/kit.js: personajes como partes SVG/DOM, estadio, interfaz de usuario. Pon un archivo por escena en assets/scene1..N.js y los tiempos de ritmo en assets/data.js.
  • Sincronización. Golpea la cuadrícula de ritmo: cada corte, golpe y aparición de texto aterriza en beats[i] + offset.
  • Basado en referencias. Cuando el usuario envía un video de referencia, describe su estructura golpe por golpe primero, luego reconsérvalo en tu propio estilo de dibujo. No copies activos.

5. Animación de personajes 2D: transferencia de movimiento por IA — consulta references/2d-motion-transfer.md

Úsalo cuando el usuario tenga una ilustración y quiera que baile o rapee. Un rig de malla de una vista frontal se lee como un títere.

  1. Video controlador. Renderiza la coreografía con un suplente 3D (modelo y movimiento de la sección 9): una persona, una cámara estática, 3–30 s.
    • Una toma de cuerpo completo para el baile.
    • Una toma de cintura para arriba con gestos de letra y una boca sincronizada con labios (MuseTalk en el controlador).
    • Una placa limpia: la misma cámara con el personaje oculto.
  2. Enmarca la ilustración en el primer fotograma del controlador. Ejecuta scripts/make_green.py cut.png wide|close … para colocarla sobre #00B140.
  3. Ensaya el plan de cámara antes de gastar cualquier crédito. Clavea el controlador en un suplente con scripts/standin_from_driver.py, luego verifica cada fotograma en busca de manos recortadas y bordes de toma visibles.
  4. Entrega al usuario el paquete (imágenes, controladores, prompt, ajustes).
    • Kling 「动作控制」, 人物朝向「与视频一致」, da 20 s en el propio estilo de la ilustración.
    • Veo (aplicación Gemini) es la alternativa sin Kling: 10 s a 720p/24 fps; deriva a dibujos animados 3D y la boca no está sincronizada.
  5. Postproducción.
    • Clavea con scripts/key_diff.py (una máscara de diferencia de color; --corner para la marca de agua).
    • Mide el retraso contra el controlador; Kling estaba 2 fotogramas adelantado.
    • Verifica la boca contra las vocales con scripts/lip_sync_check.py.
    • Edita al ritmo y renderiza a los fps del material.
  6. Mantén un generador por personaje. Kling cel y Veo 3D-toon lado a lado se leen como dos dibujos diferentes. Compara caras entre clips; scripts/recolor_iris.py corrige la deriva del color de ojos.

6. Edición de material real (edición IA) — consulta references/ai-editing.md

Úsalo cuando el usuario entregue su propio material ("corta mi resbalón, agrega subtítulos, elimina el logotipo, agrega efectos").

  1. Transcribe localmente. scripts/transcribe_zh.py da marcas de tiempo por carácter, pausas y candidatos a resbalón (--nano para dialectos). Los cortes van en un EDL; ajústalos a fotogramas enteros y pon disoluciones cortas en las uniones.
  2. Encuadre. Mantén un encuadre fijo a menos que se pidan movimientos de cámara.
  3. Congelación de tiempo. scripts/time_freeze.py: la región congelada es la unión de todas las poses del sujeto, así que no hay extremidades fantasma.
  4. Marcas de agua. scripts/dewatermark.py: una máscara de trazo mínimo temporal más un trasplante de textura.
  5. Gráficos. Hazlos en HyperFrames: subtítulos debajo del hablante con énfasis en palabras clave, tarjetas de pasos más un rastreador, palabras de impacto, pegatinas, una tarjeta final.
  6. Audio. noisereduce con una impresión de ruido tomada de las pausas, luego loudnorm a −16 LUFS, más SFX sintetizados en los tiempos de señal.
  7. Redoblaje (dialecto → mandarín, o una voz que no debe publicarse). scripts/redub.py:
    • una llamada edge-tts por grupo de oraciones, la velocidad ajustada al lapso original;
    • los subtítulos re sincronizados a partir de eventos WordBoundary;
    • la base es tono de sala nivelado extraído de pausas sin voz, nunca la voz original;
    • también reescribe palabras dialectales en pegatinas y etiquetas.
  8. Privacidad. scripts/face_mosaic.py antes de mostrar personas que no aceptaron aparecer.
  9. Máscaras. scripts/person_matte.py escribe máscaras por fotograma que los efectos siguientes toman con --mattes:
    • en macOS usa Apple Vision (sin descarga de modelos; el cabello y los dedos se mantienen limpios), en otros lugares MediaPipe;
    • --backend vision-fg también mantiene lo que la persona sostiene o monta (un patinete);
    • --drop-static elimina un mural, un póster o un coche aparcado que se detecta como el sujeto;
    • mira la hoja --preview antes de construir sobre las máscaras. Las máscaras de MediaPipe son demasiado burdas para recortes.
  10. Ediciones populares.
    • scripts/echo_trail.py (舞蹈残影; pasa --mattes);
    • scripts/freeze_intro.py (人物定格出场, que funciona en tomas grupales; máscaras Vision en macOS);
    • scripts/speed_ramp.py (曲线变速卡点, con cámara lenta interpolada por flujo).
  11. Extensiones.
    • scripts/clone_squad.py (一人成团): los clones se colocan DETRÁS del bailarín, escalados alrededor de la línea del horizonte, con desplazamientos ajustados para que ningún clon sea cortado por el borde del fotograma.
    • scripts/pop_out.py (冲出画框 / 裸眼 3D): barras blancas sobre la escena, el sujeto pasa delante de ellas. Primero aumenta la velocidad del clip a cámara lenta.
    • Utilidades que hacen demostraciones débiles: scripts/auto_reframe.py (横屏转竖屏) y scripts/time_scan.py (时间扫描).
  12. Muestra el resultado contra la fuente. scripts/before_after.py construye un reel de 原片 → AI 成片:
    • el clip sin procesar, etiquetado y silencioso;
    • una tarjeta de título;
    • el resultado con su propio audio.
  13. Escritos "Manual vs IA". Ve efecto por efecto, cada uno en el mismo orden:
    • su original primero: scripts/tutorial_reel.py corta un tutorial en "el efecto a velocidad normal, luego la parte de enseñanza en avance rápido junto a una lista de pasos";
    • luego una figura de pasos: una captura de pantalla numerada por paso manual;
    • luego nuestra versión con before_after.py.
    • No pongas todos los tutoriales en una sección y todos los resultados de IA en otra. Solo un enlace no muestra el efecto.
  14. Derechos.
    • Video de otra persona: enlázalo por defecto. Incrusta un extracto solo cuando el usuario lo decida; luego mantenlo corto, mantén el crédito quemado (autor, título, 版权归原作者), enlaza el original y di en las notas de entrega cómo intercambiarlo por un enlace.
    • Pon citas de tutoriales o comentarios entre comillas solo cuando sean textuales; verifícalas contra la transcripción.
    • Usa material con licencia (por ejemplo, la licencia gratuita de Mixkit) y la música propia del usuario.

7. Voz en off y SFX (explicativos / anuncios de servicio público)

  • Guion. Toma el guion del usuario textualmente; no parafrasees texto médico o legal.
  • Voces (edge-tts):
    • narrador zh-CN-YunyangNeural;
    • joven zh-CN-YunxiNeural;
    • mujer joven zh-CN-XiaoyiNeural;
    • hermana mayor zh-CN-XiaoxiaoNeural;
    • médico zh-CN-YunjianNeural.
    • Genera por línea, recorta el silencio, luego coloca cada línea en una línea de tiempo.
  • Sincronización. La imagen sigue a la voz: construye timeline.json a partir de las duraciones reales de las líneas, luego anima.
  • SFX. Sintetiza SFX de 8 bits con numpy (pitidos, pasos, latidos, rebobinado) y mézclalos en un único archivo de audio.

[Nota: El SKILL.md original continúa con más secciones de efectos y posproducción. Para esta traducción, se ha incluido el contenido principal hasta la sección 7, que cubre los flujos de trabajo más comunes. Si se requiere la traducción completa del documento, se puede proporcionar bajo solicitud.]

Skills relacionados