Communitygithub.com

sketch-explainer-video

Convierte un guion de voz en chino en un video vertical de estilo dibujo a mano alzada, con voz en off sincronizada y subtítulos escritos a mano.

¿Qué es sketch-explainer-video?

Este skill permite transformar cualquier texto de guion oral en un video explicativo vertical de 1080×1920 MP4, con un estilo visual único de pizarra blanca y dibujos animados a mano alzada. Cada frase del guion se reproduce como una escena: las letras aparecen escritas de izquierda a derecha, las palabras clave se resaltan con rotulador amarillo, los íconos se dibujan trazo a trazo y aparecen checkmarks rojos, todo sincronizado con la locución. El resultado es un video profesional para plataformas como Douyin, Kuaishou o Xiaohongshu. El skill soporta dos proveedores de voz (MiniMax o Doubao) mediante API Key del usuario, permite cambiar de voz, procesar múltiples videos en paralelo y verifica automáticamente la calidad (alineación de subtítulos, densidad visual, temporización de animaciones). No se usa para editar material grabado con cámara, lip-sync digital ni presentaciones PPT.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/skychentian/sketch-explainer-video/tree/HEAD/skills/sketch-explainer-video

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Video de Explicación con Dibujos a Mano

El producto final se ve así: mientras se pronuncia cada frase, la imagen se dibuja trazo a trazo en ese mismo momento: los caracteres aparecen escritos de izquierda a derecha, las palabras clave se resaltan con rotulador amarillo, los íconos se dibujan trazo a trazo, aparecen ✓✗ emergentes; cada imagen cuenta un concepto y cambia al ritmo de la locución; en la parte inferior, un subtítulo escrito a mano. Imagen de referencia: assets/style-ref.png.

De todo el flujo, solo "diseñar la imagen" requiere que pienses; el resto son scripts: locución, reconocimiento, alineación palabra a palabra, motor, verificación, renderizado. Sigue los pasos, no te saltes la verificación.

Requisitos previos (verificar la primera vez)

  • El usuario debe haber vinculado una clave de MiniMax o Doubao. Si no tiene ninguna, detente y muéstrale los pasos de solicitud a continuación para que lo haga él mismo. No generes claves ni pidas la clave original.
  • coli (reconocimiento de voz local), ffmpeg, node/npx, python3
  • macOS: usa automáticamente la fuente "手札体" del sistema; otros sistemas usan --font algún-archivo-ttf-de-escritura-manual-china.ttf
  • La primera ejecución instalará fonttools en ~/.cache/sketch-explainer-video/venv
  • Verificación y renderizado usan fijamente [email protected]

Vincular locución

En línea solo guía para vincular estas dos plataformas. Si no tiene ninguna vinculada, detente y deja que el usuario siga los pasos:

  1. MiniMax (por defecto. Si tiene ambas, usa esta): Abre https://platform.minimax.cn , ve a "Gestión de cuenta → Clave de API" y crea una API Key. Para el sitio internacional usa https://platform.minimax.io y establece MINIMAX_API_HOST=https://api.minimax.io. Luego ejecuta bash <skill>/scripts/bind_tts.sh minimax.
  2. Doubao Voz: Abre https://console.volcengine.com/speech/new , crea una API Key y activa "Modelo de síntesis de voz Doubao 2.0". Luego ejecuta bash <skill>/scripts/bind_tts.sh doubao.

La clave no se muestra al escribir, solo queda en la máquina local, no la pegues en el chat. Precios y voces en references/tts.md. Después de vincular, crea el proyecto. Si ya tienes un mp3, usa --audio y no vuelvas a sintetizar. Para especificar un proveedor usa --provider minimax o --provider doubao.

Flujo

1. Crear proyecto (locución + alineación en un solo paso)

<skill>/scripts/new_video.sh <directorio-del-proyecto> <guion.txt> --title "Título del video"
  • El guion sin modificar ni una palabra, guárdalo como txt y pásalo. El script lee el texto original y lo alinea con reconocimiento local.
  • Si ya hay locución, no la generes de nuevo: --audio locucion_existente.mp3.
  • Al final, mira en la salida matched x/y: ≥95% está bien (los no alineados suelen ser homófonos, no afecta); significativamente bajo indica que locución y guion no son el mismo texto.
  • Productos: sentences.txt (segundo de inicio de cada frase), assets/timing.js, index.html (motor ya listo, con <!--SCENES-->).

Voces (--speaker): MiniMax por defecto Chinese (Mandarin)_Gentle_Senior (compañera amable), también Chinese (Mandarin)_News_Anchor, Chinese (Mandarin)_Gentleman. Doubao por defecto zh_female_xiaohe_uranus_bigtts (Xiaohe 2.0), también zh_female_vv_uranus_bigtts (Vivi 2.0), zh_male_m191_uranus_bigtts (Yunzhou 2.0). No uses IDs de voz de ListenHub.

2. Dividir en escenas (escribir STORYBOARD.md)

Lee sentences.txt, divide todo el video en 8–13 escenas, cada una de 6–16 segundos:

  • Punto de corte = tiempo de inicio de una frase − 0.15 segundos; la primera escena empieza en 0; la última termina en el data-duration del root de index.html (= fin de locución + 1 segundo); las escenas adyacentes se suceden estrictamente.
  • Cada escena debe explicar en una frase "qué muestra este fotograma", con un visual principal. Primero escribe una tabla: Escena | Inicio-Fin | Contenido visual | Frase ancla.
  • Las frases largas (>16s) se pueden cortar en medio, tomando el tiempo de ese carácter − 0.15.

3. Escribir las escenas

Primero lee references/components.md (librería de componentes: grupo de título, cápsula de capítulo, cadena, comparación, ≠, lista, pasos, calendario, superposición de habitaciones, cierre, íconos). Luego elige un ejemplo completo más parecido y léelo:

  • references/examples/event-overview.html — Resumen de eventos / hechos por capítulos
  • references/examples/relationship-chain.html — Quién es quién / cadena de suministro
  • references/examples/step-checklist.html — Pasos / lista práctica

Luego inserta todos los <section> en <!--SCENES--> de index.html. Las escenas deben diseñarse según este guion específico: los ejemplos solo sirven para aprender la sintaxis, no copies escenas de otros proyectos de video en la máquina — esos proyectos corresponden a otros guiones y tiempos, copiarlos hará que los anclajes y el ritmo sean incorrectos, y equivaldría a no hacer el trabajo. No modifiques el motor <script>; si necesitas nuevos estilos, añádelos al final de <style>.

Cómo declarar animaciones (el valor es una frase del guion, el motor la busca después de data-from y la activa al pronunciar esa palabra):

AtributoEfectoSe coloca en
data-wEscritura a mano de izquierda a derechaElemento de bloque, o span con class="ib"
data-dDibuja todas las líneas trazo a trazo; data-dur ajusta segundos por trazo<svg>
data-hResaltado con rotuladorElemento con class="hl"
data-pEmergente (✓✗?≠, cápsula de capítulo)Span con .ib
data-f / data-dimFundido de entrada / atenuaciónCualquier bloque

Formato del valor: "frase" · "frase|-0.4" (0.4 segundos antes) · "@0.2" (0.2 segundos después del inicio de la escena).

Principios de las escenas (y por qué)

  • El texto de las escenas solo puede provenir del guion oral, puede acortarse, puede representar "ninguna copia" como "0 copias", pero no puede añadir hechos, números ni juicios de marca que no estén en el guion — estos videos suelen tratar sobre marcas reales y temas controvertidos, una frase de más puede causar errores fácticos.
  • Aparecen uno a uno, siguiendo la voz: los elementos se anclan a las palabras correspondientes. Si todo aparece al inicio, el público lo verá todo y luego se distraerá.
  • La última animación debe terminar ≥0.5 segundos antes del corte: de lo contrario, el rotulador/✓ acaba de aparecer y es cortado por el siguiente fotograma, como si no existiera. Lo que se ancla al final de la frase es especialmente propenso a errores, desplázalo hacia adelante.
  • El contenido solo se coloca en el área top 120–1480px: debajo está la banda de subtítulos y la UI inferior de Douyin.
  • La imagen debe estar llena, debe tener gráficos: el contenido ocupa verticalmente 150–1400px (el visual principal se amplía al 60-85% del ancho de la imagen), cada fotograma debe tener al menos un gráfico (ícono / recuadro / comparación / cadena / diagrama), no solo unas pocas líneas de texto apiñadas en la mitad superior — en el móvil, una imagen medio vacía se ve de baja calidad y con poca información. check.py detectará las imágenes medio vacías.
  • Estilo moderado: líneas negras + rotulador amarillo + poco rojo; el rojo solo para ✓✗?≠, círculos, palabras de advertencia. Sin emojis, fotos, logos, retratos.
  • Subtítulos: Las frases de más de 16 caracteres deben tener un punto de corte en assets/cap_breaks.js con window.CAP_BREAKS = ["frase para empezar nueva línea", …], cortando entre palabras (los dos puntos no son un punto de corte automático, especialmente en frases largas con dos puntos). check.py listará las frases que necesitan corte.

4. Verificación (repetir hasta que todo pase)

<skill>/scripts/verify.sh

Hace sucesivamente: subconjunto de fuentes → check.py (verifica si el ancla existe, si la animación final es cortada, si las escenas se conectan, si los subtítulos son demasiado largos, si invaden la banda de subtítulos) → hyperframes lint/check → capturas de pantalla (1.2s después del inicio de cada escena + 0.4s antes del final) → density.py mide hasta dónde llega el contenido al final de cada fotograma (<1000px se considera mitad inferior vacía, demasiados fotogramas vacíos hacen fallar).

  • Debes corregir todas las ✗ de check.py y density.py: el primero calcula con el temporizador real del motor, el segundo mide con capturas, no son sugerencias.
  • Abre snapshots/contact-sheet*.jpg y revísalas una por una con tus propios ojos: superposiciones, fuera de marco, caracteres que se rompen en dos líneas y se superponen, íconos irreconocibles, grandes espacios en blanco. El script no detecta "no se entiende", solo tú puedes verlo. Después de corregir, vuelve a ejecutar verify.
  • Las advertencias nested_structure / track_too_dense en lint se pueden ignorar.

5. Renderizado y entrega

<skill>/scripts/render.sh      # → renders/video.mp4, unos 2–4 minutos

Al entregar, di claramente: ruta y duración del archivo final, número de escenas, ruta del contact sheet, qué has corregido manualmente, qué texto en las escenas es un resumen tuyo (no frase original).

Errores comunes

FenómenoCausa → Solución
El motor reporta phrase not found / check reporta frase no encontradaLa frase debe coincidir exactamente con el guion (incluyendo espacios como 9 月中旬, puntuación de ancho completo); y debe aparecer después de data-from
El elemento no tiene efecto de escrituradata-w está en un span inline normal → añade class="ib"
Caracteres grandes se parten en dos líneas y presionan hacia abajoReduce el tamaño de fuente o añade white-space:nowrap, o divide en dos bloques
Todo aparece al inicio de la escenaLa frase ancla se emparejó en una posición anterior → cambia a una frase única dentro de esta escena
Múltiples videos al mismo tiempoSe pueden paralelizar, el script de reconocimiento tiene un bloqueo de cola propio

Procesar múltiples videos en lote

Ver references/batch.md: recopilar guiones unificadamente → generar locuciones en paralelo → crear proyectos por separado → cada video es una subtarea para escribir escenas → verificación unificada → entrega.

Skills relacionados