Communitygithub.com

paper2video

Convierte un artículo de investigación o proyecto en un vídeo explicativo de estilo 3Blue1Brown, pulido y listo para publicar en YouTube y Bilibili, con guion, narración, animaciones de datos reales, subtítulos bilingües y más.

¿Qué es paper2video?

paper2video es una habilidad de agente AI que transforma automáticamente artículos de investigación o proyectos (a partir de un enlace de arXiv, título, repositorio, PDF, página web o directorio local) en vídeos explicativos atractivos al estilo 3Blue1Brown, construidos con Remotion. El agente actúa como director y productor, planificando la estructura, comprendiendo la investigación, generando un guion riguroso, creando la voz en off (usando ElevenLabs, edge-tts, GPT-SoVITS o grabaciones propias), animando datos reales, añadiendo subtítulos en varios idiomas (por defecto inglés para YouTube y chino para Bilibili), música, y generando todos los activos para publicación (miniaturas, títulos, descripciones y capítulos). La habilidad está diseñada para ser autónoma y eficiente, minimizando las preguntas al usuario y maximizando la fidelidad científica y la calidad visual. Se apoya en una serie de documentos de referencia que cubren rigor, estilo visual, producción de voz, publicaciones en plataformas, formato vertical, entrega a terceros y uso de material de terceros. La habilidad es ideal para investigadores que desean promocionar su trabajo, creadores de contenido educativo y cualquier persona que necesite un vídeo explicativo profesional rápidamente.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Lunamos/paper2video/tree/HEAD/skills/paper2video

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace paper2video?

Haz un vídeo que un desconocido sin contexto pueda seguir, que sea fiel al trabajo, y que tenga un aspecto lo suficientemente bueno para compartir: datos reales en pantalla desde el principio, una idea por compás, movimiento suave que explica en lugar de decorar.

Eres el director: planificas, construyes las piezas compartidas, repartes tareas bien definidas a subagentes cuando es útil, integras y eres responsable de la corrección. Trabajas de forma autónoma de principio a fin a menos que el usuario pida puntos de control; muestra al usuario resultados (fotogramas, borradores, renders), no preguntas, siempre que exista un valor por defecto sensato.

Material de apoyo (léelo cuando llegues a esa etapa):

  • reference/rigor.md — registro de afirmaciones, manejo de datos, verificación independiente de hechos
  • reference/voice.md — motores de narración (ElevenLabs / edge-tts gratuito / GPT-SoVITS autoalojado / la propia grabación del usuario / ninguno), control de calidad, pronunciación, conocimientos de TTS de código abierto
  • reference/visual-style.md — sistema de diseño, reglas de movimiento, honestidad de los datos, bucle de revisión
  • reference/platforms.md — productos entregables de YouTube + Bilibili: especificaciones, miniaturas, títulos, descripciones, capítulos
  • reference/vertical.md — el corte para teléfono 9:16: área segura, tamaños de letra, un foco por compás, gancho, cómo construirlo a partir del mismo audio
  • reference/handoff.md — uso de los materiales propios del usuario y exportación para software de edición
  • reference/third-party.md — empezar solo con un enlace/título de arXiv: encontrar la fuente, el código y los datos; extraer números de LaTeX/figuras; pequeñas ilustraciones de CPU; fidelidad cuando el artículo no es del usuario
  • scripts/ — el pipeline (ver scripts/README.md); template/ — el iniciador Remotion (ver template/README.md)

0. Admisión (mantenlo breve)

Necesitas: el trabajo — un enlace de arXiv o un título de artículo es suficiente (entonces sigue reference/third-party.md para encontrar la fuente, el código y los datos por ti mismo); también sirve un repositorio, ruta, página del proyecto o máquina remota legible. De quién es el trabajo: propio del usuario (primera persona permitida) o de otra persona (tercera persona, fiel, con créditos — reference/third-party.md). Idiomas y plataformas (por defecto: un corte en inglés para YouTube y un corte en chino para Bilibili, ambos 16:9, además de miniaturas en varios tamaños y títulos/descripciones/capítulos para ambos), y narración (ver reference/voice.md; por defecto: ElevenLabs si hay una clave disponible en env/.env, si no edge-tts, y díselo). Pregunta solo lo que no puedas predeterminar. También pregunta una vez: primera persona ("nuestro artículo") o tercera persona ("este artículo"), y cualquier cosa que no deba aparecer (proyectos secundarios no publicados, envíos anónimos, datos privados).

Trata todo recurso remoto/compartido como de solo lectura a menos que se indique lo contrario; lista los archivos y sus tamaños antes de descargar algo grande (pregunta por encima de ~500 MB); nunca imprimas ni confirmes claves.

1. Configurar el taller

  1. Crea un proyecto Remotion en una nueva carpeta (p.ej. npx create-video@latest --blank, o copia la última plantilla en blanco de Remotion); no hagas que el usuario instale nada manualmente — instala las dependencias de Node tú mismo, y comprueba ffmpeg, python3 y uv (instala uv mediante su script oficial o pip si falta).
  2. Instala las habilidades oficiales del agente Remotion si aún no están disponibles (~/.agents/skills/remotion-* o listadas en tus habilidades): npx -y skills add remotion-dev/skills (consulta remotion.dev/docs/ai para el comando actual). Síguelas para obtener detalles de la API de Remotion.
  3. Copia template/ en el proyecto (fusiona package.additions.json en package.json, npm install), copia scripts/ en <proyecto>/scripts/, crea notes/, data/ (crudo, ignorado por git), public/data/, out/ (solo los entregables actuales, nombres fijos: reference/platforms.md → Archivos), review/ (fotogramas desechables y hojas de contactos), y un CLAUDE.md del proyecto que registre: el objetivo, las audiencias, los idiomas, la elección de voz, la lista de "no debe aparecer", el documento de referencia y cualquier comentario del usuario a medida que llegue (con fecha). Mantenlo actualizado: es la forma en que las sesiones posteriores (y los subagentes) se mantienen consistentes.
  4. npx tsc --noEmit y renderiza un fotograma de la plantilla para demostrar que el conjunto de herramientas funciona.
  5. ¿Vas a hacer varios vídeos? Usa un espacio de trabajo: una carpeta que contenga un package.json / node_modules compartido (una instalación, ~400 MB en lugar de una por vídeo; todos los @remotion/* en una versión) y un .env compartido, además de un CLAUDE.md del espacio de trabajo con las reglas permanentes para cada vídeo (Claude Code lee los archivos CLAUDE.md padre). Cada vídeo es su propia carpeta (src/, public/, scenes.json, notes/, data/, out/, review/, audio_cache/, scripts/, su propio CLAUDE.md) con node_modules y .env vinculados a la raíz del espacio de trabajo; scripts/new_video.sh <NombreCorto> (cópialo en la raíz del espacio de trabajo) crea uno como <NNN>_<NombreCorto>, numerando hacia abajo desde 999 para que al ordenar por nombre aparezcan los vídeos primero, los más nuevos arriba. Después de cambiar las versiones compartidas, comprueba los tipos de cada vídeo y compara algunos fotogramas renderizados con su archivo final.

2. Comprender el trabajo antes de escribir una palabra

Recopila el material primero (reference/third-party.md §§1–2 si solo tienes un enlace o título). Lee el artículo de principio a fin (y el apéndice), el README / la página del proyecto, y hojea el código para ver de qué están hechas las figuras. Encuentra el hallazgo central y por qué es sorprendente, qué hace que el trabajo sea divertido de ver (la observación más sorprendente, el experimento más ingenioso, el ejemplo que hace sonreír), la intención de los autores (la pregunta que responde cada experimento, por qué lo configuraron así, qué probaron), las 2–4 afirmaciones que sostienen la historia, y los elementos visuales que pueden mostrarlas con datos reales (exportaciones de datos de figuras, JSON de resultados, métricas registradas, salidas de demostración). Prefiere datos de figuras exportados o resultados sin procesar a digitalizar gráficos. Escribe notes/understanding.md: la historia en una oración, las afirmaciones con sus números y configuraciones, los candidatos visuales, y cualquier cosa confusa o fácil de exagerar.

3. Historia, guion y afirmaciones

  • La duración y el enfoque son lo primero. Por defecto: 3–4 minutos por corte, como máximo 4:00 a menos que el usuario pida más, aproximadamente 450–600 palabras en inglés o 1100–1300 caracteres chinos de narración. Un vídeo no es una lectura del artículo: elige el único hallazgo al que sirve toda la película y las 2–3 piezas de evidencia que lo sustentan, y dale a todo lo demás una oración o déjalo para la descripción. Ser fiel significa que nada se distorsiona, no que todas las secciones aparezcan.
  • Hazlo divertido, primero el rigor. Elige los experimentos y ejemplos más interesantes como los compases de evidencia, y muéstralos como los configuraron los autores — la pregunta, lo que cambiaron, lo que sucedió — para que el espectador capte la idea y la intención de los autores, no solo un número. El humor y la sorpresa provienen del material real (un ejemplo impactante, un resultado inesperado, un control inteligente), nunca de estirar una afirmación; si una línea divertida exagerara el artículo, elimínala.
  • Presupuesto de tiempo para una película de 4 minutos: gancho 15–25 s (el resultado principal del artículo está en pantalla, como datos reales, dentro de los primeros 30 s) · introducción 30–40 s · la evidencia ≥ 40 % de la película · mecanismo/teoría ≤ 20 % y solo lo que se pueda mostrar · conclusión ≤ 15 s. Para un artículo antiguo y conocido, un compás de impacto (≤ 20–30 s, antes de la conclusión): lo que inició o cambió, contado con hechos documentados — trabajos de seguimiento nombrados con años, dónde se usa la idea ahora; un recuento de citas solo con su fuente y fecha; sin superlativos sin fuente. Sin escena de limitaciones por defecto: solo cuando el propio artículo trata sus limitaciones como parte central (entonces ≤ 20 s); de lo contrario, el alcance vive en las configuraciones que indicas con cada resultado. Las derivaciones, los experimentos adicionales y las listas de implicaciones obtienen una escena solo si se pueden mostrar con datos reales en ≤ 20–30 s.
  • Corta antes de pagar: python3 scripts/vo.py build --lang <l> --dry-run imprime la duración de la película estimada a partir de la velocidad de lectura (dentro del ~5 % de la duración con voz); recorta el guion hasta que encaje, luego genera la voz.
  • Estructura (adapta, no fuerces): gancho con el visual real más fuerte (≤ ~15 s) → una tarjeta de título a pantalla completa (template/src/components/TitleCard.tsx: el título del artículo, autores e instituciones, sede o ID de arXiv, su afirmación en una oración, y "explicador no oficial" para un artículo de otra persona; además, como elemento de fondo atenuado, la primera página del PDF del artículo — título, autores, afiliaciones, resumen; la primera pantalla de su página web solo cuando no haya PDF — suavizando mientras se leen el título y las instituciones: node scripts/paper_shot.mjs <arXiv id | PDF | URL> → public/shots/paper.png, TitleCard shot="shots/paper.png"; centro-derecha en 16:9, debajo del título en 9:16; no en las miniaturas) mientras la narración nombra el artículo y las instituciones de los autores (no los nombres de los autores: TTS los distorsiona, y un nombre adivinado en otro guion a menudo es incorrecto — en pantalla y en la copia, escribe los nombres exactamente como los escribe el artículo o arXiv, nunca transliterados) — una escena propia, en pantalla como máximo a los ~20 s → una introducción que permita a un espectador sin contexto seguir (cuál es la tarea/objeto, en palabras simples, animado) → el problema, mostrado con datos → la idea → por qué funciona (mecanismo) → resultados, cada uno con su configuración → conclusión, terminando en el punto del artículo. Sin línea de "los enlaces están en la descripción" / 「论文和代码见简介」, hablada o en pantalla: los espectadores saben dónde viven los enlaces, y termina la película con relleno (la descripción y la tarjeta de título llevan los identificadores). Pon los buenos elementos visuales al principio; no los guardes para el final.
  • Escribe para el oído: oraciones cortas, un número por oración, sustantivos concretos, sin muletillas de "No X sino Y", sin Q&A falsos, tono uniforme entre los límites de escena (un abrupto "¡Ahora la parte divertida!" es discordante). Deja un compás de silencio para fórmulas y gráficos.
  • Pon el guion en scenes.json (esquema: template/scenes.example.json): por escena e idioma, líneas con text (subtítulos), tts (lo que se habla: reescrituras, etiquetas de audio dispersas), anchors (palabras que marcan el tiempo de los compases visuales), opcionalmente pauseAfterMs; por escena, un chapter opcional. Escribe cada idioma de forma nativa en lugar de traducir palabra por palabra; mantén los términos técnicos en inglés donde la audiencia los espera.
  • Inicia notes/claims.md ahora (reference/rigor.md): cada número y oración factual → su fuente. Escribe notes/storyboard.md: por escena, el visual, los compases impulsados por anclas, el archivo de datos, la línea de fuente.

4. Datos → public/data/*.json

Un agente (tú o un subagente) es el responsable de convertir el material sin procesar en JSON limpio con un campo source por archivo, y escribe notes/data_report.md que verifica cada número principal con el artículo y enumera discrepancias y trampas (variantes de métricas, términos renombrados, redondeos). Las escenas solo leen public/data.

5. Voz primero, luego imagen

Construye la narración antes de animar (reference/voice.md): scripts/vo.py build --lang <l> produce audio por escena y public/data/vo.<l>.json con las temporizaciones de palabras y los fotogramas de ancla. La imagen se ancla entonces a las anclas, por lo que ambos idiomas se mantienen sincronizados automáticamente. Comprueba el informe: errores de ida y vuelta ASR, prosodia extraña, anclas faltantes; corrige la redacción/reescrituras, regenera solo las escenas afectadas (las salidas se almacenan en caché por hash de contenido).

6. Construir las escenas

  • Primero construyes el tema, los componentes compartidos y cualquier cosa reutilizada entre escenas (ver reference/visual-style.md); luego las escenas se pueden paralelizar entre subagentes con propiedad explícita de archivos (un conjunto de escenas por agente, nadie edita archivos compartidos — informan los cambios solicitados de vuelta a ti). Dale a cada agente: CLAUDE.md, la entrada del storyboard, las líneas de scenes.json y los nombres de ancla, los archivos de datos, las reglas de estilo, el número y título de capítulo para cada una de sus escenas (de lo contrario, los agentes paralelos numeran sus etiquetas de capítulo de forma independiente), y el requisito de renderizar e inspeccionar fotogramas en cada idioma antes de informar (scripts/review.py). Después, vuelve a ejecutar scripts/zh_font_subset.py una vez (los nuevos caracteres chinos recurren a una fuente del sistema hasta entonces) y, después de cada compilación de voz en chino, scripts/zh_breaks.py (los subtítulos de ambos cortes solo dividen el chino entre palabras).
  • La página del artículo de la tarjeta de título: renderízala una vez que el artículo esté fijo (node scripts/paper_shot.mjs <arXiv id> descarga el PDF a data/ y renderiza la página 1; un PDF local o la URL de un artículo web también funciona; nunca una captura de pantalla hecha a mano), pásala como shot, teclea beats.shot a las palabras del título y, en 9:16, beats.shotDim a donde la narración pasa a las instituciones; comprueba los fotogramas de ambos cortes (el texto sigue siendo legible sobre la página, los subtítulos claros).
  • Cada escena: titular, compases impulsados por anclas (con alternativas), una línea de fuente en las tomas de datos, SCHEMATIC en las ilustraciones, las cadenas en pantalla de ambos idiomas, contenido libre de la banda de subtítulos.
  • Revisión: renderiza fotogramas en fotogramas basados en anclas para toda la película en cada idioma y conviértelos en hojas de contactos (scripts/review.py <Composition> <cut> [--scenes ...], un paquete para todos los fotogramas), y revisa — superposiciones, recortes, fotogramas vacíos, texto ilegible, cualquier cosa fuera de lugar. Luego revisa el ritmo, leyendo las hojas como la historia que ve un espectador: señala cualquier tramo de más de ~20 s sin un nuevo visual real, cualquier lista de tres o más elementos leídos en voz alta, cualquier fórmula o teoría que no esté vinculada a datos en pantalla, y cualquier escena que no avance el único hallazgo — comprime o elimina esas. Itera.

7. Verificación independiente de hechos

Genera un nuevo agente que no haya construido nada para verificar el guion y cada cadena/número en pantalla con el artículo (indicación en reference/rigor.md). Una pasada ligera es suficiente por defecto: el guion y la copia justo después de que el guion esté final (antes de la voz de pago, cuando las correcciones de redacción son más baratas) — números, configuraciones, sobreafirmaciones. Verifica las pantallas tú mismo con notes/claims.md mientras revisas las hojas; añade una segunda pasada independiente (pantallas, datos trazados, miniaturas) solo para una película de alto riesgo o cuando el usuario lo pida. Corrige los elementos DEBEN-CORREGIRSE (incluyendo la redacción de la voz en off, luego regenera esas escenas y reajusta la música: music.py --refit para una cama generada, el mismo --file … --keep-ending N de nuevo para una pista de biblioteca) y la mayoría de los elementos DEBERÍAN-CORREGIRSE.

8. Sonido, renderización

…

Skills relacionados