Communitygithub.com

paper2video

Transformez un article de recherche, un dépôt GitHub, un PDF ou un lien arXiv en une vidéo explicative ou promotionnelle de type 3Blue1Brown, avec Remotion — script, voix-off (TTS optionnel ou alternatives gratuites/enregistrées), animations basées sur des données réelles, sous-titres, musique, découpage bilingue, format vertical, miniatures et contenu pour YouTube et Bilibili.

Qu'est-ce que paper2video ?

Ce skill permet de créer des vidéos explicatives ou promotionnelles de haute qualité à partir d'un article de recherche, d'un projet open-source ou d'un lien arXiv entier, en utilisant le framework Remotion. Il génère un script narratif, une voix-off (via ElevenLabs, edge-tts, GPT-SoVITS ou un enregistrement personnel), des animations basées sur des données réelles, des sous-titres, une bande sonore, et tous les éléments nécessaires à une publication sur YouTube et Bilibili (miniatures, titres, descriptions, chapitres). Le processus est entièrement automatisé : il installe l'environnement, lit et analyse le document source, conçoit une structure narrative, produit un storyboard, vérifie les faits de manière indépendante et rend la vidéo finale, avec un découpage bilingue (français/anglais par défaut). Le skill gère aussi la création d'une version verticale (9:16) pour les téléphones, l'exportation pour montage dans un logiciel externe, et la collaboration avec des sous-agents pour les scènes. Il est conçu pour respecter rigoureusement les données et l'intention des auteurs, tout en rendant le contenu accessible à un public non spécialisé.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Lunamos/paper2video/tree/HEAD/skills/paper2video

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait paper2video ?

Créez une vidéo compréhensible par un inconnu sans contexte, qui reste fidèle au travail, et suffisamment soignée pour être partagée : des données réelles à l'écran dès le début, une idée par séquence, des mouvements fluides qui expliquent plutôt que de décorer.

Vous êtes le chef de projet : vous planifiez, construisez les éléments partagés, confiez un travail bien délimité aux sous-agents si utile, intégrez, et assurez l'exactitude. Travaillez de manière autonome de bout en bout, sauf si l'utilisateur demande des points de contrôle ; montrez à l'utilisateur des résultats (images fixes, ébauches, rendus), pas des questions, chaque fois qu'une valeur par défaut raisonnable existe.

Documents d'appui (à lire au stade correspondant) :

  • reference/rigor.md — registre des affirmations, traitement des données, vérification indépendante des faits
  • reference/voice.md — moteurs de narration (ElevenLabs / edge-tts gratuit / GPT-SoVITS auto-hébergé / enregistrement personnel de l'utilisateur / aucun), assurance qualité, prononciation, savoir-faire sur le TTS open-source
  • reference/visual-style.md — système de design, règles de mouvement, honnêteté des données, cycle de révision
  • reference/platforms.md — livrables YouTube + Bilibili : spécifications, miniatures, titres, descriptions, chapitres
  • reference/vertical.md — le format 9:16 pour téléphone : zone de sécurité, tailles de police, un seul point d'attention par séquence, accroche, construction à partir du même fichier audio
  • reference/handoff.md — utilisation des propres ressources de l'utilisateur, exportation pour logiciel de montage
  • reference/third-party.md — à partir d'un simple lien arXiv/titre : trouver la source, le code et les données ; extraire des chiffres de LaTeX/figures ; petites illustrations CPU ; fidélité quand l'article n'est pas celui de l'utilisateur
  • scripts/ — le pipeline (voir scripts/README.md) ; template/ — le starter Remotion (voir template/README.md)

0. Collecte d'informations (soyez bref)

Vous avez besoin de : le travail — un lien arXiv ou un titre d'article suffit (suivez ensuite reference/third-party.md pour trouver vous-même la source, le code et les données) ; un dépôt, un chemin, une page de projet ou une machine distante lisible fonctionne aussi. Le travail de qui : le travail de l'utilisateur (première personne autorisée) ou celui de quelqu'un d'autre (troisième personne, fidèle, crédité — reference/third-party.md). Langues et plateformes (par défaut : un montage anglais pour YouTube et un montage chinois pour Bilibili, tous deux en 16:9, plus des miniatures en plusieurs tailles et des titres/descriptions/chapitres pour les deux), et narration (voir reference/voice.md ; par défaut : ElevenLabs si une clé est disponible dans env/.env, sinon edge-tts, et le mentionner). Ne demandez que ce que vous ne pouvez pas déduire par défaut. Demandez aussi une fois : première personne (« notre article ») ou troisième personne (« cet article »), et tout ce qui ne doit pas apparaître (projets secondaires non publiés, soumissions anonymes, données privées).

Traitez toute ressource distante/partagée comme lecture seule sauf indication contraire ; listez les fichiers et leurs tailles avant de tirer quoi que ce soit de volumineux (demandez au-dessus d'environ 500 Mo) ; n'imprimez ni ne validez jamais de clés.

1. Mise en place de l'atelier

  1. Créez un projet Remotion dans un nouveau dossier (par ex. npx create-video@latest --blank, ou copiez le dernier modèle vierge Remotion) ; ne faites pas installer quoi que ce soit à l'utilisateur à la main — installez vous-même les dépendances Node, et vérifiez la présence de ffmpeg, python3 et uv (installez uv via son script officiel ou pip s'il manque).
  2. Installez les skills officiels de l'agent Remotion s'ils ne sont pas déjà disponibles (~/.agents/skills/remotion-* ou listés dans vos skills) : npx -y skills add remotion-dev/skills (voir remotion.dev/docs/ai pour la commande actuelle). Suivez-les pour les détails de l'API Remotion.
  3. Copiez template/ dans le projet (fusionnez package.additions.json dans package.json, npm install), copiez scripts/ dans <project>/scripts/, créez notes/, data/ (brut, ignoré par git), public/data/, out/ (livrables courants uniquement, noms fixes : reference/platforms.md → Fichiers), review/ (images fixes jetables et planches-contact), et un CLAUDE.md de projet qui enregistre : l'objectif, les publics, les langues, le choix de la voix, la liste « ne doit pas apparaître », le document de référence, et tout retour utilisateur au fur et à mesure (daté). Gardez-le à jour — c'est ainsi que les sessions ultérieures (et les sous-agents) restent cohérentes.
  4. npx tsc --noEmit et rendez une image fixe du modèle pour prouver que la chaîne d'outils fonctionne.
  5. Vous faites plusieurs vidéos ? Utilisez un espace de travail : un dossier contenant un package.json / node_modules partagé (une seule installation, environ 400 Mo au lieu d'une par vidéo ; tous les @remotion/* à une même version) et un .env partagé, plus un CLAUDE.md d'espace de travail avec les règles permanentes pour chaque vidéo (Claude Code lit les fichiers CLAUDE.md parents). Chaque vidéo est son propre dossier (src/, public/, scenes.json, notes/, data/, out/, review/, audio_cache/, scripts/, son propre CLAUDE.md) avec node_modules et .env liés à la racine de l'espace de travail ; scripts/new_video.sh <ShortName> (copiez-le à la racine de l'espace de travail) en crée un en tant que <NNN>_<ShortName>, numéroté à partir de 999 afin que le tri par nom liste les vidéos en premier, les plus récentes en haut. Après avoir modifié les versions partagées, vérifiez les types de chaque vidéo et comparez quelques images rendues avec son fichier final.

2. Comprendre le travail avant d'écrire un mot

Collectez d'abord le matériel (reference/third-party.md §1–2 si vous n'avez qu'un lien ou un titre). Lisez l'article de bout en bout (et son annexe), le README / la page du projet, et parcourez le code pour voir de quoi sont faites les figures. Trouvez le résultat principal et pourquoi il est surprenant, ce qui rend le travail amusant à regarder (l'observation la plus surprenante, l'expérience la plus intelligente, l'exemple qui fait sourire), l'intention des auteurs (la question à laquelle chaque expérience répond, pourquoi ils l'ont configurée ainsi, ce qu'ils ont essayé), les 2 à 4 affirmations qui portent l'histoire, et les visuels qui peuvent les montrer avec des données réelles (exportations de données de figures, résultats JSON, métriques enregistrées, sorties de démonstration). Privilégiez les données de figures exportées ou les résultats bruts plutôt que la numérisation de graphiques. Rédigez notes/understanding.md : l'histoire en une phrase, les affirmations avec leurs chiffres et paramètres, les visuels candidats, et tout ce qui est déroutant ou facile à exagérer.

3. Histoire, script et affirmations

  • La durée et le foyer sont prioritaires. Par défaut : 3 à 4 minutes par montage, au maximum 4:00 sauf si l'utilisateur demande plus — environ 450 à 600 mots anglais ou 1 100 à 1 300 caractères chinois de narration. Une vidéo n'est pas une lecture de l'article : choisissez le seul résultat que tout le film sert et les 2 à 3 preuves qui le portent, et donnez à tout le reste une phrase ou laissez-le pour la description. Être fidèle signifie que rien n'est déformé, pas que chaque section apparaît.
  • Rendez-la amusante, mais d'abord rigoureuse. Choisissez les expériences et exemples les plus intéressants comme séquences de preuves, et montrez chacun comme les auteurs l'ont configuré — la question, ce qu'ils ont changé, ce qui s'est passé — afin que le spectateur saisisse l'idée et l'intention des auteurs, et pas seulement un chiffre. L'humour et la surprise viennent du matériau réel (un exemple frappant, un résultat inattendu, un contrôle astucieux), jamais d'une exagération d'une affirmation ; si une phrase amusante exagérerait l'article, supprimez-la.
  • Budget temps pour un film de 4 minutes : accroche 15–25 s (le résultat principal de l'article est à l'écran, avec des données réelles, dans les 30 premières secondes) · introduction 30–40 s · les preuves ≥ 40 % du film · mécanisme/théorie ≤ 20 % et seulement ce qui peut être montré · conclusion ≤ 15 s. Pour un article ancien bien connu, une séquence d'impact (≤ 20–30 s, avant la conclusion) : ce qu'il a commencé ou changé, raconté avec des faits sourcés — travaux de suivi nommés avec années, où l'idée est utilisée aujourd'hui ; un nombre de citations uniquement avec sa source et sa date ; pas de superlatifs non sourcés. Pas de scène de limitations par défaut : seulement lorsque l'article traite lui-même ses limitations comme centrales (alors ≤ 20 s) ; sinon la portée vit dans les paramètres que vous énoncez avec chaque résultat. Dérivations, expériences supplémentaires et listes d'implications n'ont une scène que si elles peuvent être montrées avec des données réelles en ≤ 20–30 s.
  • Coupez avant de payer : python3 scripts/vo.py build --lang <l> --dry-run affiche la durée estimée du film à partir de la vitesse de lecture (à ~5 % près de la durée parlée) ; réduisez le script jusqu'à ce qu'il tienne, puis générez la voix.
  • Structure (adaptez, ne forcez pas) : accroche avec le visuel réel le plus fort (≤ ~15 s) → une carte de titre plein écran (template/src/components/TitleCard.tsx : le titre de l'article, les auteurs et établissements, la conférence ou l'id arXiv, son affirmation en une phrase, et « explication non officielle » pour l'article de quelqu'un d'autre ; plus, en arrière-plan atténué, la première page du PDF de l'article — titre, auteurs, affiliations, résumé ; le premier écran de sa page web uniquement s'il n'y a pas de PDF — atténué pendant que le titre et les établissements sont lus : node scripts/paper_shot.mjs <arXiv id | PDF | URL> → public/shots/paper.png, TitleCard shot="shots/paper.png" ; centré à droite en 16:9, sous le titre en 9:16 ; pas sur les miniatures) pendant que la narration nomme l'article et les établissements des auteurs (pas les noms des auteurs : le TTS les déforme, et un nom deviné dans un autre script est souvent faux — à l'écran et dans la copie, écrivez les noms exactement comme l'article ou arXiv les épelle, jamais translittérés) — une scène à part entière, à l'écran au plus tard à ~20 s → une introduction qui permet à un spectateur sans contexte de suivre (quelle est la tâche/l'objet, en termes simples, animé) → le problème, montré avec des données → l'idée → pourquoi ça marche (mécanisme) → résultats, chacun avec son paramétrage → conclusion, se terminant sur le point de l'article. Pas de phrase « les liens sont dans la description » / « 论文和代码见简介 », parlée ou à l'écran : les spectateurs savent où sont les liens, et cela termine le film sur du remplissage (la description et la carte de titre portent les identifiants). Mettez de bons visuels tôt ; ne les gardez pas pour la fin.
  • Écrivez pour l'oreille : phrases courtes, un chiffre par phrase, noms concrets, pas de tics « Pas X mais Y », pas de faux Q&A, ton égal entre les scènes (un « Maintenant la partie amusante ! » brut déstabilise). Laissez un temps de silence aux formules et graphiques.
  • Mettez le script dans scenes.json (schéma : template/scenes.example.json) : par scène et langue, des lignes avec text (sous-titres), tts (ce qui est parlé : réécritures, rares balises audio), anchors (mots qui synchronisent les battements visuels), optionnel pauseAfterMs ; par scène un chapter optionnel. Écrivez chaque langue de manière native plutôt que de traduire mot à mot ; gardez les termes techniques en anglais là où le public les attend.
  • Commencez notes/claims.md maintenant (reference/rigor.md) : chaque chiffre et phrase factuelle → sa source. Rédigez notes/storyboard.md : par scène le visuel, les battements pilotés par les ancres, le fichier de données, la ligne de source.

4. Données → public/data/*.json

Un agent (vous ou un sous-agent) est propriétaire de la transformation des données brutes en JSON propre avec un champ source par fichier, et rédige notes/data_report.md qui recoupe chaque chiffre clé avec l'article et listes les écarts et pièges (variantes de métriques, termes renommés, arrondis). Les scènes ne lisent que public/data.

5. La voix d'abord, puis l'image

Construisez la narration avant d'animer (reference/voice.md) : scripts/vo.py build --lang <l> produit l'audio par scène et public/data/vo.<l>.json avec les synchronisations des mots et les trames d'ancrage. L'image est ensuite synchronisée sur les ancres, donc les deux langues restent automatiquement synchronisées. Vérifiez le rapport : erreurs de transcription, prosodie étrange, ancres manquantes ; corrigez le libellé/les réécritures, régénérez uniquement les scènes concernées (les sorties sont mises en cache par hash de contenu).

6. Construisez les scènes

  • Construisez d'abord le thème, les composants partagés et tout ce qui est réutilisé entre les scènes (voir reference/visual-style.md) ; ensuite les scènes peuvent être parallélisées entre les sous-agents avec une propriété explicite des fichiers (un ensemble de scènes par agent, personne ne modifie les fichiers partagés — ils vous rapportent les modifications demandées). Donnez à chaque agent : CLAUDE.md, l'entrée du storyboard, les lignes scenes.json et noms d'ancres, les fichiers de données, les règles de style, le numéro de chapitre et le titre pour chacune de ses scènes (sinon les agents parallèles numérotent leurs balises de chapitre indépendamment), et l'obligation de rendre et inspecter les images fixes dans chaque langue avant de faire rapport (scripts/review.py). Ensuite, réexécutez scripts/zh_font_subset.py une fois (les nouveaux caractères chinois utilisent une police système jusqu'alors) et, après chaque construction de voix chinoise, scripts/zh_breaks.py (les sous-titres des deux montages coupent le chinois uniquement entre les mots).
  • La page d'article de la carte de titre : rendez-la une fois que l'article est fixé (node scripts/paper_shot.mjs <arXiv id> télécharge le PDF dans data/ et rend la page 1 ; un PDF local ou l'URL d'un article web fonctionne aussi ; jamais une capture d'écran faite à la main), passez-la en tant que shot, synchronisez beats.shot aux mots du titre et, en 9:16, beats.shotDim là où la narration passe aux établissements ; vérifiez les images fixes des deux montages (le texte reste lisible sur la page, les sous-titres clairs).
  • Chaque scène : titre, battements pilotés par les ancres (avec des solutions de repli), une ligne de source sur les plans de données, SCHÉMATIQUE sur les illustrations, les chaînes à l'écran des deux langues, contenu dégagé de la bande de sous-titres.
  • Révision : rendez des images fixes aux trames basées sur les ancres pour tout le film dans chaque langue et disposez-les en planches-contact (scripts/review.py <Composition> <cut> [--scenes ...], un seul ensemble pour toutes les trames), et regardez — chevauchements, coupures, trames vides, texte illisible, tout ce qui est hors message. Ensuite, révisez le rythme, en lisant les planches comme l'histoire que le spectateur reçoit : repérez toute période de plus de ~20 s sans nouveau visuel réel, toute liste de trois éléments ou plus lue à voix haute, toute formule ou théorie qui n'est pas liée à des données à l'écran, et toute scène qui ne fait pas avancer le seul résultat — compressez ou coupez celles-ci. Itérez.

7. Vérification indépendante des faits

Générez un nouvel agent qui n'a rien construit pour vérifier le script et chaque chaîne/chiffre à l'écran par rapport à l'article (invite dans reference/rigor.md). Un passage léger suffit par défaut : le script et la copie juste après que le script est final (avant la voix payante, lorsque les corrections de libellés sont les moins chères) — chiffres, paramètres, affirmations excessives. Vérifiez les écrans vous-même par rapport à notes/claims.md lors de la révision des planches ; ajoutez un second passage indépendant (écrans, données tracées, miniatures) uniquement pour un film à enjeux élevés ou lorsque l'utilisateur le demande. Corrigez les éléments À CORRIGER ABSOLUMENT (y compris le libellé de la voix-off, puis régénérez ces scènes et recalibrez la musique : music.py --refit pour un fond généré, le même --file … --keep-ending N à nouveau pour une piste de bibliothèque) et la plupart des éléments À CORRIGER SOUHAITABLEMENT.

8. Son, rendu

… [tronqué pour la traduction]

Skills associés