Que fait paper2video ?
Créez une vidéo compréhensible par un inconnu sans contexte, qui reste fidèle au travail, et suffisamment soignée pour être partagée : des données réelles à l'écran dès le début, une idée par séquence, des mouvements fluides qui expliquent plutôt que de décorer.
Vous êtes le chef de projet : vous planifiez, construisez les éléments partagés, confiez un travail bien délimité aux sous-agents si utile, intégrez, et assurez l'exactitude. Travaillez de manière autonome de bout en bout, sauf si l'utilisateur demande des points de contrôle ; montrez à l'utilisateur des résultats (images fixes, ébauches, rendus), pas des questions, chaque fois qu'une valeur par défaut raisonnable existe.
Documents d'appui (à lire au stade correspondant) :
reference/rigor.md— registre des affirmations, traitement des données, vérification indépendante des faitsreference/voice.md— moteurs de narration (ElevenLabs / edge-tts gratuit / GPT-SoVITS auto-hébergé / enregistrement personnel de l'utilisateur / aucun), assurance qualité, prononciation, savoir-faire sur le TTS open-sourcereference/visual-style.md— système de design, règles de mouvement, honnêteté des données, cycle de révisionreference/platforms.md— livrables YouTube + Bilibili : spécifications, miniatures, titres, descriptions, chapitresreference/vertical.md— le format 9:16 pour téléphone : zone de sécurité, tailles de police, un seul point d'attention par séquence, accroche, construction à partir du même fichier audioreference/handoff.md— utilisation des propres ressources de l'utilisateur, exportation pour logiciel de montagereference/third-party.md— à partir d'un simple lien arXiv/titre : trouver la source, le code et les données ; extraire des chiffres de LaTeX/figures ; petites illustrations CPU ; fidélité quand l'article n'est pas celui de l'utilisateurscripts/— le pipeline (voirscripts/README.md) ;template/— le starter Remotion (voirtemplate/README.md)
0. Collecte d'informations (soyez bref)
Vous avez besoin de : le travail — un lien arXiv ou un titre d'article suffit (suivez ensuite reference/third-party.md pour trouver vous-même la source, le code et les données) ; un dépôt, un chemin, une page de projet ou une machine distante lisible fonctionne aussi. Le travail de qui : le travail de l'utilisateur (première personne autorisée) ou celui de quelqu'un d'autre (troisième personne, fidèle, crédité — reference/third-party.md). Langues et plateformes (par défaut : un montage anglais pour YouTube et un montage chinois pour Bilibili, tous deux en 16:9, plus des miniatures en plusieurs tailles et des titres/descriptions/chapitres pour les deux), et narration (voir reference/voice.md ; par défaut : ElevenLabs si une clé est disponible dans env/.env, sinon edge-tts, et le mentionner). Ne demandez que ce que vous ne pouvez pas déduire par défaut. Demandez aussi une fois : première personne (« notre article ») ou troisième personne (« cet article »), et tout ce qui ne doit pas apparaître (projets secondaires non publiés, soumissions anonymes, données privées).
Traitez toute ressource distante/partagée comme lecture seule sauf indication contraire ; listez les fichiers et leurs tailles avant de tirer quoi que ce soit de volumineux (demandez au-dessus d'environ 500 Mo) ; n'imprimez ni ne validez jamais de clés.
1. Mise en place de l'atelier
- Créez un projet Remotion dans un nouveau dossier (par ex.
npx create-video@latest --blank, ou copiez le dernier modèle vierge Remotion) ; ne faites pas installer quoi que ce soit à l'utilisateur à la main — installez vous-même les dépendances Node, et vérifiez la présence deffmpeg,python3etuv(installezuvvia son script officiel ou pip s'il manque). - Installez les skills officiels de l'agent Remotion s'ils ne sont pas déjà disponibles (
~/.agents/skills/remotion-*ou listés dans vos skills) :npx -y skills add remotion-dev/skills(voir remotion.dev/docs/ai pour la commande actuelle). Suivez-les pour les détails de l'API Remotion. - Copiez
template/dans le projet (fusionnezpackage.additions.jsondanspackage.json,npm install), copiezscripts/dans<project>/scripts/, créeznotes/,data/(brut, ignoré par git),public/data/,out/(livrables courants uniquement, noms fixes :reference/platforms.md→ Fichiers),review/(images fixes jetables et planches-contact), et unCLAUDE.mdde projet qui enregistre : l'objectif, les publics, les langues, le choix de la voix, la liste « ne doit pas apparaître », le document de référence, et tout retour utilisateur au fur et à mesure (daté). Gardez-le à jour — c'est ainsi que les sessions ultérieures (et les sous-agents) restent cohérentes. npx tsc --noEmitet rendez une image fixe du modèle pour prouver que la chaîne d'outils fonctionne.- Vous faites plusieurs vidéos ? Utilisez un espace de travail : un dossier contenant un
package.json/node_modulespartagé (une seule installation, environ 400 Mo au lieu d'une par vidéo ; tous les@remotion/*à une même version) et un.envpartagé, plus unCLAUDE.mdd'espace de travail avec les règles permanentes pour chaque vidéo (Claude Code lit les fichiersCLAUDE.mdparents). Chaque vidéo est son propre dossier (src/,public/,scenes.json,notes/,data/,out/,review/,audio_cache/,scripts/, son propreCLAUDE.md) avecnode_moduleset.envliés à la racine de l'espace de travail ;scripts/new_video.sh <ShortName>(copiez-le à la racine de l'espace de travail) en crée un en tant que<NNN>_<ShortName>, numéroté à partir de 999 afin que le tri par nom liste les vidéos en premier, les plus récentes en haut. Après avoir modifié les versions partagées, vérifiez les types de chaque vidéo et comparez quelques images rendues avec son fichier final.
2. Comprendre le travail avant d'écrire un mot
Collectez d'abord le matériel (reference/third-party.md §1–2 si vous n'avez qu'un lien ou un titre). Lisez l'article de bout en bout (et son annexe), le README / la page du projet, et parcourez le code pour voir de quoi sont faites les figures. Trouvez le résultat principal et pourquoi il est surprenant, ce qui rend le travail amusant à regarder (l'observation la plus surprenante, l'expérience la plus intelligente, l'exemple qui fait sourire), l'intention des auteurs (la question à laquelle chaque expérience répond, pourquoi ils l'ont configurée ainsi, ce qu'ils ont essayé), les 2 à 4 affirmations qui portent l'histoire, et les visuels qui peuvent les montrer avec des données réelles (exportations de données de figures, résultats JSON, métriques enregistrées, sorties de démonstration). Privilégiez les données de figures exportées ou les résultats bruts plutôt que la numérisation de graphiques. Rédigez notes/understanding.md : l'histoire en une phrase, les affirmations avec leurs chiffres et paramètres, les visuels candidats, et tout ce qui est déroutant ou facile à exagérer.
3. Histoire, script et affirmations
- La durée et le foyer sont prioritaires. Par défaut : 3 à 4 minutes par montage, au maximum 4:00 sauf si l'utilisateur demande plus — environ 450 à 600 mots anglais ou 1 100 à 1 300 caractères chinois de narration. Une vidéo n'est pas une lecture de l'article : choisissez le seul résultat que tout le film sert et les 2 à 3 preuves qui le portent, et donnez à tout le reste une phrase ou laissez-le pour la description. Être fidèle signifie que rien n'est déformé, pas que chaque section apparaît.
- Rendez-la amusante, mais d'abord rigoureuse. Choisissez les expériences et exemples les plus intéressants comme séquences de preuves, et montrez chacun comme les auteurs l'ont configuré — la question, ce qu'ils ont changé, ce qui s'est passé — afin que le spectateur saisisse l'idée et l'intention des auteurs, et pas seulement un chiffre. L'humour et la surprise viennent du matériau réel (un exemple frappant, un résultat inattendu, un contrôle astucieux), jamais d'une exagération d'une affirmation ; si une phrase amusante exagérerait l'article, supprimez-la.
- Budget temps pour un film de 4 minutes : accroche 15–25 s (le résultat principal de l'article est à l'écran, avec des données réelles, dans les 30 premières secondes) · introduction 30–40 s · les preuves ≥ 40 % du film · mécanisme/théorie ≤ 20 % et seulement ce qui peut être montré · conclusion ≤ 15 s. Pour un article ancien bien connu, une séquence d'impact (≤ 20–30 s, avant la conclusion) : ce qu'il a commencé ou changé, raconté avec des faits sourcés — travaux de suivi nommés avec années, où l'idée est utilisée aujourd'hui ; un nombre de citations uniquement avec sa source et sa date ; pas de superlatifs non sourcés. Pas de scène de limitations par défaut : seulement lorsque l'article traite lui-même ses limitations comme centrales (alors ≤ 20 s) ; sinon la portée vit dans les paramètres que vous énoncez avec chaque résultat. Dérivations, expériences supplémentaires et listes d'implications n'ont une scène que si elles peuvent être montrées avec des données réelles en ≤ 20–30 s.
- Coupez avant de payer :
python3 scripts/vo.py build --lang <l> --dry-runaffiche la durée estimée du film à partir de la vitesse de lecture (à ~5 % près de la durée parlée) ; réduisez le script jusqu'à ce qu'il tienne, puis générez la voix. - Structure (adaptez, ne forcez pas) : accroche avec le visuel réel le plus fort (≤ ~15 s) → une carte de titre plein écran (
template/src/components/TitleCard.tsx: le titre de l'article, les auteurs et établissements, la conférence ou l'id arXiv, son affirmation en une phrase, et « explication non officielle » pour l'article de quelqu'un d'autre ; plus, en arrière-plan atténué, la première page du PDF de l'article — titre, auteurs, affiliations, résumé ; le premier écran de sa page web uniquement s'il n'y a pas de PDF — atténué pendant que le titre et les établissements sont lus :node scripts/paper_shot.mjs <arXiv id | PDF | URL>→public/shots/paper.png,TitleCard shot="shots/paper.png"; centré à droite en 16:9, sous le titre en 9:16 ; pas sur les miniatures) pendant que la narration nomme l'article et les établissements des auteurs (pas les noms des auteurs : le TTS les déforme, et un nom deviné dans un autre script est souvent faux — à l'écran et dans la copie, écrivez les noms exactement comme l'article ou arXiv les épelle, jamais translittérés) — une scène à part entière, à l'écran au plus tard à ~20 s → une introduction qui permet à un spectateur sans contexte de suivre (quelle est la tâche/l'objet, en termes simples, animé) → le problème, montré avec des données → l'idée → pourquoi ça marche (mécanisme) → résultats, chacun avec son paramétrage → conclusion, se terminant sur le point de l'article. Pas de phrase « les liens sont dans la description » / « 论文和代码见简介 », parlée ou à l'écran : les spectateurs savent où sont les liens, et cela termine le film sur du remplissage (la description et la carte de titre portent les identifiants). Mettez de bons visuels tôt ; ne les gardez pas pour la fin. - Écrivez pour l'oreille : phrases courtes, un chiffre par phrase, noms concrets, pas de tics « Pas X mais Y », pas de faux Q&A, ton égal entre les scènes (un « Maintenant la partie amusante ! » brut déstabilise). Laissez un temps de silence aux formules et graphiques.
- Mettez le script dans
scenes.json(schéma :template/scenes.example.json) : par scène et langue, des lignes avectext(sous-titres),tts(ce qui est parlé : réécritures, rares balises audio),anchors(mots qui synchronisent les battements visuels), optionnelpauseAfterMs; par scène unchapteroptionnel. Écrivez chaque langue de manière native plutôt que de traduire mot à mot ; gardez les termes techniques en anglais là où le public les attend. - Commencez
notes/claims.mdmaintenant (reference/rigor.md) : chaque chiffre et phrase factuelle → sa source. Rédigeznotes/storyboard.md: par scène le visuel, les battements pilotés par les ancres, le fichier de données, la ligne de source.
4. Données → public/data/*.json
Un agent (vous ou un sous-agent) est propriétaire de la transformation des données brutes en JSON propre avec un champ source par fichier, et rédige notes/data_report.md qui recoupe chaque chiffre clé avec l'article et listes les écarts et pièges (variantes de métriques, termes renommés, arrondis). Les scènes ne lisent que public/data.
5. La voix d'abord, puis l'image
Construisez la narration avant d'animer (reference/voice.md) : scripts/vo.py build --lang <l> produit l'audio par scène et public/data/vo.<l>.json avec les synchronisations des mots et les trames d'ancrage. L'image est ensuite synchronisée sur les ancres, donc les deux langues restent automatiquement synchronisées. Vérifiez le rapport : erreurs de transcription, prosodie étrange, ancres manquantes ; corrigez le libellé/les réécritures, régénérez uniquement les scènes concernées (les sorties sont mises en cache par hash de contenu).
6. Construisez les scènes
- Construisez d'abord le thème, les composants partagés et tout ce qui est réutilisé entre les scènes (voir
reference/visual-style.md) ; ensuite les scènes peuvent être parallélisées entre les sous-agents avec une propriété explicite des fichiers (un ensemble de scènes par agent, personne ne modifie les fichiers partagés — ils vous rapportent les modifications demandées). Donnez à chaque agent :CLAUDE.md, l'entrée du storyboard, les lignesscenes.jsonet noms d'ancres, les fichiers de données, les règles de style, le numéro de chapitre et le titre pour chacune de ses scènes (sinon les agents parallèles numérotent leurs balises de chapitre indépendamment), et l'obligation de rendre et inspecter les images fixes dans chaque langue avant de faire rapport (scripts/review.py). Ensuite, réexécutezscripts/zh_font_subset.pyune fois (les nouveaux caractères chinois utilisent une police système jusqu'alors) et, après chaque construction de voix chinoise,scripts/zh_breaks.py(les sous-titres des deux montages coupent le chinois uniquement entre les mots). - La page d'article de la carte de titre : rendez-la une fois que l'article est fixé (
node scripts/paper_shot.mjs <arXiv id>télécharge le PDF dansdata/et rend la page 1 ; un PDF local ou l'URL d'un article web fonctionne aussi ; jamais une capture d'écran faite à la main), passez-la en tant queshot, synchronisezbeats.shotaux mots du titre et, en 9:16,beats.shotDimlà où la narration passe aux établissements ; vérifiez les images fixes des deux montages (le texte reste lisible sur la page, les sous-titres clairs). - Chaque scène : titre, battements pilotés par les ancres (avec des solutions de repli), une ligne de source sur les plans de données, SCHÉMATIQUE sur les illustrations, les chaînes à l'écran des deux langues, contenu dégagé de la bande de sous-titres.
- Révision : rendez des images fixes aux trames basées sur les ancres pour tout le film dans chaque langue et disposez-les en planches-contact (
scripts/review.py <Composition> <cut> [--scenes ...], un seul ensemble pour toutes les trames), et regardez — chevauchements, coupures, trames vides, texte illisible, tout ce qui est hors message. Ensuite, révisez le rythme, en lisant les planches comme l'histoire que le spectateur reçoit : repérez toute période de plus de ~20 s sans nouveau visuel réel, toute liste de trois éléments ou plus lue à voix haute, toute formule ou théorie qui n'est pas liée à des données à l'écran, et toute scène qui ne fait pas avancer le seul résultat — compressez ou coupez celles-ci. Itérez.
7. Vérification indépendante des faits
Générez un nouvel agent qui n'a rien construit pour vérifier le script et chaque chaîne/chiffre à l'écran par rapport à l'article (invite dans reference/rigor.md). Un passage léger suffit par défaut : le script et la copie juste après que le script est final (avant la voix payante, lorsque les corrections de libellés sont les moins chères) — chiffres, paramètres, affirmations excessives. Vérifiez les écrans vous-même par rapport à notes/claims.md lors de la révision des planches ; ajoutez un second passage indépendant (écrans, données tracées, miniatures) uniquement pour un film à enjeux élevés ou lorsque l'utilisateur le demande. Corrigez les éléments À CORRIGER ABSOLUMENT (y compris le libellé de la voix-off, puis régénérez ces scènes et recalibrez la musique : music.py --refit pour un fond généré, le même --file … --keep-ending N à nouveau pour une piste de bibliothèque) et la plupart des éléments À CORRIGER SOUHAITABLEMENT.
8. Son, rendu
… [tronqué pour la traduction]