Convertir une page interactive en vidéo
Ce répertoire contient l'outil. Un navigateur headless parcourt la page interactive comme un lecteur (défilement, clics, glissements, curseur visible), en enregistrant l'écran, puis ajoute une voix off pour produire une vidéo 1080p MP4.
L'enregistrement et la composition sont automatiques ; c'est à vous d'écrire le script pour chaque page : comprendre la page, décider quoi dire, quoi supprimer, et quelles actions effectuer à chaque étape. C'est l'essentiel du travail.
lib/record.mjs: enregistreur – ouvre la page, injecte le curseur et les sous-titres, capture les images et les compresse en vidéo, enregistre le son de la page.lib/make.mjs: pipeline complet pour le type explicatif – synthèse vocale → opérations pilotées par la durée de la voix → composition finale avec sous-titres.lib/voice.mjs+lib/tts.py: clonage vocal (IndexTTS-2).lib/subtitles.mjs: découpage des sous-titres, estimation de durée, statistiques (tests disponibles avecnpm test).examples/demo/: un petit exemple prêt à l'emploi (une page interactive + son script) pour vérifier l'environnement.examples/: deux autres exemples réels (explainer et self-voiced), non exécutables directement (dépendent des fichiers de la page), mais utiles pour apprendre la structure.
La configuration système est dans le README. Les fichiers intermédiaires sont écrits dans work/ (dans le répertoire courant), le fichier final dans out/. Exécutez la commande dans le répertoire où vous voulez que la vidéo apparaisse.
Classification
| A : Explicatif | B : Avec son original | |
|---|---|---|
| Caractéristique de la page | Pas de voix off, le lecteur lit et interagit | A son original, effets sonores, sous-titres, animation au défilement |
| Son de la vidéo | Narration écrite séparément, voix clonée | Enregistrement du son de la page ; seules les parties sans voix sont remplacées par une narration synthétique |
| Exemple | examples/explainer-involution.mjs | examples/selfvoiced-jensen.mjs |
| Commande | node lib/make.mjs <script>.mjs | node <script>.mjs |
Pour créer un nouveau projet : copiez l'exemple correspondant et adaptez-le. Les commentaires dans les exemples expliquent chaque section.
Principes
- Réaliser une vidéo explicative complète, pas un teaser.
- Rythme serré : les passages sans parole doivent être les plus courts possible. Après le montage, identifiez les moments sans voix ; s'ils durent plus d'une dizaine de secondes, réduisez ou supprimez.
- Les zones avec du texte doivent être accompagnées de voix, pas seulement de bruits de frappe.
- Modifiez ou supprimez les parties de la page interactive qui rendent mal en vidéo (mini-jeux trop longs, trop de questions). Ne modifiez que le script d'enregistrement, jamais les fichiers originaux de la page (voir la fonction
transformdans le type B). - Réalisez une première version complète avant de la montrer à quiconque ; ne demandez pas de feedback morceau par morceau.
Type A : Explicatif
- Lisez la page, écrivez le script :
url,hideCss(pour masquer la navigation, les barres de progression, etc.),setup,segments. Chaque segment :{ id, say, run }–sayest la narration (également sous-titre),run(ctx, t)sont les actions pendant cette narration ;await t.at(0.5)attend la moitié de la phrase avant d'agir.ctxfournitscrollTo / click / move / drag / wait / card. - La narration est destinée au public, pas une lecture mot à mot du texte. Supprimez les parties qui ne tiennent pas en vidéo (expériences libres, longues listes, sources).
- Référence vocale : écrivez
voice: 'chemin'dans le script, ou placez un fichiervoice/ref.wavdans le répertoire courant. Il doit faire 10 à 30 secondes, silencieux, une seule personne parlant. - Testez d'abord sans voix :
node lib/make.mjs <script>.mjs --silent. La durée de chaque segment est estimée en fonction du nombre de mots. Seuls les sous-titres sont produits ; vous voyez le montage complet en quelques minutes. La synthèse vocale est lente, ne l'exécutez pas avant que le montage soit validé. - Une fois le montage confirmé, retirez
--silentpour produire la vidéo avec voix. Pour ajuster certains segments, utilisez--only idSegment,idSegment.
lib/tts.py égalise le débit des segments, réduit les pauses intra-phrase, réduit le bruit, aligne le volume, et refait automatiquement les segments au débit ou au timbre aberrants.
Type B : Avec son original
- Lisez le code source de la page. Identifiez trois choses : comment avancer (défilement/clics), où la page s'arrête pour attendre une interaction, et quels textes n'ont pas de voix.
- Copiez l'exemple et modifiez-le :
serve: sert le dossier local comme site web (interception des requêtes, pas de port).INTERACTIONS: chaque interaction « comment la reconnaître (sélecteur) + comment agir ». Utilisez de vrais mouvements de souris, glissements, clics. En cas de timeout, utilisez le bouton « Passer » de la page.- Boucle principale : si aucune interaction en attente, déroulez la page ; pendant une frappe de texte, attendez ; si la narration n'est pas terminée, attendez.
transform: modifiez temporairement le script au moment de l'envoi au navigateur (raccourcir un mini-jeu, réduire une pause, ajouter une narration). Ne modifiez jamais les fichiers originaux. Utilisez la correspondance exacte du texte original pour les modifications ; si la correspondance échoue, levez une erreur.
- Texte sans voix : dressez une liste et soumettez-la à
synthesize(). Pendant l'enregistrement, notez les instants où le texte apparaît ; à la fin, mélangez ces instants avec le son de la page. Pour les textes avec voix, désactivez le bruit de frappe et synchronisez la vitesse d'apparition avec la durée de la voix. --max secondes: enregistrez seulement le début.--from position: commencez à un moment donné pour ajuster une scène. Une fois tout validé, lancez l'enregistrement complet (temps réel : la vidéo dure autant de temps que l'enregistrement).
Pièges
- Son : Chrome headless doit utiliser
--disable-audio-output(déjà défini danslib/record.mjs). Si vous utilisez--mute-audio, le moteur audio se branche sur la carte son système ; une instabilité système peut couper le son de la page et ruiner tout l'enregistrement. - Résolution : 1080p via
--force-device-scale-factor=1.5+ fenêtre 1280×720. N'utilisez pas de zoom CSS (100vh serait décalé, les positions sticky fausses). - Navigation par défilement : pour les pages utilisant GSAP ScrollTrigger, après un changement de hauteur (dépliage d'une section), déclenchez un événement
resize, sinon les points de déclenchement restent obsolètes. - Blocage : les exemples incluent un watchdog. Si la page ne bouge pas et que le son ne progresse pas pendant plus de 40 secondes, le processus s'arrête. En cas de message « bloqué », recherchez la cause avant de relancer ; ne tentez pas le hasard.
- Synthèse vocale lente : IndexTTS-2 prend de quelques dizaines de secondes à plusieurs minutes par phrase sur un ordinateur portable. Pour 30-40 phrases, prévoyez au moins une demi-heure. Si vous ne voulez exécuter qu'une seule tâche de ce type à la fois, utilisez la variable
HEAVY_LOCK. - Disque : un enregistrement de 20 minutes occupe environ 1,5 Go de fichiers intermédiaires.
Vérifications obligatoires après production
Claude ne peut pas écouter l'audio. Cette information doit être clairement communiquée à l'utilisateur, sans équivoque.
- Images : extrayez uniformément 40 à 50 images de la vidéo complète et assemblez-les en une seule image. Examinez chaque interaction individuellement, vérifiez qu'elles sont correctes et qu'elles ne restent pas bloquées à mi-parcours.
- Logs : chaque interaction apparaît, sans message « erreur », « ne s'est pas terminée tout seul, passée », « bloquée », et aucune erreur de page.
- Son : la durée de la piste audio correspond à celle de la vidéo, pas de coupure ; vérifiez la liste des « moments sans voix ».
- Dans le rapport, précisez clairement : ce qui a été vérifié visuellement (images, logs), ce qui nécessite une écoute humaine (prononciation, intonation, mots mixtes chinois/anglais), les modifications apportées au contenu de la page, et les segments où l'absence de voix est encore trop longue.
Règles audio
- Ne clonez que votre propre voix, ou une voix pour laquelle vous avez explicitement l'autorisation.
- Si vous mélangez une narration synthétique avec un son original humain dans la même vidéo, mentionnez dans la description que la narration est synthétique.