HTML Motion Pipeline (explicatif 9:16, VO + SFX → MP4)
Pipeline éprouvé. Chaque étape possède une commande prête à l'emploi dans assets/pipeline/.
Référence d'implémentation complète : assets/pipeline/index.fc-reference.html (projet
Function Calling — copier puis remplacer le contenu, ne pas écrire à partir de zéro).
Pourquoi ce pipeline
- Déterministe : timeline GSAP
paused, seekée par frame → MP4 = aperçu. - VO utilisateur (fichier ElevenLabs/micro), pas de TTS ; tempo contrôlé.
- Audit de layout automatique détecte le texte sortant du cadre et les collisions entre éléments — obligatoire avant le rendu complet (économise 1338 frames de rendu).
- Lignes de connexion propres : ancrage sur les bords des nœuds, en couche arrière (voir Piège n°1).
Principes clés (c'est le cœur)
Le visuel sert le script & la VO, pas l'inverse.
- Tout ce qui s'affiche à l'écran doit figurer dans le script et être prononcé par la VO. Les éléments attrayants mais non narrés → supprimer, même s'ils sont beaux.
- À l'inverse, chaque idée/phrase importante du script doit avoir sa propre image qui apparaît au moment où cette phrase est prononcée. Les phrases qui restent sous forme de texte statique = scène "vide" → ajouter un visuel.
- Avoir beaucoup de scènes n'est pas un problème — l'essentiel est que chaque scène suive la VO & le script.
- Plus il y a d'images & d'animations, mieux c'est (plus vivant). Ne lésinez pas sur les visuels ; la richesse visuelle est une valeur ajoutée, pas une faiblesse.
- L'ordre & le timing des visuels = l'ordre & le timing des mentions dans la VO (d'après les timestamps de transcription), pas une logique propre.
- La qualité des détails visuels est également contrôlée : icônes clairement identifiables, éléments équilibrés et pas flottants.
Déroulement (suivre l'ordre)
| # | Étape | Sortie |
|---|---|---|
| 1 | Récupérer la VO utilisateur + découper par segment (pause de respiration) | meta.json |
| 2 | Ajuster le tempo de la VO via ffmpeg atempo + insérer des pauses ; choisir la variante | vo.wav |
| 3 | Transcription mot par mot (faster-whisper, pip install faster-whisper) | assets/words.json |
| 4 | Construire index.html (8 scènes calées sur le timing VO) + sfx_score.py | HTML + SFX WAV |
| 5 | Mixer VO + SFX → public/full_mix.mp3 | audio final |
| 6 | Audit de layout (audit2.mjs + audit_s2.mjs) — obligatoire 0 débordement | rapport |
| 7 | Rendu des frames (render_frames.mjs) → 1338 PNG | frames/ |
| 8 | Encoder (encode.sh) → MP4 | public/*.mp4 |
| 9 | Vérification visuelle du MP4 final — extraire des frames du MP4, analyser via vision | confirmation propre |
Configuration initiale
cd <projet>
npm init -y && npm install playwright-core gsap
pip install faster-whisper # pour la transcription mot par mot
# nécessaire : Google Chrome (/Applications/Google Chrome.app), ffmpeg
Scripts du pipeline
assets/pipeline/ :
render_frames.mjs— seek la timeline par frame, capture d'écran 1080×1920 @30fps.snap.mjs— capture une seconde donnée (node snap.mjs 1.0 6.5 17.5) pour vérifier le visuel.audit2.mjs— vérifie TOUTES les scènes : texte sortant du cadre / entrant dans la zone UI inférieure (>1560px) / collisions.audit_s2.mjs— audit d'1 scène (sc2) à plusieurs secondes (détecte un dévoilement trop précoce, un bord trop proche).audit_overlap.mjs— détecte les textes QUI SE CHEVAUCHENT RÉELLEMENT (texte×texte, texte×img, texte×bouton). Intelligent : distingue les vraies collisions de celles par conception : label dans un conteneur svg, traits/barrés/lignes traversantes, sous-titres flexibles côte à côte → non signalées. Exécuteznode assets/pipeline/audit_overlap.mjs→ cibleTOTAL chevauchements : 0.audit_center.mjs— détecte le contenu « suspendu en haut » (2/3 bas vide). Mesure le bounding du contenu de chaque scène, calcule la déviation par rapport au point central idéal (y≈960 pour 1920px). Déviation > 250px = ⚠ SUSPENDU. Exécuteznode assets/pipeline/audit_center.mjs.typing-prompt.js— recette d'animation « prompt de frappe » (cœur du thème codage/IA) : le prompt est tapé lettre par lettre + curseur clignotant, puis l'application répond (changement de couleur → erreur → correction → itération). Exemple complet : dépôt vidéo09-vibe-coding/index.htmlscène SK4.encode.sh— ffmpeg → H.264 yuv420p CRF18 + AAC 192k ++faststart.sfx_score.py— partition SFX procédurale synchronisée au timing des mots.index.fc-reference.html— implémentation complète (copier & remplacer le contenu).
Conventions HTML (dans index.fc-reference.html)
#stage1080×1920, fond dot-grid ;#world(caméra rig, échelle fine par scène) ; scènes =.scene(visibility hidden, affiché/masqué via timeline).- Sous-titres mot par mot :
assets/words.json→ grouper en segments de ≤4 mots, un segment = un.line(position:absolute, empilés pour ne pas agrandir la boîte), mot actif.on, mot-clé.key(ambre). Position 390px du bas (sûr car l'UI Reels/TikTok masque ~360px en bas). - Lignes de connexion : fonction
link(svg,idA,idB)calcule l'ancrage au BORD du nœud (edge/edgeT) — la ligne NE part PAS du centre du logo. SVG.wiresplacé comme premier enfant de.scene(z-index:0) pour être derrière les cartes (z-index:2). Courbe douce (bow ≤26px), couleur grise#7A81888px ; ligne active.hotambre 15px. - Logo de l'agent :
OPENCLAW_SVGen ligne (homard rouge), installé automatiquement sur chaque.node.darkcontenant🤖. Remplacez si autre identité souhaitée. - GSAP déterministe : timeline
paused, exposewindow.__tl&window.__updateSub. Mode?t=<secondes>pour capture statique (headless),?debugpour défilement manuel.
Déclencheurs (trigger)
L'utilisateur mentionne l'expression « pipeline motion explainer », ou demande une « vidéo motion
explicative 9:16 », ou dit « comme la vidéo Function Calling d'hier » → charger cette compétence.
Pas motion-format / bang-motion (autres compétences). La VO utilisateur est toujours envoyée comme
fichier à chaque session — cette compétence stocke le MODE DE FONCTIONNEMENT, pas les assets audio/contenu.
Pièges (ne pas répéter)
- Lignes traversant le logo/texte → s'assurer : (a) SVG wires premier enfant de la scène,
(b)
z-index:0wires vsz-index:2cartes, (c) ancrage aveclink()sur les bords. - Sous-titres masquant les cartes / entrant dans la zone UI → une ligne = 1 pile (absolute), max 4 mots/segment, bottom ≥390px.
window.tlundefined lors du rendu → le nom exposé doit êtrewindow.__tl(avec__), sinon 74% des frames deviennent identiques/statiques. Vérifier :md5 frames/* | uniq -c.- Rendu d'arrière-plan redémarré → s'assurer qu'aucun
render_framesancien ne tourne (pgrep -fl render_frames) avant un nouveau rendu ; supprimerframes/avant de commencer. - L'audit DOM ne remplace pas la vérification visuelle du MP4. L'audit détecte les débordements & collisions
de boîtes englobantes, mais NE détecte PAS les lignes traversant le logo / texte masquant les cartes —
cela n'est visible que sur les pixels finaux. Après encodage, extraire des frames clés du MP4
(
ffmpeg -ss <t> -i out.mp4 -frames:v 1 f.png) puis analyser via vision_analyze. - Contenu « suspendu en haut » (2/3 bas vide). C'est ce qui passe le plus souvent car
l'audit normal ne vérifie que les débordements, pas l'équilibre. Cause : tous les enfants
.heroutilisentposition:absolute→justify-content:centerdu flexbox N'A AUCUN EFFET sur eux. Solution : faire des enfants.heroun flux normal (block/flex), uniquement les éléments qui se chevauchent (badge/trait/marqueur) restent en absolute. OBLIGATOIRE d'exécuteraudit_center.mjs— déviation du centre > 250px = échec. - Le visuel ne suit pas le script (le plus destructeur). Ne considérez pas une scène comme « faite » simplement
parce que son animation s'exécute. Exemple concret : un graphique de corrélation & un graphique d'âge s'affichent
à l'écran alors que la VO ne les mentionne jamais. Audit script obligatoire avant le rendu : (a) extraire
la transcription VO + timestamp par mot (
words.json), (b) mapper « cette phrase apparaît à quelle heure à l'écran ? », (c) élément affiché mais absent du script → supprimer ; phrase du script qui reste en texte statique → ajouter un visuel. Ordre des visuels = ordre des mentions dans la VO. - Rendu OOM (Mac 8GB). Chromium accumule de la mémoire lors de centaines de captures d'écran → crash en cours de route (« Target page closed »). Solution : redémarrer le navigateur toutes les ±400 frames + reprise automatique (ignorer les frames déjà présentes et >20KB). Ne pas rendre 2500+ frames en une seule session de navigateur.
- Frames anciennes mélangées après révision. Si seules quelques scènes sont révisées et seules les frames
de cette plage sont supprimées,
frames/devient un mélange (ex. 2770 fichiers alors qu'il en faut 2574). Le plus sûr : supprimer toutframes/avant le rendu complet. Si reprise, vérifier que le nombre de fichiers = TOTAL frames avant encodage. - Émojis échappant à l'audit DOM. L'utilisateur demande sans émojis — si non vérifié automatiquement, les émojis
peuvent passer car l'audit de boîte englobante ne regarde pas le type de caractère. Avant le rendu, exécuter
une regex Python pour chercher les caractères emoji ; si trouvé → remplacer par SVG en ligne. Les icônes sont toujours en SVG.
re.findall(r'[\U0001F300-\U0001FAFF\u2600-\u27BF\u2B00-\u2BFF\uFE0F]', html)→ doit être 0. - **Icônes & détails visuels doivent être lisibles à la TAILLE D'AFFICHAGE — l'audit DOM & audit de layout ne détectent pas « l'icône n'est pas claire ». ** Un SVG peut avoir la bonne forme dans le code mais à la taille de rendu (ex. icône 180px dans un diagramme) ressembler à autre chose : icône de cerveau avec contour ouvert lue comme nuage/fleur, pas cerveau. Correctif : avant le rendu complet, extraire des frames du MP4 puis agrandir (crop) l'icône/diagramme clé et évaluer via vision_analyze — « est-ce clairement lisible comme X ? ». Si ambigu, simplifier la forme (silhouette pleine > contour ouvert) et agrandir. L'audit de boîte englobante ne vérifie que la position, pas la lisibilité de la forme.
- Éléments de comparaison équilibrés (barre/colonne A-vs-B) doivent être dans un seul groupe visuel. Les barres « flottantes » en dehors de leur carte parent (position absolue séparée) brisent l'équilibre & risquent d'écraser d'autres éléments lorsque le contenu change de hauteur. Cas réel : barres de muscle atrophié/fort flottant hors de la carte gym, puis heurtant une carte. Correctif : placer chaque barre DANS sa propre carte/cellule de colonne ; les différences de longueur de barre sont intentionnelles (longueur = grandeur), mais la largeur des cartes & la ligne de base doivent être identiques. Vérifier via audit_overlap après chaque révision de layout.
- Texte qui se chevauche alors qu'il semble « juste un peu ». Ne pas se fier à l'œil ; utiliser
audit_overlap.mjsqui mesure les vraies boîtes englobantes. Un énorme?, un grand nombre décoratif, ou un long titre écrasent souvent d'autre texte sans qu'on s'en rende compte. - Le thème codage/IA semble mort sans animation de frappe. Le texte statique ne transmet pas
le fonctionnement du vibe coding. Utiliser la recette
typing-prompt.js: le prompt est tapé lettre par lettre + curseur clignotant + l'application répond (changement de couleur → erreur → correction → itération). - Logo/icône depuis le web : télécharger le SVG officiel (CDN jsDelivr / dépôt GitHub de la marque), puis
mettre en ligne sous forme de texte dans le HTML — pas de
<img src>vers un fichier externe, pour que le rendu headless ne dépende pas du réseau. Supprimer les animations SMIL pour une sortie déterministe.
Règles audio (utilisateur Hasbi)
- La VO produite doit être la voix de l'utilisateur (fichier ElevenLabs envoyé), pas de TTS.
- SFX procédural via la compétence
procedural-sfx(sans crédit ElevenLabs). - Supprimer les frames brutes & fichiers auxiliaires (
frames/,shots/,*.wavpar segment) après l'envoi du MP4 — le stockage du MacBook est limité.