Communitygithub.com

Aurora-AI/Mad-Lab-Aurora

Créez des compositions vidéo, des animations, des cartes-titres, des superpositions, des sous-titres, des voix off, des visuels réactifs à l'audio et des transitions de scène en HTML HyperFrames.

Qu'est-ce que Mad-Lab-Aurora ?

Aurora-AI/Mad-Lab-Aurora permet de générer du contenu vidéo complexe en utilisant HyperFrames, où le HTML sert de source unique de vérité pour la vidéo. Ce skill est conçu pour les agents AI (Claude Code, Cursor, Codex) et automatise l'ensemble du workflow de production vidéo : composition de scènes, animation via GSAP, synchronisation audio/visuelle, génération de sous-titres (transcription TTS) et transitions entre scènes. Il prend en charge les plates-formes Open Design (OD) et les projets HyperFrames autonomes. En environnement OD, le skill suit un chemin optimisé en utilisant un cache caché pour les fichiers sources et en déléguant le rendu au daemon OD pour éviter les problèmes de sandbox. Il intègre une validation de l'identité visielle via un fichier DESIGN.md ou des questions utilisateur, et applique des règles strictes de mise en page avant animation pour éviter les chevauchements involontaires. Les sous-commandes comme lint, transcribe, tts peuvent être exécutées directement depuis le shell, tandis que render et preview passent par le daemon.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Aurora-AI/Mad-Lab-Aurora/tree/HEAD/integrations/open-design/skills/hyperframes

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

HyperFrames

HTML est la source de vérité pour la vidéo. Une composition est un fichier HTML avec des attributs data-* pour le timing, une timeline GSAP pour l'animation, et du CSS pour l'apparence. Le framework gère la visibilité des clips, la lecture des médias et la synchronisation de la timeline.

Intégration Open Design (essentielle pour cette surface)

Lorsque ce skill s'exécute dans Open Design (c'est-à-dire que $OD_PROJECT_DIR est défini), le flux de sortie est fixe : seul le fichier .mp4 rendu doit atterrir dans la racine du projet. Les fichiers sources de composition (hyperframes.json, meta.json, index.html, assets) appartiennent à un répertoire de cache caché afin de ne pas encombrer le visualiseur de fichiers de l'utilisateur ou les puces « fichiers produits » du chat.

Workflow de rendu dans OD — chemin rapide :

Pour la plupart des requêtes OD (« vidéo de test », « démo produit de 5s », « clip de démonstration »), n'écrivez PAS le HTML de composition à partir de zéro. Utilisez le scaffold intégré d'HyperFrames et modifiez uniquement ce que la requête change réellement. Le chemin « créer à partir de zéro » coûte des minutes de sortie de modèle et du temps d'outil de chat silencieux ; le chemin du scaffold coûte des secondes.

# 1. Choisissez un emplacement de cache caché. Le préfixe de fichier dot → la liste des fichiers du projet OD
#    le saute, donc les fichiers sources n'encombrent jamais le chat.
COMP_REL=".hyperframes-cache/$(date +%s)-$(openssl rand -hex 2)"
COMP="$OD_PROJECT_DIR/$COMP_REL"

# 2. Obtenez un scaffold immédiatement rendable (hyperframes.json,
#    meta.json, index.html avec GSAP CDN + window.__timelines.main
#    déjà enregistré). Cela s'exécute dans votre shell — pure copie de fichier,
#    pas de Chrome, pas de réseau au-delà du cache npx.
npx hyperframes init "$COMP" --example blank --skip-skills --non-interactive

# 3. Modifiez UNIQUEMENT $COMP/index.html — changez `data-duration` sur la racine
#    si vous avez besoin d'une durée non par défaut, échangez la palette de
#    substitution dans <style>, ajoutez 1 à 3 <div> de clip pour le texte/l'image,
#    et ajoutez les tweens GSAP correspondants dans le bloc existant
#    `window.__timelines["main"] = gsap.timeline({paused:true})`.
#    Gardez les modifications minimales ; le scaffold est déjà valide HF.

# 4. Déclenchez le rendu via le daemon OD. N'exécutez PAS `npx hyperframes
#    render` depuis ce shell — le daemon l'exécute pour vous dans un
#    processus non sandboxé. (De nombreux CLI d'agents, en particulier Claude Code,
#    encapsulent Bash dans macOS sandbox-exec sous lequel le sous-processus Chrome
#    de puppeteer se bloque partiellement lors de la capture d'images. Le processus
#    du daemon est non sandboxé, donc les rendus se terminent de manière fiable.)
#
#    Le dispatcher retourne en ~1s avec un {taskId} ; pilotez le rendu
#    jusqu'à la fin en bouclant les appels `"$OD_NODE_BIN" "$OD_BIN" media wait <taskId>`.
#    Chaque appel fait un long-poll jusqu'à 25s (bien en dessous de la limite par défaut
#    de 30s de votre outil shell) et se termine avec 0/2/5 pour signaler terminé/en cours/échoué.
out=$("$OD_NODE_BIN" "$OD_BIN" media generate \
  --project "$OD_PROJECT_ID" \
  --surface video \
  --model hyperframes-html \
  --output "<descriptive-name>.mp4" \
  --composition-dir "$COMP_REL")
ec=$?
task_id=$(printf '%s\n' "$out" | tail -1 | jq -r '.taskId // empty')
since=$(printf '%s\n' "$out" | tail -1 | jq -r '.nextSince // 0')
while [ "$ec" -eq 2 ] && [ -n "$task_id" ]; do
  out=$("$OD_NODE_BIN" "$OD_BIN" media wait "$task_id" --since "$since")
  ec=$?
  since=$(printf '%s\n' "$out" | tail -1 | jq -r '.nextSince // '"$since")
done
[ "$ec" -ne 0 ] && { echo "$out" >&2; exit "$ec"; }

Chaque appel generate et chaque wait dure au maximum ~25s, donc la limite par défaut de ~30s de l'outil shell de l'agent ne se déclenche jamais. Les lignes de progression de HF (Capturing frame N/M) sont diffusées sur stderr en direct tout au long de la boucle. Lorsque le rendu se termine, la dernière ligne stdout est {"file": { "name": "<output>", "size": …, "kind": "video", … }} — citez file.name dans votre réponse pour que l'utilisateur sache ce qui a été produit.

Ignorez la validation de l'identité visuelle dans OD. La section HARD-GATE ci-dessous (sous « Approche ») vous dit de lire DESIGN.md / visual-style.md ou de vous arrêter et de poser 3 questions sur l'ambiance avant d'écrire une composition. Cette validation concerne les projets HF autonomes. Les projets OD ont déjà leur propre couche de système de design — l'utilisateur a choisi sa direction visuelle lors de la création du projet. Pour un rendu de test OD, par défaut : toile sombre (#0b0b0f), un accent chaud (#ffb76b), un accent froid (#7da4ff), mouvement retenu. Ne demandez un avis stylistique que si la requête de l'utilisateur est trop vague pour même choisir un sujet (très rare).

Quand sauter le scaffold et écrire à partir de zéro : uniquement lorsque l'utilisateur demande explicitement quelque chose que le modèle vierge ne peut clairement pas accueillir (par exemple, des timelines multi-composition, des superpositions réactives à l'audio, des sous-titres synchronisés avec une piste TTS déjà générée). Pour tout le reste, init + édition est le chemin par défaut.

Les sous-commandes HF plus légères que vous pouvez toujours exécuter depuis votre propre shell (elles n'ont pas besoin de lancer Chrome) :

  • npx hyperframes lint "$COMP" — valider la composition avant l'envoi
  • npx hyperframes transcribe <audio> — générer des sous-titres
  • npx hyperframes tts <texte> — générer une narration

Réservez l'envoi via daemon pour render/inspect/preview (tout ce qui est lié à Chrome).

N'appelez PAS "$OD_NODE_BIN" "$OD_BIN" media generate --model hyperframes-html — ce chemin de dispatcher retourne une erreur 400 (AGENT_RENDERED) intentionnellement. HyperFrames est rendu par vous directement via npx.

Ne déposez PAS hyperframes.json / meta.json / index.html dans la racine du projet ; la liste des fichiers d'OD scanne récursivement et l'utilisateur verrait trois fichiers sans rapport apparaître dans le chat.

Pour les options CLI au-delà de render (lint, preview, transcribe, tts, inspect, benchmark), appelez-les directement depuis votre outil shell lorsque la tâche le justifie (par exemple, générez un audio TTS dans le cache avant de le référencer dans la composition).

Approche

Avant d'écrire du HTML, réfléchissez à un niveau élevé :

  1. Quoi — que doit vivre le spectateur ? Identifiez l'arc narratif, les moments clés et les battements émotionnels.
  2. Structure — combien de compositions, lesquelles sont des sous-compositions vs en ligne, quelles pistes portent quoi (vidéo, audio, superpositions, sous-titres).
  3. Timing — quels clips déterminent la durée, où se placent les transitions, quel est le rythme.
  4. Mise en page — construisez d'abord l'état final. Voir « Mise en page avant animation » ci-dessous.
  5. Animer — ensuite ajoutez le mouvement en utilisant les règles ci-dessous.

Pour les petites modifications (corriger une couleur, ajuster le timing, ajouter un élément), passez directement aux règles.

Validation de l'identité visuelle

Vérifiez dans cet ordre :

  1. DESIGN.md existe dans le projet ? → Lisez-le. Utilisez ses couleurs, polices, règles de mouvement et contraintes « Ce qu'il ne faut PAS faire » exactes.
  2. visual-style.md existe ? → Lisez-le. Appliquez son style_prompt_full et ses champs structurés. (Note : visual-style.md est un fichier spécifique au projet. visual-styles.md est la bibliothèque de styles avec 8 préréglages nommés — fichiers différents.)
  3. L'utilisateur a nommé un style (par exemple, « Swiss Pulse », « dark and techy », « marque de luxe ») ? → Lisez visual-styles.md pour les 8 préréglages nommés. Générez un DESIGN.md minimal avec : ## Style Prompt (un paragraphe), ## Couleurs (3-5 valeurs hexadécimales avec rôles), ## Typographie (1-2 familles de polices), ## Ce qu'il ne faut PAS faire (3-5 anti-patrons).
  4. Rien de ce qui précède ? → Posez 3 questions avant d'écrire du HTML :
    • Quelle est l'ambiance ? (explosif / cinématographique / fluide / technique / chaotique / chaleureux)
    • Toile claire ou sombre ?
    • Des couleurs, polices ou références visuelles spécifiques ? Générez ensuite un DESIGN.md minimal à partir des réponses.

Chaque composition doit retracer sa palette et sa typographie jusqu'à un DESIGN.md, visual-style.md ou une directive explicite de l'utilisateur. Si vous utilisez #333, #3b82f6, ou Roboto — vous avez sauté cette étape.

Pour les valeurs par défaut de mouvement, de dimensionnement, de motifs d'entrée et d'assouplissement — suivez house-style.md. Le style maison gère COMMENT les choses bougent. Le DESIGN.md gère À QUOI les choses ressemblent.

Mise en page avant animation

Positionnez chaque élément là où il doit être à son moment le plus visible — l'image où il est complètement entré, correctement placé, et pas encore en train de sortir. Écrivez d'abord cela en HTML+CSS statique. Pas de GSAP pour l'instant.

Pourquoi c'est important : Si vous positionnez les éléments à leur état de départ animé (hors écran, mis à l'échelle à 0, opacité 0) et que vous les animez vers où vous pensez qu'ils devraient atterrir, vous devinez la mise en page finale. Les chevauchements sont invisibles jusqu'à ce que la vidéo soit rendue. En construisant d'abord l'état final, vous pouvez voir et corriger les problèmes de mise en page avant d'ajouter du mouvement.

Le processus

  1. Identifiez l'image héroïque pour chaque scène — le moment où le plus d'éléments sont simultanément visibles. C'est la mise en page que vous construisez.
  2. Écrivez du CSS statique pour cette image. Le conteneur .scene-content DOIT remplir la scène entière en utilisant width: 100%; height: 100%; padding: Npx; avec display: flex; flex-direction: column; gap: Npx; box-sizing: border-box. Utilisez le padding pour pousser le contenu vers l'intérieur — JAMAIS position: absolute; top: Npx sur un conteneur de contenu. Les conteneurs de contenu positionnés absolument débordent lorsque le contenu est plus haut que l'espace restant. Réservez position: absolute uniquement pour les éléments décoratifs.
  3. Ajoutez les entrées avec gsap.from() — animez DEPUIS hors écran/invisible VERS la position CSS. La position CSS est la vérité de base ; le tween décrit le voyage pour y arriver.
  4. Ajoutez les sorties avec gsap.to() — animez VERS hors écran/invisible DEPUIS la position CSS.

Exemple

/* scene-content remplit la scène, le padding positionne le contenu */
.scene-content {
  display: flex;
  flex-direction: column;
  justify-content: center;
  width: 100%;
  height: 100%;
  padding: 120px 160px;
  gap: 24px;
  box-sizing: border-box;
}
.title {
  font-size: 120px;
}
.subtitle {
  font-size: 42px;
}
/* Le conteneur remplit toute taille de scène (1920x1080, 1080x1920, etc.).
   Le padding positionne le contenu. Flex + gap gère l'espacement. */

FAUX — dimensions codées en dur et positionnement absolu :

.scene-content {
  position: absolute;
  top: 200px;
  left: 160px;
  width: 1920px;
  height: 1080px;
  display: flex; /* ... */
}
// Étape 3 : Animez VERS ces positions
tl.from(".title", { y: 60, opacity: 0, duration: 0.6, ease: "power3.out" }, 0);
tl.from(".subtitle", { y: 40, opacity: 0, duration: 0.5, ease: "power3.out" }, 0.2);
tl.from(".logo", { scale: 0.8, opacity: 0, duration: 0.4, ease: "power2.out" }, 0.3);

// Étape 4 : Animez DEPUIS ces positions
tl.to(".title", { y: -40, opacity: 0, duration: 0.4, ease: "power2.in" }, 3);
tl.to(".subtitle", { y: -30, opacity: 0, duration: 0.3, ease: "power2.in" }, 3.1);
tl.to(".logo", { scale: 0.9, opacity: 0, duration: 0.3, ease: "power2.in" }, 3.2);

Quand les éléments partagent l'espace dans le temps

Si l'élément A sort avant que l'élément B n'entre dans la même zone, les deux doivent avoir des positions CSS correctes pour leurs images héroïques respectives. L'ordre de la timeline garantit qu'ils ne coexistent jamais visuellement — mais si vous sautez l'étape de mise en page, vous ne détecterez pas le cas où ils se chevauchent accidentellement en raison d'une erreur de timing.

Ce qui est considéré comme un chevauchement intentionnel

Les effets de calque (lueur derrière le texte, éléments d'ombre, motifs d'arrière-plan) et les conceptions à plusieurs niveaux (piles de cartes, couches de profondeur) sont intentionnels. L'étape de mise en page sert à détecter les chevauchements non intentionnels — deux titres qui atterrissent l'un sur l'autre, une statistique qui couvre une étiquette, un contenu qui dépasse du cadre.

Attributs de données

Tous les clips

AttributRequisValeurs
idOuiIdentifiant unique
data-startOuiSecondes ou référence d'ID de clip ("el-1", "intro + 2")
data-durationRequis pour img/div/compositionsSecondes. Vidéo/audio par défaut à la durée du média.
data-track-indexOuiEntier. Les clips de la même piste ne peuvent pas se chevaucher.
data-media-startNonDécalage de coupe dans la source (secondes)
data-volumeNon0-1 (par défaut 1)

data-track-index n'affecte pas le calque visuel — utilisez CSS z-index.

Clips de composition

AttributRequisValeurs
data-composition-idOuiIdentifiant de composition unique
data-startOuiHeure de début (composition racine : utiliser "0")
data-durationOuiPriorité sur la durée de la timeline GSAP
data-width / data-heightOuiDimensions en pixels (1920x1080 ou 1080x1920)
data-composition-srcNonChemin vers un fichier HTML externe

Structure de composition

Les sous-compositions chargées via data-composition-src utilisent un wrapper <template>. Les compositions autonomes (le index.html principal) n'utilisent PAS <template> — elles placent la div data-composition-id directement dans <body>. Utiliser <template> sur un fichier autonome cache tout le contenu du navigateur et casse le rendu.

Structure de sous-composition :

<template id="my-comp-template">
  <div data-composition-id="my-comp" data-width="1920" data-height="1080">
    <!-- contenu -->
    <style>
      [data-composition-id="my-comp"] {
        /* styles isolés */
      }
    </style>
    <script src="https://cdn.jsdelivr.net/npm/[email protected]/dist/gsap.min.js"></script>
    <script>
      window.__timelines = window.__timelines || {};
      const tl = gsap.timeline({ paused: true });
      // tweens...
      window.__timelines["my-comp"] = tl;
    </script>
  </div>
</template>

Chargement dans la racine : <div id="el-1" data-composition-id="my-comp" data-composition-src="compositions/my-comp.html" data-start="0" data-duration="5"></div>

Audio Reactif

Pour créer des visuels réactifs à l'audio, utilisez l'API Web Audio pour analyser le spectre de fréquence ou l'amplitude d'une piste audio. HyperFrames fournit window.__hf.audio avec getFrequencyData() et getLevel() qui retournent des valeurs normalisées (0–1) pour chaque trame. Utilisez GSAP dans une boucle de rendu ou des écouteurs tick pour synchroniser les propriétés CSS (échelle, opacité, rotation, etc.) avec les données audio en temps réel.

Exemple :

const audioData = window.__hf.audio.getFrequencyData();
const bassLevel = audioData[0]; // Fréquences basses (basses)
const beatScale = 1 + bassLevel * 0.5;
gsap.to(".beat-circle", { scale: beatScale, duration: 0.05 });

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

Aurora-AI/Mad-Lab-Aurora

Produce a print-grade single-page kami (紙 / 纸) document — warm parchment canvas, ink-blue accent, serif at one weight, no italic, no cool grays. The output reads like a professional white paper or studio one-pager, not an app UI. Multilingual by design (EN · zh-CN · ja). One self-contained HTML file, zero dependencies.

Aurora-AI/Mad-Lab-Aurora

A single-frame motion-design composition with looping CSS animations — rotating type ring, animated globe, ticking timer, parallax labels. Renders as a hero video poster you can hand straight to HyperFrames or any keyframe-based exporter. Use when the brief asks for "motion design", "animated hero", "loop", "video poster", "title card", or pairs Open Claude Design with HyperFrames for a kinetic export.

Aurora-AI/Mad-Lab-Aurora

Produce a single-file slide deck in the Atelier Zero visual language (warm-paper background, italic-serif emphasis spans, coral terminating dots, surreal collage plates) — Open Design's brand deck recipe. The deck uses **horizontal magazine-style swipe pagination** (←/→, wheel, swipe), a per-slide chrome strip with brand mark and slide counter, an ESC overview grid, a coral progress bar, and inherits the canonical stylesheet + 16-slot image library from the sister `open-design-landing` skill.

Aurora-AI/Mad-Lab-Aurora

Produce a world-class single-page editorial landing site in the Atelier Zero visual language (Monocle / Apartamento / Études editorial collage) — the same aesthetic Open Design uses for its own marketing surface. The agent fills a typed `inputs.json` from a brand brief, optionally generates 16 collage assets via gpt-image-2, then runs a pure-function composer that emits a self-contained HTML file; a separate path can mirror the Astro marketing site in `apps/landing-page/`. Drop-in scroll-reveal motion and a Headroom-style sticky nav are wired automatically.

Aurora-AI/Mad-Lab-Aurora

Single-page SaaS landing with hero, features, social proof, pricing, and CTA. Respects the active DESIGN.md color/typography/layout tokens. Trigger keywords: "saas landing", "marketing page", "product landing".

Aurora-AI/Mad-Lab-Aurora

A pixel / sprite-style animated explainer slide — full-bleed cream stage, bold display year, animated pixel-art mascot (e.g. Hanafuda card, mushroom, or 8-bit console), kinetic Japanese display type, ticking timeline ribbon. Reads like a single frame of an educational motion video — looping CSS keyframes, no JS, ready to be screen-recorded into a vertical video. Use when the brief asks for a "sprite animation", "pixel-art video", "8-bit explainer", "history of X explainer", "kinetic typography history", "Nintendo-style", "精灵图动画", "像素动画", or "复古动画".

Aurora-AI/Mad-Lab-Aurora

Short-form video generation skill — 3-10 second clips for product reveals, motion teasers, ambient loops. Defaults to Seedance 2 but works the same with Kling 3 / 4, Veo 3 or Sora 2. Output is one MP4 saved to the project folder. When the workspace also ships an interactive-video / hyperframes skill, prefer composing several short shots into a single timeline rather than one long monolithic clip.

Skills associés