Communitygithub.com

Remotion → HyperFrames

Portiert eine bestehende Remotion (React)-Komposition in eine HyperFrames-HTML-Komposition. Nur verwenden, wenn der Benutzer explizit nach Portierung/Konvertierung/Migration/Übersetzung einer Remotion-Quelle fragt.

Was ist Remotion → HyperFrames?

Diese Fähigkeit übersetzt Remotion-basierte Videokompositionen (React) in HyperFrames-Kompositionen (HTML + GSAP). Der Übersetzungsprozess ist für etwa 80% typischer Kompositionen mechanisch, da die meisten Remotion-Idiome direkte Entsprechungen in HyperFrames haben. Die Fähigkeit erkennt und blockiert die verlustbehafteten 20% durch einen Lint-Schritt, der Muster wie `useState`, `useEffect` oder asynchrone `calculateMetadata` identifiziert und stattdessen eine Runtime-Interop empfiehlt. Der Workflow umfasst fünf Schritte: Linten der Quelle, Planen der Übersetzung anhand einer API-Referenz, Generieren der HyperFrames-Komposition (ein `index.html` mit GSAP-Timeline), Validieren durch SSIM-Diff-Tests gegenüber einer Remotion-Baseline und Dokumentieren von Lücken in `TRANSLATION_NOTES.md`. Die Fähigkeit wird mit einem Testkorpus (T1–T4) validiert, der automatisierte Rendervergleiche durchführt. Sie ist strikt auf eine Richtung ausgelegt: Remotion → HyperFrames. Rückwärtsportierung (HyperFrames → Remotion) und nicht-Remotion-Quellen (After Effects, Framer Motion, reines React/CSS) werden abgelehnt.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/9018/mychat/tree/HEAD/OpenMontage/.agents/skills/remotion-to-hyperframes

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Remotion zu HyperFrames

Bestätige den Weg, bevor du baust. Verwende dies nur, um eine bestehende Remotion-Komposition (React) nach HyperFrames zu portieren. Eine neue Komposition (auch wenn sie von einem Remotion-Video inspiriert ist) → die Erstellungs-Workflows / /general-video. Ausgeschlossen (Einbahnstraße, nur Remotion): kein Rückwärtsexport (HyperFrames → Remotion oder ein anderes Framework), und eine Nicht-Remotion-Quelle (After Effects, Framer Motion, reines React/CSS) hat keine Remotion-Quelle zum Übersetzen → neu erstellen via /general-video. Unsicher, oder nur eine beiläufige Erwähnung von Remotion? Lies zuerst /hyperframes.

Überblick

Übersetzt Remotion (React-basierte) Videokompositionen in HyperFrames (HTML + GSAP)-Kompositionen. Die meisten Remotion-Idiome haben direkte Äquivalente in HyperFrames – die Übersetzung ist für ~80% typischer Kompositionen mechanisch. Diese Fähigkeit kodiert die Abbildung und schützt vor den verlustbehafteten 20%, indem sie sich weigert, Muster zu übersetzen, die nicht in HFs seek-basiertes Modell passen, und stattdessen das Runtime-Interop-Muster aus PR #214 empfiehlt.

Die Fähigkeit wird mit einem gestuften Testkorpus (T1–T4, 4 Fixtures insgesamt) ausgeliefert, das Übersetzungen anhand gemessener SSIM-Schwellenwerte bewertet. Übersetze nicht, ohne die Auswertung laufen zu lassen – eine Übersetzung, die „richtig aussieht“, aber 0.05 SSIM niedriger als die validierte Baseline rendert, ist stillschweigend falsch.

Wann verwenden

Verwende diese Fähigkeit NUR, wenn der Benutzer explizit nach Migration von Remotion fragt. Beispiel-Trigger-Phrasen:

  • „portiere mein Remotion-Projekt nach HyperFrames“
  • „konvertiere diesen Remotion-Code nach HyperFrames“
  • „migriere von Remotion“
  • „übersetze diese Remotion-Komposition“
  • „schreibe dies als HyperFrames-HTML um“

Verwende diese Fähigkeit NICHT, wenn:

  • (a) Der Benutzer eine neue HyperFrames-Komposition erstellt, selbst wenn er ein ähnliches Remotion-Video hat oder A/B-testet.
  • (b) Der Benutzer Remotion beiläufig erwähnt, ohne nach Migration zu fragen.
  • (c) Der Benutzer Remotion-Code als Referenzmaterial teilt, anstatt nach einer Übersetzung zu fragen.
  • (d) Der Benutzer nach „dem gleichen Video wie mein Remotion-Video“ fragt, ohne explizit die Quelle migrieren zu wollen – behandle dies als einen neuen HyperFrames-Build.

NICHT UNTERSTÜTZT (ablehnen – das ist nicht, was diese Fähigkeit tut):

  • Die Rückwärtsrichtung. Das Exportieren einer HyperFrames-Komposition zurück nach Remotion (oder in ein anderes Framework) ist kein Workflow – die Übersetzung ist nur Remotion → HyperFrames. Sage dies deutlich.
  • Nicht-Remotion-Quellen. Ein After Effects-Projekt (.aep), eine Framer Motion / reines-React/CSS-Animation oder die Quelle eines anderen Tools ist keine Remotion-Komposition – es gibt keine Remotion-Quelle zum Übersetzen. Erstelle sie nativ via /general-video neu oder lehne ab, wenn HyperFrames sie nicht darstellen kann.

Bei Unsicherheit standardmäßig eine native HyperFrames-Komposition mit /general-video (dem allgemeinen HyperFrames-Erstellungs-Workflow) erstellen.

Workflow

Schritt 1: Lint der Quelle

Führe scripts/lint_source.py über das Remotion-Quellverzeichnis aus. Der Lint erkennt Muster, die sich nicht sauber übersetzen lassen:

  • Blocker (ablehnen + Interop empfehlen): useState, useReducer, useEffect/useLayoutEffect mit nicht-leeren Dependencies, async calculateMetadata, Drittanbieter-React-UI-Bibliotheken (MUI, Chakra, Mantine, antd, shadcn, Radix, NextUI).
  • Warnungen (übersetzen nach Entfernen des Konstrukts): @remotion/lambda-Konfiguration, delayRender, useCallback, useMemo, benutzerdefinierte Hooks.
  • Info (übersetzen mit Hinweis): staticFile, interpolateColors.

Wenn ein Blocker ausgelöst wird, stoppe. Lese references/escape-hatch.md und zeige die Empfehlungsnachricht an. Warnungen stoppen die Übersetzung nicht – entferne das störende Konstrukt in Schritt 3 und notiere die Lücke in TRANSLATION_NOTES.md. Die @remotion/lambda-Konfiguration ist der kanonische Warnungsfall: Die Fähigkeit entfernt den Import + die renderMediaOnLambda(...)-Aufrufe, übersetzt aber den Rest der Komposition.

Schritt 2: Plane die Übersetzung

Lese references/api-map.md – das Verzeichnis jeder Remotion-API und ihres HF-Äquivalents oder themenspezifischen Referenz. Identifiziere, welche Themenreferenzen du basierend auf dem, was die Quelle verwendet, benötigst:

Quelle enthältReferenz laden
Composition, defaultProps, schema, calculateMetadataparameters.md
Sequence, Series, Loop, AbsoluteFill, Freezesequencing.md
useCurrentFrame, interpolate, spring, Easing, interpolateColorstiming.md
Audio, Video, Img, IFrame, staticFile, delayRendermedia.md
TransitionSeries, @remotion/transitionstransitions.md
@remotion/lottielottie.md
@remotion/google-fonts/<Family>, Font.loadFont, @font-facefonts.md

Lade nicht alle – lade nur, was die spezifische Quelle benötigt.

Schritt 3: Generiere die HF-Komposition

Gebe index.html aus mit:

  • Einem Root-<div id="stage">, das die data-composition-id, data-start="0", data-duration (in Sekunden), data-fps, data-width, data-height der Komposition trägt, plus ein data-* pro skalarem Prop.
  • Einer flachen Liste von Szenen-Divs mit data-start / data-duration / data-track-index.
  • Inline <style> für das Layout; CSS setzt den from-Zustand jeder animierten Eigenschaft.
  • Einem einzelnen <script>-Tag am unteren Ende, das eine pausierte gsap.timeline({paused: true}) enthält. Jede Remotion-useCurrentFrame()-Ableitung wird zu einem Tween auf dieser Timeline am richtigen Offset.
  • window.__timelines["<composition-id>"] = tl; registriert die Timeline bei der HF-Laufzeit.

Benutzerdefinierte React-Subkomponenten werden als wiederholtes HTML unter Verwendung des Prop-Interfaces als Vorlage inline eingefügt (siehe parameters.md für das pro-Instanz data-*-Muster).

Schritt 4: Validieren

Führe das Evaluierungs-Harness aus – references/eval.md für die vollständige Anleitung. Schneller Pfad:

# Rendere Remotion-Baseline (nach npm install im Fixture)
cd remotion-src && npx remotion render <CompositionId> out/baseline.mp4

# Rendere HF-Übersetzung
cd ../hf-src && npx hyperframes render --skill=remotion-to-hyperframes --output ../hf.mp4

# SSIM-Diff
../../scripts/render_diff.sh ./remotion-src/out/baseline.mp4 ./hf.mp4 ./diff

Schwellenwert: ~0.02 unterhalb p05 der Komplexitätsstufe der Quelle (siehe validierte Schwellenwerttabelle in eval.md). Wenn der Diff fehlschlägt, führe scripts/frame_strip.sh aus, um zu sehen, welche Frames abweichen, und lies dann die entsprechende Timing/Sequencing/Media-Referenz erneut.

Kritisch: Beide Renderings müssen das gleiche Pixelformat verwenden. Setze Config.setVideoImageFormat("png") + Config.setColorSpace("bt709") in der Remotion-Quelle in remotion.config.ts – sonst misst der Diff Kodiererunterschiede (~0.05 SSIM-Abzug), nicht die Übersetzungstreue.

Schritt 5: Dokumentiere Lücken

Alles, was sich nicht sauber übersetzen ließ (weggelassene Lautstärkerampen, angenäherte benutzerdefinierte Präsentationen, ersetzte Schriftarten) erhält eine TRANSLATION_NOTES.md, die neben der HF-Ausgabe geschrieben wird. Siehe references/limitations.md für das Format.

Was diese Fähigkeit explizit NICHT tut

  • React-Statusmaschinen übersetzen. Kompositionen, die Animationen über useState + useEffect steuern, sind keine deterministischen Frame-Capture-Ziele in HyperFrames' seek-basiertem Modell. Empfehle das Runtime-Interop-Muster.
  • Remotions Render-Pipeline neben HyperFrames ausführen. Das ist das Runtime-Interop-Muster aus PR #214 – eine separate Lösung für Kompositionen, die den Lint dieser Fähigkeit nicht bestehen.

(@remotion/lambda ist kein Blocker – Lambda-Konfiguration ist Deployment, nicht Animation. Die Fähigkeit entfernt es als Warnung und übersetzt den Rest. Siehe references/escape-hatch.md.)

Wie du deine eigene Übersetzung bewertest

Führe den Testkorpus-Orchestrator aus:

./assets/test-corpus/run.sh

Er führt T1, T2, T3 (Rendern + Diff) und T4 (Lint-Validierung) aus, gibt eine pro-Stufe Bestehen/Nicht-Bestehen-Tabelle aus und erstellt einen aggregierten JSON-Bericht. Verwende dies, um zu überprüfen, ob die Fähigkeit Ende-zu-Ende auf einem sauberen Checkout funktioniert – und als Regressionstest nach dem Bearbeiten einer Referenz.

Validierte Baseline (Stand: 2026-04-27):

StufeKompositionsformMittlerer SSIMSchwellenwert
T1Einzelelement-Einblendung0.9740.95
T2Mehrere Szenen + Spring + Audio + Bild0.9850.95
T3Datengetrieben, benutzerdefinierte Subkomponenten, Count-up0.9530.90
T4Escape-Hatch (8 Lint-Fälle)8/8 bestandenn/v

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

9018/mychat

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

9018/mychat

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

9018/mychat

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

9018/mychat

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

9018/mychat

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

9018/mychat

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

9018/mychat

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

9018/mychat

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

9018/mychat

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

9018/mychat

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

9018/mychat

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

9018/mychat

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

9018/mychat

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

9018/mychat

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

9018/mychat

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

9018/mychat

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

9018/mychat

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

9018/mychat

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

9018/mychat

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

9018/mychat

Download video and audio from YouTube and 1000+ sites using yt-dlp. No API keys needed. Use when: (1) Downloading a video from YouTube or other sites, (2) Extracting audio from a video URL, (3) Downloading subtitles/captions from a video, (4) Getting video metadata without downloading.

Verwandte Skills