Communitygithub.com

alees5am/ralphy

Asset-Vorverarbeitung für HyperFrames-Kompositionen — Text-to-Speech (Kokoro), Audio/Video-Transkription (Whisper) und Hintergrundentfernung für transparente Overlays (u2net).

Was ist ralphy?

Dieses Skill bietet drei CLI-Befehle zur Vorverarbeitung von Medien-Assets für HyperFrames-Kompositionen: `tts` (Sprachsynthese), `transcribe` (Transkription mit Zeitstempeln) und `remove-background` (Hintergrundentfernung). Es lädt beim ersten Ausführen automatisch die benötigten Modelle herunter und speichert sie im Cache unter `~/.cache/hyperframes/`. Das Skill unterstützt Plattformen, die HyperFrames nutzen, und ermöglicht kreative Workflows wie die Erstellung von Voiceovers aus Text, die Transkription von Sprache für Untertitel, die Entfernung von Hintergründen aus Videos/Bildern für transparente Overlays sowie die Verkettung dieser Schritte (z.B. TTS → Transkription → Untertitel). Es enthält detaillierte Optionen für Sprachauswahl (54 Stimmen), mehrsprachige Unterstützung, Modellgrößen für Whisper und Qualitätseinstellungen für die Hintergrundentfernung.

Funktioniert mit~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/alecs5am/ralphy/tree/HEAD/.agents/skills/hyperframes-media

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Vorschau

Aus dem Skill-README

Dokumentation

HyperFrames Medienvorverarbeitung

Drei CLI-Befehle, die Assets für Kompositionen erstellen: tts (Sprache), transcribe (Zeitstempel) und remove-background (transparentes Video). Jedes lädt beim ersten Ausführen ein Modell herunter und speichert es im Cache unter ~/.cache/hyperframes/. Gib die Ausgabe in das Projekt ein und referenziere sie aus der Kompositions-HTML – siehe das Skill hyperframes für die Konventionen zu Audio/Video-Elementen.

Text-to-Speech (tts)

Erzeuge Sprachaudio lokal mit Kokoro-82M. Kein API-Key erforderlich.

npx hyperframes tts "Text hier" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # alle 54 Stimmen

Stimmenauswahl

Passe die Stimme an den Inhalt an. Standard ist af_heart.

InhaltstypStimmeGrund
Produktdemoaf_heart/af_novaWarm, professionell
Tutorial / Anleitungam_adam/bf_emmaNeutral, leicht verständlich
Marketing / Werbungaf_sky/am_michaelEnergisch oder autoritär
Dokumentationbf_emma/bm_georgeKlares britisches Englisch, formell
Lässig / sozialaf_heart/af_skyZugänglich, natürlich

Mehrsprachig

Stimm-IDs kodieren die Sprache im ersten Buchstaben: a=Amerikanisches Englisch, b=Britisches Englisch, e=Spanisch, f=Französisch, h=Hindi, i=Italienisch, j=Japanisch, p=Brasilianisches Portugiesisch, z=Mandarin. Das CLI erkennt das Phonemizer-Locale automatisch anhand des Präfixes – kein --lang nötig, wenn die Stimme zum Text passt.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

Verwende --lang nur, um die automatische Erkennung zu überschreiben (stilisierte Akzente). Gültige Codes: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. Für nicht-englische Phonemisierung ist espeak-ng systemweit erforderlich (brew install espeak-ng / apt-get install espeak-ng).

Geschwindigkeit

  • 0.7-0.8 – Tutorial, komplexer Inhalt, Barrierefreiheit
  • 1.0 – natürliches Tempo (Standard)
  • 1.1-1.2 – Intros, Übergänge, schwungvoller Inhalt
  • 1.5+ – selten angemessen; sorgfältig testen

Lange Skripte

Bei mehr als ein paar Absätzen schreibe in eine .txt-Datei und übergib den Pfad. Eingaben mit über ~5 Minuten Sprachdauer können von einer Aufteilung in Segmente profitieren.

Anforderungen

Python 3.8+ mit kokoro-onnx und soundfile (pip install kokoro-onnx soundfile). Modell-Download bei erster Nutzung (~311 MB + ~27 MB Stimmen, zwischengespeichert in ~/.cache/hyperframes/tts/).

Transkription (transcribe)

Erstelle ein normiertes transcript.json mit Wort-für-Wort-Zeitstempeln.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # vorhandene importieren
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Sprachregel (Nicht verhandelbar)

Verwende NIEMALS .en-Modelle, es sei denn, der Benutzer gibt ausdrücklich an, dass das Audio auf Englisch ist. .en-Modelle (small.en, medium.en) übersetzen nicht-englisches Audio ins Englische, anstatt es zu transkribieren. Dadurch wird die Originalsprache stillschweigend zerstört.

  1. Sprache bekannt und nicht-englisch → --model small --language <code> (kein .en-Suffix)
  2. Sprache bekannt und englisch → --model small.en
  3. Sprache unbekannt → --model small (kein .en, kein --language) – Whisper erkennt automatisch

Standardmodell ist small, nicht small.en.

Modellgrößen

ModellGrößeGeschwindigkeitWann verwenden
tiny75 MBAm schnellstenSchnelle Vorschauen, Pipeline-Tests
base142 MBSchnellKurze Clips, klare Audiodaten
small466 MBMittelStandard – die meisten Inhalte
medium1,5 GBLangsamWichtige Inhalte, verrauschte Audiodaten, Musik
large-v33,1 GBAm langsamstenProduktionsqualität

Musik mit Gesang: Mindestens ab medium beginnen; produzierte Titel müssen oft manuell per SRT/VTT importiert werden. Für Qualitätsprüfungen von Untertiteln (obligatorisch nach jeder Transkription), das Bereinigungs-JS, Wiederholungsregeln und den OpenAI/Groq-API-Importpfad siehe hyperframes/references/transcript-guide.md.

Ausgabeform

Kompositionen verwenden ein flaches Array von Wortobjekten. Das id-Feld (w0, w1, ...) wird während der Normalisierung hinzugefügt, um stabile Referenzen in Untertitel-Overrides zu ermöglichen; es ist optional für Abwärtskompatibilität.

[
  { "id": "w0", "text": "Hallo", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "Welt.", "start": 0.6, "end": 1.2 }
]

Hintergrundentfernung (remove-background)

Entferne den Hintergrund eines Videos oder Bildes, sodass das Motiv (normalerweise eine Person – Avatar, Moderator, sprechender Kopf) als transparentes Overlay in einer Komposition sitzt.

npx hyperframes remove-background subject.mp4 -o transparent.webm  # Standard: VP9 Alpha WebM
npx hyperframes remove-background subject.mp4 -o transparent.mov   # ProRes 4444 (Bearbeitung)
npx hyperframes remove-background portrait.jpg -o cutout.png       # Einzelbild-Ausschnitt
npx hyperframes remove-background subject.mp4 -o subject.webm \
  --background-output plate.webm                                   # beide Ebenen in einem Durchgang
npx hyperframes remove-background subject.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                           # erkannte Anbieter

Verwendet u2net_human_seg (MIT). Erster Lauf lädt ~168 MB Gewichte nach ~/.cache/hyperframes/background-removal/models/ herunter.

NICHT u2net für Ausstech-Sticker mit weißem Umriss verwenden

remove-background (u2net) ist eine Segmentierung markanter Objekte – es segmentiert den Körper des Motivs und schneidet einen weißen Ausstech-Umriss ab, da die weiße Kontur um die Figur nicht "das Objekt" ist. Für transparente Telegram-/Messaging-Sticker, die mit einem weißen Umriss auf einem einfarbigen, bekannten Hintergrund gerendert werden, keye den Hintergrund, anstatt das Motiv zu segmentieren:

  • Flood-Fill des einfarbigen Hintergrunds. PIL ImageDraw.floodfill gesät von Punkten entlang aller vier Kanten (Schritt ~24px), markierte Pixel → Alpha 0, alles andere undurchsichtig. Dies erhält den weißen Umriss SOWIE einfarbige Objekte im Inneren SOWIE getrennte Inseln (eine fliegende Tasse, getrennt vom Körper, behält ihren eigenen Umriss). Erfordert, dass der Generierungs-Prompt das Motiv auf einen einfarbigen, gleichmäßigen Hintergrund setzt und explizit nach dem weißen Ausstech-Umriss fragt.
  • Variante ohne Umriss (sauberer als das Entfernen eines eingebrannten Umrisses): Führe jedes Bild erneut als Image-to-Image aus – übergib das fertige Rendering als --ref und prompte "erzeuge identische Pose/Objekte, aber ENTFERNE den weißen Umriss und setze es auf einen einfarbigen reinen Chroma-Key-Grün (#00b140)", dann keye das Grün mit einem weichen Chroma-Key, niemals einer binären Maske (alpha = clip((HIGH-(G-max(R,B)))/(HIGH-LOW),0,1), LOW≈30 HIGH≈95, plus globalen Despill G = min(G, max(R,B))). Ein binärer Flood-Fill + Erosion erzeugt treppenartige/aliasierte Kanten – weiche das binäre Alpha (GaussianBlur(0.8)) für eine glatte Kante anstelle von Erosion.
  • Größe für Messaging-Sticker: Beschneide auf die feste Alpha-Bounding-Box und skaliere die lange Seite exakt auf das Ziel (z.B. 512) – fülle nicht auf ein 512²-Quadrat auf (das lässt das Motiv klein mit leerem Raum darum herum).

Gilt NICHT für: menschliche Ausschnitte für Video-Overlays (u2net ist dort korrekt); Kunst ohne Ausstech-Umriss; Motive auf einem ungleichmäßigen/unruhigen Hintergrund (Flood-Fill benötigt eine einfarbige Key-Farbe).

Ebenentrennung (--background-output)

Übergib --background-output (oder -b), um ein zweites transparentes Video neben dem Ausschnitt zu erzeugen: gleiches Quell-RGB, Alpha ist 255 − Maske anstelle von Maske. Der Ausschnitt ist das Motiv mit transparentem Hintergrund; die Platte ist die ursprüngliche Umgebung mit einem transparenten Loch, wo das Motiv war.

DateiAlpha ist...Verwende es für
-o subject.webmDie Maske – Motiv undurchsichtig, Hintergrund transparentVordergrund-Ebene, lege sie oben
--background-output plate.webmInvers – Umgebung undurchsichtig, Motivbereich transparentUntere Ebene; platziere Text oder Grafiken zwischen dieser und dem Motiv

Beide Ausgaben teilen sich die gleiche --quality-Voreinstellung und laufen von einem einzigen Inferenzdurchgang – die Codierkosten verdoppeln sich ungefähr, die Segmentierungskosten bleiben gleich. Nur gültig für Videoeingaben und .webm/.mov-Ausgaben.

Loch-geschnittene Platte, keine inpaintierte saubere Platte. Der Motivbereich in plate.webm ist vollständig transparent – komponiere etwas Undurchsichtiges darunter, um das Loch zu füllen. Der einzige Test, ob --background-output das richtige Werkzeug ist: wird jemals etwas durch die Silhouette des Motivs sichtbar sein, wo das Motiv war?

AnwendungsfallRichtiges Werkzeug
Text/Grafiken zwischen dem Ausschnitt und der Platte (der Grund, warum dieser Befehl existiert)Loch-Schnitt (--background-output)
Motiv vor einer unabhängigen SzeneNur subject.webm; ignoriere die Platte
Zeige den Raum ohne die Person, allein über keinem anderen InhaltSaubere Platte – benötigt einen Inpainter (LaMa, ProPainter, E2FGVI). Nicht dieser Befehl.
Ersetze das Motiv durch ein anderes MotivSaubere Platte – wie oben

Wenn ein Benutzer nach "dem Raum mit entfernter Person" fragt und beabsichtigt, ihn alleinstehend anzuzeigen, greife nicht zu --background-output. Sage ihnen, dass sie einen Inpainter benötigen.

Typische geschichtete Komposition (der kanonische Loch-Schnitt-Anwendungsfall):

<!-- z=1 die inverse Alpha-Platte füllt alles außer dem Motivbereich -->
<video
  src="plate.webm"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>

<!-- z=2 Grafiken/Text leben zwischen den beiden Ebenen -->
<h1 id="headline" style="z-index:2; ...">MACH ES IN HYPERFRAMES</h1>

<!-- z=3 der Ausschnitt schwebt das Motiv wieder über die Überschrift -->
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3">
  <video
    src="subject.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Dies ist funktional äquivalent zum Text-hinter-Motiv-Muster unten, aber du benötigst das originale presenter.mp4 nicht im Projekt – die Platte ersetzt es. Nützlich, wenn du nur die beiden transparenten Ebenen ausliefern und dem Benutzer erlauben möchtest, beliebige Inhalte dazwischen zu platzieren.

Ausgabeformat

FormatWann
.webm (VP9 + Alpha)Standard. Kompositionen spielen dies direkt über <video>.
.mov (ProRes 4444)Bearbeitung in DaVinci/Premiere/FCP. Große Dateien.
.pngEinzelbild-Ausschnitt (stehendes Motiv, über einem Hintergrund gelegt).

Chrome dekodiert VP9 Alpha nativ, daher fügt sich das .webm wie jedes andere stummgeschaltete Autoplay-Video in eine Komposition ein – siehe das Skill hyperframes für die <video>-Track-Konventionen.

Qualitätsvoreinstellungen

--quality fast|balanced|best steuert nur den CRF des VP9-Codierers – die Segmentierungsqualität ist fest.

VoreinstellungCRFWann
fast30Iterieren, kleinere Datei, lockerere Farbübereinstimmung
balanced18Standard. Für die meisten Anwendungen visuell identisch
best12Master-/Endauslieferung. Größte Datei, engste Übereinstimmung

Kompositionsmuster – wähle das richtige

Das ausgeschnittene WebM ist eine neu codierte Kopie des RGB des Quell-MP4. Diese Wahl hat Konsequenzen, je nachdem, was du dahinter platzierst:

MusterWas hinter dem Ausschnitt istErgebnis
Ausschnitt über einer anderen Szene (häufigster Fall)Statisches Bild, Farbverlauf oder unabhängiges VideoSieht großartig aus. Das RGB des Ausschnitts ist die einzige Quelle des Motivs – keine Verdopplung, kein Randhalo. Dafür ist remove-background gemacht.
Ausschnitt über seinem eigenen Quell-MP4 (Text-hinter-Motiv)Gleiches MP4, aus dem der Ausschnitt generiert wurdeZwei RGB-Quellen für dieselbe Person. Bei Standard---quality balanced (crf 18) ist die Verdopplung kaum sichtbar; bei --quality fast (crf 30) siehst du eine leichte Farbverschiebung/Randhalo.
…

[abgeschnitten für die Übersetzung]

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

alecs5am/ralphy

>- Composition and render craft — assembles scenario.json plus asset-manifest.json into a HyperFrames HTML composition and renders the mp4. Owns timing, transitions, captions, audio mix and ducking, the green zone, the render pipeline, and VO sync. Generates no media of its own. USE WHEN the user asks to "compose the video", "render", "preview", "fix the captions", "mix the audio", "tighten the transitions", "final cut", or edits HyperFrames composition code. TRIGGER (EN): "render it", "compose the video", "captions", "audio mix", "transitions", "final cut", "preview the composition".

alecs5am/ralphy

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

alecs5am/ralphy

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

alecs5am/ralphy

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For dev-loop CLI commands (init, lint, inspect, preview, render) see the hyperframes-cli skill; for asset preprocessing commands (tts, transcribe, remove-background) see the hyperframes-media skill.

alecs5am/ralphy

>- How to make a vivid, character-driven brand POSTER — a single still image, not a video. A generalized overlay on the art-director step: supplies the poster-as-landing architecture (top banner → massive beveled wordmark → chest-up hero photo → scattered vinyl-sticker collage → copy block → thin footer strip), the parameterized slot set (brand, exclamation word, hero, product, palette, original blob glyph, aesthetic register), the model stack (gpt-5.4-image-2 for crisp typography, gemini fallback), and the niche's failure modes. Works for ANY brand and ANY aesthetic the user names — Y2K streetwear, vaporwave, grunge zine, clean DTC — the skill supplies the layout know-how, the user supplies the subject + vibe. USE WHEN the user asks for a poster / flyer / drop poster / "poster-as-landing-page" / brand key-art / album-cover-style still / hype graphic, with no specific existing poster to reproduce. This is a content-niche craft-overlay SKILL (generalized), loaded on top of a poster-format template match — n...

alecs5am/ralphy

>- Compatibility shim for the legacy `/ralphy-remotion` skill name. Use when a saved Claude Code command, old project note, or user request still mentions Ralphy Remotion; redirect the task to HyperFrames and the current Ralphy render playbooks instead of authoring new Remotion code.

alecs5am/ralphy

>- Compatibility shim for the legacy `/remotion-to-hyperframes` skill name. Use when an old project, note, or user request asks to migrate Ralphy Remotion work; translate the intent into the current HyperFrames composition model and follow the editor and HyperFrames playbooks.

alecs5am/ralphy

The full extract → classify → blueprint → de-dup → publish pipeline for a finished `.ralphy/workspaces/<ws>/projects/<id>/`. Reads its `units/*/unit.json` (#069) as the Unit source of truth, then factors the project into ALL FIVE entities — Unit + the four typed blocks Template (structure), Style (look), Recipe (effect/treatment), Asset (reusable media). Applies the recipe-vs-tag split (#082/#083): a candidate is a Recipe only if it carries an extractable artifact (ffmpeg filtergraph / HyperFram

alecs5am/ralphy

>- How to make a realistic AI UGC ad for a product — generalized niche know-how that looks real and doesn't feel AI. A domain overlay on the standard pipeline: supplies the shooting-script shape (timestamp | VO | shot | mannerism), the creator-persona build, the problem-mirror hook, the trust-through-mannerisms rule, and the 9:16 ~15s UGC format defaults. Works for ANY product the user names — their skincare line, a no-name app, a gadget. The skill supplies the know-how; the user supplies the product. USE WHEN the user asks for a UGC ad / creator-style product ad / "make an ad that looks like a real person reviewing my product" / testimonial-style or problem-solution short for TikTok / Reels / Shorts, with no specific existing video to reproduce. This is a niche SKILL (generalized), not a remix TEMPLATE. For "remix this exact ad but swap the product/person", use the remix path (docs/skills-vs-templates.md). For swapping the creator in an existing clip, see /ugc-model-swap.

alecs5am/ralphy

When the user needs marketing ideas, inspiration, or strategies for their SaaS or software product. Also use when the user asks for 'marketing ideas,' 'growth ideas,' 'how to market,' 'marketing strategies,' 'marketing tactics,' 'ways to promote,' 'ideas to grow,' 'what else can I try,' 'I don't know how to market this,' 'brainstorm marketing,' or 'what marketing should I do.' Use this as a starting point whenever someone is stuck or looking for inspiration on how to grow. For specific channel execution, see the relevant skill (paid-ads, social-content, email-sequence, etc.).

alecs5am/ralphy

Full end-to-end workflow for generating a realistic AI UGC ad for a product. 15-second format. Looks real. Doesn't feel AI.

Verwandte Skills