Plugin-Installation: Führen Sie vor den Einrichtungs- oder Aktualisierungsbefehlen die Plugin-Ausführungsregeln aus, wenn sich diese Fähigkeit innerhalb eines HyperFrames-Plugins befindet. Bei eigenständigen Installationen gelten die folgenden Update-Anweisungen.
Zunächst diese Fähigkeit aktuell halten – mit dem Benutzer bestätigen, bevor Sie ausführen:
npx hyperframes skills update talking-head-recut. Eine schnelle No-Op, wenn alles aktuell ist; andernfalls wird diese Fähigkeit sowie die Kernbereichsfähigkeiten, von denen sie abhängt, aktualisiert, bevor Sie sich darauf verlassen.
Talking Head Recut
Talking Head Recut nimmt ein lokales Video, das vollständig abgespielt wird, und legt eine Sequenz von zeitlich abgestimmten, gestalteten Grafikkarten darüber – Titel, Lower Thirds, Datenaufrufe, Zitate, Seitenpaneele, Bild-in-Bild – synchron zum Gesagten. Der Agent gestaltet die Karten (Timing + Inhalt) und schreibt das HTML jeder Karte direkt im Gespräch, erstellt dann ein einzelnes HTML-Kompositionsdokument und rendert es über hyperframes in ein MP4. Es gibt keine feste Archetypenliste und keine vorgeschriebene Kartenstruktur – die Überlagerungen ergeben sich aus dem, was das Transkript tatsächlich sagt.
Die Haupttür ist
/hyperframes. Diese Fähigkeit verpackt einen vorhandenen Talking-Head-Clip mit gestalteten Grafikkarten (Titel, Lower Thirds, Datenaufrufe, Zitate, Seitenpaneele, PiP) – nicht einfache Untertitel (den gesprochenen Text als Wörter). Der Clip wird unverändert abgespielt. Jede andere Absicht – einfache Untertitel, eine eigenständige Grafik, ein Video von Grund auf – oder jede Unsicherheit → lesen Sie zuerst/hyperframes: Die Absichtsschicht trifft alle Routenentscheidungen.
Grafikverpackungs-Pendant zu
embedded-captions. Untertitel fügen die gesprochenen Wörter als lesbare Untertitel hinzu; dies fügt gestaltete Grafiken über das abgespielte Video. Einfache Untertitel →embedded-captions. Ein Video von Grund auf erstellen → die Erstellungs-Workflows (product-launch-video/faceless-explainer/ …).
Über /hyperframes geroutet, bestätigt die Absichtsschicht nur die Eingabe (welcher Clip) und kündigt die Fragen zur Rendering-Strategie als verzögerte Anfragen an – Seitenverhältnis, Layout, Stilgruppe und Kartenanzahl bleiben bis Schritt 7 zurückgestellt, wo das untersuchte Filmmaterial und das Transkript die Empfehlungen begründen; die Laufform-Fragen der Schicht gelten nicht. Ein BRIEF.md enthält, falls vorhanden, die bestätigte Eingabe und etwaige Benutzernotizen – lesen Sie es zuerst.
Überprüfbare Zwischendateien im Arbeitsverzeichnis:
metadata.json– Dauer / Breite / Höhe / fpsaudio.mp3– extrahierte Audiodateitranscript.json– ein flaches Wortarray[{ text, start, end }, …](Whisper; keinesegments, keinwords-Wrapper)storyboard.json– leichte Kartenübersicht (der Plan des Agenten)public/cards/card-XX.html– ein HTML-Fragment pro Kartepublic/index.html– endgültige zusammengestellte Kompositionoutput.mp4– gerendertes Video
CLI-Resolution
# hyperframes – Transkription (lokales Whisper) + Rendern des zusammengestellten HTML in MP4
npx hyperframes --help
Diese Fähigkeit läuft vollständig auf der hyperframes-CLI plus systemeigenem ffmpeg / ffprobe. Die Transkription erfolgt lokal über Whisper über hyperframes transcribe – kein Drittanbieterdienst, kein API-Schlüssel, keine ratenbegrenzten Proxys.
Arbeitsablauf
1. Umgebung prüfen
npx hyperframes doctor # ffmpeg, Headless Browser, Render-Abhängigkeiten
# gebündelte Assets bestätigen:
ls "<SKILL_DIR>/assets/fonts" "<SKILL_DIR>/assets/vendor/gsap.min.js"
Erforderlich:
ffmpeg/ffprobe(systemweit)<SKILL_DIR>/assets/fonts/*.woff2,<SKILL_DIR>/assets/vendor/gsap.min.js(in dieser Fähigkeit gebündelt, in Schritt 9 in das Arbeitsverzeichnis übertragen)
Für die Transkription ist kein Schlüssel erforderlich – hyperframes transcribe führt Whisper lokal aus (Schritt 4).
Auf macOS für hyperframes render stark empfohlen:
export PRODUCER_BROWSER_GPU_MODE=hardware
2. Arbeitsverzeichnis erstellen
Alle Artefakte befinden sich unter videos/<project-name>/ – die gleiche Konvention wie bei den anderen Video-Workflows (product-launch-video / faceless-explainer / pr-to-video). Behalten Sie das aktive Verzeichnis im Workspace-Root; alles Weitere wird in dieses eine Unterverzeichnis geschrieben.
VIDEO_PATH="/absolute/path/input.mp4"
WORK_DIR="videos/$(basename "$VIDEO_PATH" | sed 's/\.[^.]*$//')"
mkdir -p "$WORK_DIR"
3. Audio und Metadaten extrahieren
# Metadaten – Dauer / Breite / Höhe / fps
ffprobe -v error -select_streams v:0 \
-show_entries stream=width,height,r_frame_rate \
-show_entries format=duration -of json "$VIDEO_PATH" > "$WORK_DIR/metadata.json"
# Audio
ffmpeg -y -i "$VIDEO_PATH" -vn -acodec libmp3lame -q:a 2 "$WORK_DIR/audio.mp3"
Ausgaben: metadata.json (Lesen Sie width/height/duration; fps = der ausgewertete Bruchteil von r_frame_rate, z. B. 30000/1001 → 29.97) + audio.mp3.
4. Transkribieren
npx hyperframes transcribe "$WORK_DIR/audio.mp3" -d "$WORK_DIR" --json --model small.en
Lokales Whisper – kein API-Schlüssel, kein Proxy, keine Ratenbegrenzung. Schreibt ein wortgenaues transcript.json in das Arbeitsverzeichnis (Wort text + start/end-Zeitstempel). Lesen Sie es für die Wort-/Satzzeitsteuerung, die das Karten-Timing in Schritt 6 bestimmt; gruppieren Sie Wörter selbst an Zeichensetzung/Pausen in Sätzen, wenn Sie segmentgenaue Blöcke benötigen.
Auf Mediendauer klemmen. Whisper kann das end des letzten Wortes geringfügig über die tatsächliche Clip-Länge hinaus zurückgeben – klemmen Sie jedes endSec der Karte und die composition.durationSeconds auf die Dauer aus metadata.json, da sonst der Render ein schwarzes Ende jenseits des Videos anzeigt.
5. Transkript korrigieren
transcript.json ist ein flaches Array von Wortobjekten – [{ "text": "...", "start": s, "end": s }, …] (kein segments-Array, kein words-Wrapper; der pro-Wort-Schlüssel ist text). Lesen Sie es und korrigieren Sie offensichtliche ASR-Fehler:
- Homophone, Produktnamen, Fachbegriffe, Zeichensetzung
- Bearbeiten Sie den
texteines Wortes direkt; bewahren Sie diestart/end-Zeitstempel - Es gibt kein vorab gruppiertes
segments-Array – gruppieren Sie Wörter selbst in Sätzen (trennen Sie am Satzende / an Pausen), wenn Sie segmentgenaue Blöcke für das Karten-Timing benötigen
6. Leichtes Storyboard entwerfen (im Chat)
Keine CLI erforderlich. Lesen Sie transcript.json + metadata.json und gestalten Sie Karten direkt. storyboard.json ist ein agenteninternes Planungsartefakt – kein CLI-Befehl verarbeitet es; es existiert, damit Sie vor dem Schreiben des HTML jeder Karte klar über Timing und Inhalt nachdenken können. Behalten Sie die Form im Einklang mit dem folgenden Beispiel bei, damit dieselbe Übersicht die Komposition steuern kann, die Sie in Schritt 9 erstellen:
{
"schemaVersion": 3,
"composition": {
"fps": 30,
"width": 1080,
"height": 1920,
"durationSeconds": 121.2,
"layout": "portrait",
"themeId": "noir",
"seed": 42
},
"videoTrack": {
"sourcePath": "input-video.mp4",
"startSec": 0,
"endSec": 121.2,
"bounds": { "x": 0, "y": 0, "width": 1080, "height": 1920 }
},
"subtitles": { "enabled": false },
"cards": [
{
"id": "card-01",
"intent": "Hook mit der ängstlichen Mitternachtsfrage des Sprechers",
"startSec": 0.5,
"endSec": 13.0,
"accentIndex": 0,
"zone": "fullscreen",
"contentHints": {
"kicker": "EINE EHRLICHE FRAGE",
"title": „Die seelensuchende Frage um 23 Uhr“,
"detail": "60-Sekunden-Sprachnachricht des Kunden: „Wenn der RMB aufwertet, bedeutet das, dass meine USD-Police ein schrecklicher Verlust ist?““
}
}
]
}
Erforderliche Kartenfelder:
| Feld | Typ | Zweck |
|---|---|---|
id | Zeichenkette | Stabile ID, die im Karten-HTML und in GSAP-Selektoren verwendet wird |
intent | Zeichenkette | Beschreibung in natürlicher Sprache; wird der Kartensynthese zugeführt |
startSec / endSec | Zahl | Zeitangaben in Sekunden (endSec > startSec) |
accentIndex | 0 | 1 | 2 | 3 | 4 | Welche der 5 Themen-Akzentfarben diese Karte verwendet |
zone | Aufzählung (siehe unten) | Wo auf der Leinwand die Karte platziert wird |
contentHints | Objekt | Freiformbehälter; Agent platziert hier Kicker/Titel/Detail/Daten/Zitat |
archetype (optional) | Zeichenkette | Freiform-Label, das Sie anhängen können, um sich an ein Kartenmuster zu erinnern; fehlend = Freiform, was der Standard ist |
transition (optional) | Aufzählung: cut | fade | slide | wipe | Deklarativer Karten-zu-Karten-Übergang |
Fünf zone-Werte:
| zone | aufgelöste Grenzen | Verwendung |
|---|---|---|
fullscreen | deckt die gesamte Leinwand ab | Heldenmomente, große Zahlen, Mantras |
whiteboard-area | mit 40 px Rand eingerückt (oder 45 % der Hochkant-Höhe) | Dichte Daten / kommentierte Inhalte |
lower-third | unteres 30%-Band | Anmerkung über sichtbarem Video |
side-panel | rechts 42 % (Querformat) oder unten 40 % (Hochkant) | Daten auf einer Seite, Video auf der anderen |
video-overlay | volle Leinwand, erwartet meist transparente Karte | Anmerkungsüberlagerungen auf randlosem Video |
Wenn Sie die Komposition in Schritt 9 zusammenstellen, lösen Sie die zone jeder Karte gemäß der obigen Tabelle in Pixelgrenzen auf dem Karten-Host-Wrapper auf. Die Videogrenzen werden einmalig auf Kompositionsebene festgelegt (videoTrack.bounds); damit das Video zwischen Karten „zu bewegen“ scheint, erstellen Sie GSAP-Tweens gegen #video-wrap im <script> der Komposition (siehe Schritt 9).
Keine vorgeschriebenen Kartenrollen, kein vorgeschriebener Erzählbogen. Karten entstehen aus dem, was das Video tatsächlich sagt – könnten alles Zitate oder alles Daten sein, könnten mit einer Zahl oder einer Geschichte beginnen. Lassen Sie das Transkript den Rhythmus bestimmen.
Wie viele Karten? – automatisch aus Dauer + Dichte ableiten. Keine feste Obergrenze. Wählen Sie ein Basis-Tempo aus der Videodauer, passen Sie es dann anhand der Informationsdichte an. Nur Untergrenze ist fest: mindestens 5 Karten, sodass auch kurze Videos Rhythmus haben.
Schritt 1 – Basis-Tempo nach Dauer (das natürliche s/Karte bei mittlerer Dichte):
| Videodauer | Basis-Tempo (s pro Karte) | Begründung |
|---|---|---|
| < 60 s (kurzer Clip) | 6–8 s | Zuschauer erwarten schnelle Schnitte bei kurzen Inhalten |
| 60 s – 3 min | 8–12 s | Normales soziales Tempo |
| 3 – 10 min | 12–20 s | Atempause geben; jede Karte trägt mehr |
| 10 – 30 min | 20–35 s | Langform-Vortrags-/Interview-Rhythmus |
| > 30 min | 30–60 s | Episodisch, fast kapitelartig |
Schritt 2 – Dichte-Multiplikator (multipliziert das Basis-Tempo):
| Signal im Transkript | Multiplikator | Auswirkung |
|---|---|---|
| Hohe Dichte – viele Zahlen, unterschiedliche Behauptungen, abgehacktes Tempo, aufzählungsartige Aufzählung, alle 1–2 Sätze eine neue Idee | × 0,7 | Schnellere Schnitte, mehr Karten |
| Mittlere Dichte – gemischter Fluss mit sowohl Daten als auch Erzählung | × 1,0 | Basis-Tempo |
| Niedrige Dichte – eine ausgedehnte Geschichte, wiederholte Umformulierung, langsames reflektierendes Tempo, einzelnes sich entfaltendes Argument | × 1,5 | Langsamere Schnitte, weniger Karten |
Schritt 3 – Berechnung:
secPerCard = BasisTempo × DichteMultiplikator
kartenAnzahl = max(5, round(videodauerSek / secPerCard))
Beispiele (beachten Sie – keine obere Klemme; lange Videos erzeugen natürlich mehr Karten):
- 30-s Clip, einzelne Pointe (niedrige Dichte) → 7 × 1,5 = 10,5 s/Karte → round(30/10,5)=3 → auf 5 Karten begrenzt
- 60-s reflektierender Monolog (niedrige Dichte) → 10 × 1,5 = 15 s/Karte → 4 → auf 5 Karten begrenzt
- 121-s Talking-Head mit reichhaltigen Daten (hohe Dichte) → 10 × 0,7 = 7 s/Karte → 17 Karten
- 5-min Interview, gemischte Dichte → 16 × 1,0 = 16 s/Karte → 19 Karten
- 10-min Deep-Dive, hohe Dichte → 16 × 0,7 = 11 s/Karte → 55 Karten
- 30-min Vortrag, mittlere Dichte → 28 × 1,0 = 28 s/Karte → 64 Karten
- 1-stündiger Podcast, niedrige Dichte → 45 × 1,5 = 67,5 s/Karte → 53 Karten
Wenn eine Karte länger als ~15 s hält, planen Sie eine reichhaltigere Karte (Datenblock, mehrstufige Enthüllung, mehrere Unterpunkte, die sich mit gestaffelten Animationen entfalten) – ein statischer Einzeiler wird nach 8 s langweilig. Erwägen Sie bei langen Stücken, bei denen viele Karten 30 s überschreiten, die Aufteilung der Timeline in Unterkompositionen (eine .html pro Kapitel, montiert mit data-composition-src), damit die GSAP-Timeline pro Datei handhabbar bleibt – siehe die HyperFrames-Lint-Warnung timeline_track_too_dense.
contentHints ist ein Freiformobjekt; seine Schlüssel und Verschachtelungen können jede Form annehmen, die die Daten einfängt. Der Agent entscheidet über die Form pro Karte.
Optionaler Abspann. Diese Fähigkeit liefert keinen festen Marken-Abspann. Wenn der Benutzer eine Schlusskarte wünscht, entwerfen Sie selbst eine neutrale (Wortmarke + einzeiliger Slogan, ~1,5-2 s, Einblenden -> kurzes Halten -> Ausblenden), hängen Sie sie an cards[] an und verlängern Sie composition.durationSeconds bis zu ihrem Ende.