Studio Demo-Video
Erstelle ein ~90–180s vertontes Demo-Video von jedem Produkt, das der Benenner nennt – einer macOS-App, einer Website, einem CLI-Tool, allem, das du als Bildschirmaufnahme festhalten kannst. Die einzige feste Komponente ist das Vertonungs-Backend: die video-studio-mlx Studio API (POST /studio/tts), die eine Stimme klont und jede Zeile validiert. Das Thema des Demos ist beliebig und ändert sich jedes Mal. Behalte diese Trennung im Hinterkopf: Nimm nicht an, dass das Demo-Ziel video-studio-mlx selbst ist (das ist nur das Beispiel in references/).
Kernprinzip: Vertonung zuerst, exakte Dauer-Verankerung
Generiere die Vertonung vor jeglichem Filmmaterial. /studio/tts gibt die genaue Dauer jedes Segments und Wort-für-Wort-Zeitstempel zurück – diese steuern die gesamte Zeitachse und alle Fokus-Effekte. Dann nimm das Filmmaterial großzügig auf und passe jeden Clip an sein Segment an. Erst zu schneiden und dann zu vertonen führt zu fragilen Nachjustierungen.
Du kannst die Ausgabe normalerweise nicht abspielen oder hören. Behandle das als harte Einschränkung: Überprüfe das Video durch Extrahieren von Einzelbildern und überprüfe Audio-Inhalt/Synchronisation, indem du ASR auf Ausschnitten der fertigen Datei ausführst. Baue alles so, dass es auf diese Weise überprüft werden kann.
Pipeline
- Schreibe ein szenenbasiertes Storyboard – Vertonungstext, Aktion auf dem Bildschirm, Bildunterschrift und (pro Szene) welche Elemente die Vertonung nennt, damit der Fokus auf sie zeigen kann. Ziel ~2.1 Wörter/Sek. (≈170 Wörter ≈ 80 s). Kopiere
references/storyboard.example.jsonnach<work>/storyboard.json. Formuliere die Vertonung so, dass jedes genannte Element in dieser Szene tatsächlich sichtbar und in der richtigen Reihenfolge ist. Schreibe für das Ohr: Schreibe Wörter so, wie sie gesprochen werden, nicht wie geschrieben – schreibe Abkürzungen und Initialismen aus („regulärer Ausdruck“ nicht „Regex“, „Version drei“ nicht „v3“), vermeide bloße Symbole (~,/,&) und schreibe Zahlen/Einheiten als Wörter, wenn du unsicher bist. Die TTS liest den wörtlichen Text und die ASR validiert dagegen, daher führen schriftliche Abkürzungen sowohl zu falscher Aussprache als auch verzerren die WER. - Generiere die Vertonung –
scripts/generate_narration.py <storyboard.json>. POSTet jede Szene an/studio/tts, klont jede Szene von einer festgelegten Stimme (entweder derref_audiodes Benutzers oder einemvoice-Befehl, den es einmal entwirft – siehe unten), validiert per ASR und schreibtnarration/manifest.jsonmitduration_s,werundwordspro Segment. (Siehereferences/studio-api.md.) - Nimm das Ziel auf – einen Clip pro Szene der App/Website (siehe Aufnahme), plus eine benannte Element-Rechteck-Karte für die Elemente, auf die der Fokus zeigen wird.
- Komposition –
scripts/compose.py <storyboard.json>: Rahmt das Filmmaterial auf einer Verlaufsbühne ein, brennt Pillow-Bildunterschriften ein, slow-zoomt Hero-Shots, wendet vertonungsverankerten Fokus an (Zoom + Ring), überblendet Szenen, legt die Vertonung auf die berechnete Zeitachse und muxed. - Verifikation – Filmstreifen jeder Szene; extrahiere ein Einzelbild zu dem Zeitpunkt, zu dem jedes Fokus-Wort gesprochen wird, und bestätige, dass der Highlight auf dem genannten Element liegt; führe ASR auf zwei oder drei Ausschnitten durch, um zu bestätigen, dass die richtige Zeile in der richtigen Szene landet.
Voraussetzungen
- Die Studio-API erreichbar (Standard
http://127.0.0.1:8100). Einrichtung, Klonen und der Ausrichtungs-/Wort-Zeitstempel-Vertrag sind inreferences/studio-api.md. - Eine 3–15 s Referenz-WAV (24 kHz mono) plus deren exaktes Transkript zum Klonen – bestätige das Transkript zuerst mit
/asr(die Klonqualität hängt von der Audio↔Text-Ausrichtung ab, nicht von einer „empfohlenen“ Länge). - Eine Stimme für das gesamte Video. Jede Szene ist ein separater
/studio/tts-Aufruf, daher bleibt die Stimme nur konsistent, wenn jeder Aufruf eine gemeinsame Referenz klont. Wenn der Benutzer eine Referenz bereitstellt, klone davon; ansonsten setze einenvoice-Entwurfsbefehl im Storyboard undgenerate_narration.pyentwirft einen Clip im Voraus und klont jede Szene davon (zwischengespeichert, sodass erneute Ausführungen die gleiche Stimme behalten). Mit keinem von beidem wird jede Szene unabhängig synthetisiert und die Klangfarbe driftet zwischen den Szenen – vermeide das für echte Videos. - ffmpeg mit
avfoundation(macOS-Aufnahme),zoompan,xfade,gblur.drawtextfehlt oft (kein libfreetype) – Bildunterschriften werden mit Pillow gerendert. - Für Website-Ziele: Playwright (oder Puppeteer) für deterministische Aufnahme + Elementboxen.
Aufnahme des Ziels
Jede Szene benötigt zwei Dinge vom Zielprodukt:
- einen als Bildschirmaufnahme aufgenommenen Clip (nimm länger als die Vertonung auf – Ergebnisse und Spinner landen Sekunden nach einem Klick), und
- eine benannte Element-Rechteck-Karte: für jedes Element, das die Vertonung nennen wird, dessen Rechteck in Aufnahme-Pixeln (dem Koordinatenraum, den der komponierte Clip verwendet).
Das UI-Toolkit des Ziels bestimmt wie du diese erhältst. Zwei Backends:
Eine macOS-App – AppleScript + ffmpeg avfoundation
- Nimm auf mit
avfoundation "Capture screen N"und beschneide live auf das App-Fenster. Probiere einmal (nimm ~1,5 s auf, extrahiere ein Einzelbild, bestätigecrop=W:H:X:Y). Der Bildschirm ist Retina, daher ist physischer Zuschnitt = DPR × logisch (DPR ist normalerweise 2). - Steuere mit System Events. Finde die zuverlässigen Primitive für dieses Toolkit der App – sie unterscheiden sich pro App. Allgemeine wiederkehrende Vorsichtsmaßnahmen:
- Koordinaten-Klicks registrieren oft nicht auf SwiftUI/AppKit-Listen; verwende stattdessen AX
select/AXPressauf dem Element. - Segmentierte Steuerelemente werden als
AXRadioButtons dargestellt; frage sie nach ihrer Rolle ab. - AX-Abfragen direkt nach einem Ansichtswechsel können fehlschlagen (leere Ergebnisse) – wiederhole, oder vermeide Navigation innerhalb einer Sitzung vollständig.
- Wenn die Navigation unzuverlässig ist, starte die App bereits im benötigten Zustand neu (über Startargumente / Umgebungsvariablen / ein URL-Schema, das die App unterstützt) und löse nur die eine Aktion vor der Kamera aus. Günstig und deterministisch.
- Koordinaten-Klicks registrieren oft nicht auf SwiftUI/AppKit-Listen; verwende stattdessen AX
-capture_cursor 0(AX-Aktionen bewegen den Mauszeiger nicht, daher bleibt der Cursor außerhalb des Bildausschnitts). Für einen sichtbaren Cursor, synthetisiere einen in der Nachbearbeitung (siehe Fokus).- Elementkarte: Frage die AX
position+sizejedes Elements ab und konvertiere in Aufnahme-Pixel:(global − Fensterursprung) × DPR. Wenn das Toolkit Feldrechtecke verbirgt, messe von einem gerasterten Aufnahme-Einzelbild. Vertraue dem Aufnahme-Einzelbild mehr als veralteten AX-Zahlen, wenn sie widersprüchlich sind (Scroll-Zustand unterscheidet sich); überprüfe jedes Fokus-Einzelbild.
Eine Website – Playwright (empfohlen gegenüber Bildschirm-Aufnahme)
- Nimm auf mit
recordVideo; setzerecordVideo.sizegleich demviewportund normalisiere das WebM auf deine fps vor der Komposition. - Koordinatenraum (die #1-Falle): Playwright nimmt in der Viewport-Größe auf, daher wenn
recordVideo.size == viewport, Aufnahme-Px == CSS-Px.deviceScaleFactor: 2schärft nur das Rendering – es skaliert NICHT das aufgenommene Video, und einerecordVideo.sizegrößer als der Viewport fügt nur schwarze Fläche hinzu (die Seite bleibt oben links bei 1×, sie wird NICHT hochskaliert, um zu füllen). Daher liefertboundingBox()direkt Aufnahme-Px – multipliziere NICHT mit DPR. (Wenn du jemals in einer anderen Größe aufnimmst, skaliere die Rechtecke mitrecordedSize / viewport.) Überprüfe immer, indem du ein bekanntes Rechteck auf ein extrahiertes Einzelbild legst, bevor du alle Szenen aufnimmst – eine falsche DPR-Annahme bringt jeden Fokusring an die falsche Stelle. - Erfasse jedes Rechteck bei einer festgelegten Scroll-Position: führe zuerst das gesamte Scrollen durch, lasse es sich beruhigen, dann lies alle
boundingBox()-Werte aus, dann halte still. Ringe leben in Aufnahme-Koordinaten und müssen fest mit dem Element verbunden bleiben, während die Kamera zoomt/panoramiert. Gib die Interaktionsspur von der Seitenuhr aus, wenn du automatischen Fokus wünschst. - Stabilisiere die Seite zuerst: deaktiviere CSS-Animationen /
prefers-reduced-motion, schließe Cookie-Banner, verstecke die Scrollleiste und warte mitwaitForLoadState('networkidle'), damit nichts während der Aufnahme erscheint. Automatische Authentifizierung durch einaddInitScript, daslocalStoragevor der Navigation setzt, wenn die App dies unterstützt. - Bewegung: für lange Seiten, nimm einen vollständigen Screenshot auf und bewege ihn (ein vertikaler Ken-Burns), anstatt ein ruckelndes Live-Scrolling aufzunehmen.
Echtmodell-Filmmaterial – zeige echte Ausgabe, verstecke das Warten. Wenn eine Szene ein langsames Modell live ausführen muss (echte Bildunterschriften/Chat/Inferenz), nimm den echten Ablauf auf, zeitraffe aber die Wartezeiten: Markiere jedes Klick → Ergebnis-Fenster (eine monotone Uhr vom Seitenstart), komprimiere dann NUR diese Fenster mit ffmpeg (trim+setpts+concat; Aktion bleibt 1×) und friere das letzte Einzelbild ein (tpad=stop_mode=clone), sodass jede Szenendauer auf dem Ergebnis abgespielt werden kann. Wärme das Modell zuerst mit einer nutzlosen Anfrage auf – ein kalter Start kann 10–40× so lange dauern wie ein warmer Aufruf (z. B. ein Vision-Modell: ~38 s kalt → ~5 s warm). Wort- und zeitlich abgestimmte Vertonung über den zeitgerafften Clip; halte diese Szenen in normaler Wiedergabe (die Aktion trägt die Bewegung). Vollständiges Rezept + Codeausschnitte: references/playwright-recording.md.
Ein vollständig ausgearbeitetes macOS-Beispiel (exakte Selektoren, Umgebungsvariablen, Zuschnittrechteck, Elementrechtecke und eine schlüsselfertige Aufnahme) befindet sich in references/video-studio-mlx-app.md – dieses Beispiel zeigt zufällig dieselbe App, die die Studio-API hostet, aber behandle seine Einzelheiten als illustrativ; dein Ziel wird seine eigenen haben.
Komposition (scripts/compose.py)
Konfigurationsgesteuert, zielunabhängig. Jede Szene wird zu einem normalisierten 1080p-Clip: Filmmaterial skaliert in eine gerahmte Karte auf einer dunklen Verlaufsbühne (weicher Schatten), eine Pillow-Bildunterschrift (unteres Drittel Pille für Schritte, großer Titel+Untertitel für Held), Clip + Bildunterschrift ausgeblendet, dann eine gemeinsame Endbearbeitung (Farbe + S-Kurve + kühle Schatten + Vignette + Filmkörnung + Anti-Banding), sodass disparate Aufnahmen wie ein inszenierter Film wirken ("grade": false deaktiviert es, oder übergib einen Block zur Anpassung von strength/tint). Helden-Szenen erhalten eine filmische Behandlung: ein sanft (ease-out) driftender Ken-Burns-Push auf dem Standbild, eine matte, abgedunkelte Hintergrundplatte hinter der Karte und ein gestaffeltes Titel-dann-Untertitel-Einblenden. Clips werden mit szenenweisen xfade-Übergängen verkettet (Standard fade; setze transition/xfade_dur pro Szene – fadeblack liest sich gut für einen Helden). Audio: Vertonung wird mit adelay auf die Master-Zeitachse gelegt und mit amix gemischt (normalize=0); eine optionale music-Bettung wird unter der VO seitenkettengeduckt und der endgültige Mix wird mit loudnorm auf −16 LUFS gemastert (auch reine VO wird gemastert).
Fokus-Effekte – vertonungsverankert (Zoom + Ring folgen den Wörtern)
Der Fokus muss auf das zeigen, was die Vertonung nennt, genau dann, wenn sie es sagt – daher wird er als Phrase → Element geschrieben, getaktet von Wort-Zeitstempeln, niemals von Hand gesetzte Sekunden und niemals an ein Element für eine ganze Szene gebunden. Eine Szene deklariert eine view (welche Element-Rechteck-Karte) und eine focus-Liste (Element-/Ansichtsnamen sind, was deine Ziel-App hat):
"view": "main",
"focus": [
{ "say": "search", "element": "search_field" },
{ "say": "results", "element": "result_list" },
{ "say": "generate", "element": "primary_button", "zoom": 1.7 }
]
Wie die Komposition es auflöst:
- Wann –
resolve_phrasefindet die zusammenhängende Wortfolge, die mitsayimwords-Array des Segments übereinstimmt und gibt [Start,Ende] zurück. Wiederholte Wörter sind nicht mehrdeutig: Die Wortliste ist positionell – wähle nachoccurrence(Standard zuerst). Spielt zur Clip-Zeitlead + word_start. - Wo –
elementist ein Rechteck inelements.jsonunter derviewder Szene (oder einmap:key, um auf eine gemeinsame Karte zu verweisen, z. B. eine persistente Seitenleiste). - Kamera – Multi-Keyframe
zoompan(focus_camera), absoluteron-basierter Smoothstep. Zwischen zwei Fokus-Punkten gleitet sie standardmäßig direkt von Ziel zu Ziel; sie kehrt nur zur Vollansicht zurück, wenn das nächste Ziel SOWEIT entfernt ist (außerhalb des vorherigen gezoomten Viewports) UND die Lücke lang ist (focus_gap_full, ~2,2s) – so schwenkt ein benachbartes/bereits sichtbares Element nur ein wenig, anstatt eines ruckartigen Heraus-/Hineinzooms. Schwenks sind konstante Geschwindigkeit (Dauer = Entfernung ÷focus_pan_speedpx/s, mindestensfocus_move_min): Die Kamera hält die vorherige Einrahmung, gleitet dann mit einer festen px/s und kommt zum Zeitpunkt des nächsten Wortes an – nahe und ferne Schwenks fühlen sich gleich an, nicht „langsam dann schnell.“"focus_pan": trueerzwingt direkte Gleitung überall. - Ring – gezeichnet in Aufnahme-Koordinaten vor der Kamera, sodass er auf dem Element fixiert bleibt, während es zoomt/panoramiert; ein- und ausgeblendet um die Phrase herum.
- Zoom und Ring sind entkoppelt und der Zoom begrenzt sich automatisch, um das Element zu fitten (
fit_zoom): Der Zoom wird reduziert, sodass das hervorgehobene Element vollständig im Bild bleibt, und ein breites Ziel fällt auf nur Ring (z=1), damit es nicht beschnitten wird. Kopple sie nicht standardmäßig – beide existieren nur, um das Auge zu lenken; wähle, was zur Größe des Ziels passt.ring:falseergibt einen sanften Zoom ohne Ring.
Unterstützende Daten & Erweiterungen:
- Elementkarte (
elements.json): benannte Rechtecke pro Ansicht in Aufnahme-Pixel. Siehe Aufnahme, um sie zu erhalten; überprüfe, indem du jedes Fokus-Einzelbild prüfst. - Nimm größer auf, als du präsentierst, damit der Zoom scharf bleibt – die Kamera schneidet das native Filmmaterial auf die Bühnengröße zu, daher hat ~1,7× noch echte Pixel. Auf macOS überabtastet die Retina-Aufnahme bereits. Im Web vergrößert
deviceScaleFactorNICHT das aufgenommene Video (siehe Aufnahme) – um Überabtastung zu erhalten, nimm mit einemviewport/recordVideo.sizegrößer als die Bühnengröße auf (z. B. nimm 1920 breit auf, präsentiere in einer ~1456 Karte), nicht durch Erhöhen des DPR. - Der Rekorder kann eine Interaktionsspur ausgeben (
emit_track.py), sodasstrack_to_effectsautomatisch einen Zoom+Ring pro Klick ableitet; direktefocus-Angabe ist der präzise Weg. Die Struktur ist offen fürcursor/spotlight-Overlays unter Verwendung derselben Rechtecke + Wortzeiten.
Designhinweis (worum Phrase→Element, keine API-seitigen Cue-Marker): Wort-Zeitstempel sind bereits eine positionelle Liste, daher übernimmt der Komponist „welches Element / welches Vorkommen“ – die Studio-API bleibt ein sauberes Primitiv (Audio + Wortzeiten), das verwendet werden kann, um jedes Produkt zu demonstrieren. Das Filmmaterial muss tatsächlich das genannte Element (nicht gescrollt/statisch) zu diesem Zeitpunkt zeigen; formuliere die Vertonung entsprechend.
Zeitachsen-Mathematik (Video und Audio konsistent halten)
- Szenen-Dauer
d_i = Vertonung_i + Puffer_i(Puffer≈ 2 Schritt / 3,4 Held). - Szenen-Start auf der Master-Spur ist akkumuliert pro Übergang:
start_0 = 0,start_i = start_(i−1) + d_(i−1) − T_i, wobeiT_idie xfade-Dauer IN Szeneiist (szenenweisexfade_dur, Standardxfade; begrenzt unterhalb beider benachbarter Clips). Mit jedemT_i = Treduziert sich dies aufΣ d_(<i) − i·T. - Platziere Vertonung
ibeistart_i + lead(lead ≈ 0,8, nach dem eingehenden Crossfade) – derselbe neu berechnetestart_i, sodass Audio synchron bleibt. Stelle sicher, dasstin_i + d_i ≤Quell-Clip-Länge.
Verifikation (yo
…
[gekürzt zur Übersetzung]