Eingebettete Untertitel (Embedded Captions)
Ein Katalog, vorab ausgewählt (CATALOG.md – 17 Identitäten; die drei dahinterliegenden Engines sind Backend-Details). Standard (Standard) erstellt eine saubere, wortgetreue Rail (einen unteren Bilddrittel-Untertitel, der den Großteil des Textes trägt) + einen Embed-Höhepunkt, der am Höhepunkt in die Szene hinter der Person komponiert wird. Cinematic (Kino) ist reines Embed – keine Rail, jeder Untertitel wird hinter der Person komponiert (heroische Typografie, Akkumulation, Verdeckung als Effekt). Theme (Thema) ist eine vollständige thematische Verfassung – Körperparadigma × heroisches Bühnenbild × vordere Effekte × Plattenreaktion, zusammengesetzt aus Registern (themes/README.md): ordnance terminal neonsign stardust stomp anchor. Die meisten Erklär- / Voiceover-Videos verwenden Standard; Embed ist der seltene, verdiente Höhepunkt – jedes Wort einzubetten ist der häufige Fehler; Theme ist für VFX-Anfragen gedacht („炸“, „特效“, „cool wie in AE“).
Ablauf (Kurzfassung)
Der handwerkliche Text unten ist lang; die Pipeline selbst ist kurz – und alles, was deterministisch ist, wird berechnet oder kompiliert, niemals von Hand geschrieben:
- Entscheidungsgate (schlechte Clips ablehnen) → eine Identität aus CATALOG.md auswählen (17 Identitäten; Engine/Kompilierer per Nachschlagewerk bestimmt – niemals eine Mode/Kategorie-Frage stellen)
hyperframes init(überspringen, wenn das Projektverzeichnis mit dem Video bereits existiert –matte.cjs/transcribe.cjsübernehmen jedes Video im Verzeichnis als source.mp4) →bash scripts/prepare.sh <project>(matte ∥ transcribe ∥ audio-envelope parallel, dann safe-zones v2 mit Szenenpalette/Optik/Beleuchtung – ein Befehl, nichts vergessen)- ein kleines JSON mit kreativen Entscheidungen erstellen (zuerst
safe-zones.jsonlesen): Cinematic →plan.json→fill-timings.cjs→fit-fonts.cjs→make-composition.cjs; Theme →theme.json→make-theme.cjs(Rail/Panel/Poem/Takeover-Paradigmen;anchorist die ruhige Rail-Voreinstellung) - Visuelle Qualitätskontrolle:
node scripts/preview-frames.cjs <project>→ originalgetue Vorschaubilder in ~2s/Frame (kein Render). § Visuelle Qualitätskontrolle prüfen, bevor man für einen Render bezahlt. render-and-composite.sh→ Gates (Timing / Occlusion+Hero / Überlauf / Übergabe) →final.mp4
Wichtige Regeln, die oft übersehen werden:
- Rail (Standard) + Embed (Beförderung).
drop(Füllmaterial, wird nicht gezeigt) /rail(wortgetreuer unterer Bilddrittel-Untertitel, im Vordergrund, trägt den meisten Text) /embed(ein Höhepunkt-Wort, das hinter der Person eingebettet wird). Der Standard-Modus macht beides und bettet nur den/die Höhepunkte ein. Siehe § Untertitel-Modell. - Das Video wird UNBERÜHRT ausgeliefert (Standard/Cinematic; das PLATE-Budget des Theme-Modus ist die einzig erlaubte Ausnahme – registrierte Reaktionsbewegungen (Ladungsabdunklung, Stoß, Erschütterung, Körnung), die pro Themen-DNA definiert und NACH der Matte-Komposition angewendet werden, sodass Person+Text+Platte sich als ein Bild bewegen) – Untertitel sind das Einzige, was hinzugefügt wird; die Matte lässt die Person lediglich die eingebettete Spur verdecken. Niemals das Filmmaterial abtönen/nachfärben/abtasten.
- Zwei Regelwerke: Rail → references/rail.md (dünn), Embed-Handwerk → references/composition-craft.md (umfangreich, nur Embed). Nach Bedarf überfliegen.
Untertitel-Modell – Rail + Embed
Jede gesprochene Phrase ist eines von drei Dingen:
| Was | Wie es dargestellt wird | |
|---|---|---|
| drop | Füllmaterial – ähm/öhm, Stottern, Selbstkorrekturen | wird nicht gezeigt |
| rail | der Standard – gewöhnlicher gesprochener Inhalt (wörtlich) | sauberer unterer Bilddrittel-Untertitel, im Vordergrund, lesbar. Ein betontes Wort kann eine emphasis-Hervorhebung erhalten (Akzentfarbe / aktives Wort-Hervorhebung) – es bleibt auf der Rail. |
| embed | ein beförderter Höhepunkt – der wichtigste Satzteil | ein großes Wort, das hinter der Person eingebettet wird (Matte-Occlusion), gestalteter Ein- und Ausgang |
Die Rail trägt den Großteil des Textes; Embed ist der seltene, verdiente Höhepunkt. Knappheit bezieht sich auf jede Phrase/jeden Block, nicht auf den gesamten Clip: ≤1 Held pro Block (Gedanke), niemals zwei gleichzeitig sichtbar, mindestens ein Schlag Luft zwischen Heldenfenstern (der Compiler warnt unter 0,6 s). Ein kurzer Clip → normalerweise 1–2; ein langes Erklärvideo → ~einer pro Abschnitt. Bei mehreren Helden ist der größte erstellte der APEX (nur er erhält das volle Lockup-Embed + Breitenanpassung); kleinere sind MINOR-Helden, die in ihrer Spalte als überdimensionierte Betonungszeilen fahren (Vordergrund, gedämpfte Bewegung) – nicht jeder Schlag braucht die Matte-Präsentation, und genau das macht den Apex zu einem Ereignis. Jedes Wort einzubetten ist immer noch der häufige Fehler.
Rail-Oberflächenidentitäten bauen genau das (Rail = rail.html, Embed = der Höhepunkt in index.html). Column-Flow-Identitäten entfernen die Rail und gestalten alles im Embed-Stil – empfehle sie nur für Stimmungs-/nicht-wortgetreue Anfragen, niemals für Erklär-/Voiceover-Videos, in denen die Worte lesbar sein müssen (CATALOG.md codiert dies pro Identität).
Schritt 0 – eine Identität aus dem KATALOG auswählen
Ein Frontend, drei Engines dahinter. Der Benutzer wählt eine IDENTITÄT aus CATALOG.md (17 Einträge: 12 klassische + 5 thematische); die Engine, der Compiler und die Autorendatei werden durch Nachschlagen in der Katalogzeile abgeleitet. Stelle niemals „Standard vs. Cinematic vs. Theme“ als Frage – das sind Backend-Namen (ein Produkt hat eine Benutzererfahrung, selbst mit mehreren Engines). Der Katalog codiert alles, was das Routing benötigt: Leseoberfläche, Stimme, Empfehlungsgrund, Szenenanforderungen, Angrenzungshinweise für die wirklich nahen Paare (loud↔ordnance, neon↔neonsign, cream↔stardust).
Vorgehensweise: Clip untersuchen → 2–3 Identitäten aus dem Katalog in die engere Wahl nehmen → eine Identität mit einer einzeiligen Begründung EMPFEHLEN → der Benutzer wählt aus → die Datei dieser Identität erstellen. Identitäten sind engine-gebunden (keine Querkombinationen; das Öffnen einer ist ein Validierungsereignis – siehe dna/README.md).
Präsentiere immer deine Empfehlung und lass den Benutzer wählen, bevor du die Datei erstellst. Nicht stillschweigend auf die Voreinstellung zurückfallen.
(Die vollständige Identitätstabelle befindet sich in CATALOG.md – die einzige Quelle der Wahrheit für das Routing. Die Engine-Dokumente unten beschreiben den Autorenvertrag jeder Backend-Engine.)
Empfehlungsheuristik: Verwende die „Kurzlisten-Heuristiken“ in CATALOG.md – sie sind identitätsbezogen (z. B. „炸“ wählt ordnance/stomp/terminal/loud in die engere Auswahl und wählt basierend darauf, WAS explodieren soll), niemals kategoriebezogen. Unsicher → anchor.
- Cinematic →
plan.jsonfür eine feste Vorlage schreiben, kompiliert vonmake-composition.cjs. - Theme → themes/README.md lesen,
theme.jsonerstellen,scripts/render-theme.shausführen (kompiliert + rendert + Plattenreaktion → final_fx.mp4).
Entscheidungsgate – ZUERST AUSFÜHREN
Das Video untersuchen und die Szene vor jedem Modus klassifizieren.
ffprobe <video.mp4> # Spezifikationen
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png # bei 20/50/80%
Die Proben lesen. Ablehnen, wenn:
- Mehrere Sprecher / harte Schnitte (jede Einstellung einzeln rendern oder ablehnen)
- Kein menschliches Subjekt (diese Fähigkeit ist für Talking-Head-Videos)
- Unter 3 Sekunden, keine Sprache, oder das Gesicht ist nie klar sichtbar –
transcribe.cjswarnt, wenn Audio nahezu still ist (Whisper halluziniert Wörter wie „Thank you.“ über Stille); dies beachten und ablehnen, anstatt erfundene Wörter zu untertiteln - Quelle hat bereits eingebrannte Untertitel / schwere Textgrafiken – das Hinzufügen eines zweiten Untertitelsystems verursacht Konflikte, und das Filmmaterial wird unberührt ausgeliefert (kein Überdecken/Nachmalen). Eingebrannter Text erscheint oft erst mittendrin im Clip: ein 1fps-Kontaktabzug (
ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png) als Stichprobe nehmen, sich nicht auf 3 einzelnen Frame-Proben verlassen. - Transkription ist Schrott – nicht-muttersprachliche/stark akzentbelastete Sprache kann in selbstbewussten Unsinn transkribiert werden.
transcript.jsonvor dem Erstellen auf Lesbarkeit prüfen; wenn es sich nicht wie eine Sprache anhört, einmalWHISPER_MODEL=mediumversuchen, sonst ablehnen (ein wortgetreue Balken mit erfundenen Wörtern ist schlimmer als gar keine Untertitel). - Hektische Handkamera mit schneller Bewegung (Matte flackert)
Preflight-Prüfungen (kosten nichts, verhindern die schlimmsten Fehler)
- Einstellungs-Schnitt-Prüfung. Rahmenproben bei 20%, 50%, 80% nehmen. Wenn ein anderes Subjekt/Szene erscheint, den Clip vor dem Schnitt zuschneiden.
- Letterbox / Pillarbox-Prüfung. Schwarze Balken im ersten Frame? Rechteckigen, sicheren Inhaltsbereich berechnen und die Untertitelplatzierung darauf beschränken.
- Luminanz-Prüfung. Die durchschnittliche Luminanz des Untertitelbereichs messen –
unter 60→ heller Text wird gelesen wie er ist,60-180→ den Glyphen-Schleier hinzufügen,180+→ deckender Text + Schleier (niemals nackten, hellen Text). Kinematografische Vorlagen sind cream+screenund GESPERRT – diese Prüfung verwenden, um eine passende Identität auszuwählen (helle Szenen →ink, oder dieanchor-Themen-Rail mit deckendem Text), niemals um eine einzufärben. - Identitätsempfehlung nach Ton (du empfiehlst; der Benutzer wählt – siehe Schritt 0 + CATALOG.md). Erklärvideo / Interview / Worte müssen lesbar sein → Rail/Panel-Oberflächenidentitäten; poetisch / sozial / „kinoreif“ → Column-Flow-Identitäten nach Register; „炸 / 特效 / VFX“ / benannte Welten → thematische Identitäten. Unsicher →
anchor(Worte lesbar, Szene sicher) – aber eine Kurzliste präsentieren und den Benutzer wählen lassen.
Pipeline – 5 Schritte
1. hyperframes init <project> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <project> # matte ∥ transcribe (parallel) → safe-zones. Ein Befehl.
# → frames_fg/ transcript.json safe-zones.json
3. [AGENT-SCHRITT – der einzige kreative Schritt] ein kleines JSON erstellen; siehe unten nach Modus
Cinematic: plan.json erstellen → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
Theme: theme.json erstellen → bash scripts/render-theme.sh <project> (kompiliert + rendert + Platten-FX)
4. node scripts/preview-frames.cjs <project> # ~2s/Frame Composite-Vorschauen → § Visuelle Qualitätskontrolle (VOR dem Render)
5. bash scripts/render-and-composite.sh <project> # Gates → final.mp4 + history/ snapshot
(Theme-Modus: Schritte 3b/5 ÜBERSPRINGEN – render-theme.sh führt bereits compile + render-and-composite
+ _postfx.sh aus; das Ergebnis ist final_fx.mp4, final.mp4 ist vor der Plattenreaktion)
Das init in Schritt 1 prüft die installierten Fähigkeiten gegen die neuesten auf GitHub und aktualisiert den globalen Satz, wenn welche veraltet sind.
Schritt 3 unterscheidet sich je nach Modus:
Schritt 3 – Cinematic-Modus (reines Embed)
- Zuerst
safe-zones.jsonlesen. Erzählebenen kommen inzones.hugLeft/hugRight– saubere Streifen, die an die SILHOUETTE angrenzen (Text fern vom Körper wirkt schwebend, nicht eingebettet; ferne Ecken sind die Notlösung, nicht die Standardeinstellung). Der Held verwendet standardmäßigheroAnchor/heroBands.best(zentriert AUF dem Subjekt, ~30–55% verdeckt).recommendation:"fg"verschiebt die ERZÄHLUNG in den Vordergrund für Lesbarkeit; der Held bleibt eingebettet, wann immerheroBands.feasible– Held im Vordergrund ist die letzte Option. - Die DNA ist die Identität, die du in Schritt 0 ausgewählt hast (CATALOG.md) – diese Wahl hier nicht erneut öffnen. Prüfe sie gegen die Szene (helle Heldenband-Luma > 150 will
ink; vollständige Auswahlhilfe findest du im Katalog, der alle zehn inkl. neon / glitch / chrome / velocity abdeckt). Gib deine Wahl + Begründung an; der Benutzer entscheidet. Die DNA sperrt Typ/Palette/Mischung/Bewegung + Helden-Dreialt; safe-zones v2 (palette/optics/lighting) parametrisiert sie automatisch für DIESE Szene. <project>/cinematic.jsonerstellen –"dna": "<name>"+ Gedanken-BLÖCKE, nicht rohe Gruppen: jeder Block = Wortzeilen (gruppiert 2–5 an Satzgrenzen) + die Ebene, in der er gestapelt wird + pro-Zeilecss(nur Größe/Gewicht/Stil – keine Positionen) + höchstens EINE Zeile mit"hero": true(das beförderte Wort;"text"für die Anzeigeform). Schema:scripts/make-cinematic.cjsKopfzeile.- Kompilieren:
node scripts/make-cinematic.cjs <project>– senkt Blöcke → plan.json → index.html. Für dich generiert: transkriptionssequenzierte Zeitsteuerungen, Akkumulieren innerhalb des Blocks, Seitenwechsel zwischen Blöcken, das HELDEN-LOCKUP (ein Heldenblock-Vorkontext, HELD und Nachkontext stapeln sich als EINE verbundene Komposition, zentriert auf dem Subjekt – Lesereihenfolge oben→unten = Sprechreihenfolge durch Konstruktion; Kontext schwebt im VORDERGRUND, während der Held im HINTERGRUND eingebettet ist = das Tiefensandwich; eine Massenregel hält den Helden dominant über seinen Kontext), APEX/Minor-Held-Aufteilung, Lesereihenfolge durch Konstruktion, Vordergrund-Notlösung pro safe-zones. Dann laufen die Gates wie gewohnt. (Das direkte Erstellen von plan.json bleibt für Designs möglich, die Blöcke nicht ausdrücken können – dannfill-timings.cjs+fit-fonts.cjs+make-composition.cjsselbst ausführen.)
Schritt 3 – Theme-Modus (thematische Verfassung)
Zuerst themes/README.md lesen – Paradigmen-/Setpiece-Register, Verknüpfungen, harte Regeln und das genaue theme.json-Schema.
- Eine Themen-DNA nach Inhaltsregister auswählen (jedes
themes/<name>.jsonhatvoice+when). Gib deine Wahl + Begründung an; der Benutzer entscheidet. <project>/theme.jsonerstellen –dna,lines(wörtlich, Transkriptionsreihenfolge; 1–5 Wörter pro Zeile – fürtakeoverist jede Zeile eine KARTE),minors(Betonungswörter),hero:{match}(das Höhepunkt-Wort/der Höhepunkt-Satz; für Embed-Setpieces auslinesHERAUSLASSEN, für Inline-Setpieces und panel+redact DRIN LASSEN).- Rendern:
bash scripts/render-theme.sh <project>– kompiliert (Worttreue-Gate zur Kompilierungszeit), rendert beide Ebenen, erstellt Composite, wendet die Plattenreaktion an →final_fx.mp4. Verwendepreview-frames.cjszwischen Kompilierung und Render für die visuelle Qualitätskontrolle.
Visuelle Qualitätskontrolle – Vorschau VOR dem Rendern
node scripts/preview-frames.cjs <project> [t…] erstellt originalgetreue Vorschaubilder in ~2s pro Stück (Untertitelebenen zum Suchzeitpunkt gescreenshotet + echtes Videobild + Matte-Occlusion + Rail-Overlay = wie das endgültige Composite zu diesem Zeitpunkt aussehen wird). Standardproben = jede Gruppe/jedes Höhepunktfenster. Ein vollständiger Render dauert Minuten – verwende ihn niemals, um Layout-Probleme zu entdecken.
Überprüfe die Vorschauen (<project>/preview/sheet.png) gegen folgende Kriterien: