Videobearbeitung
Prinzip
- LLM denkt vom rohen Transkript + bedarfsgesteuerten Bildern aus. Das einzige abgeleitete Artefakt, das sich lohnt, ist ein dicht gepacktes, phrase-level Transkript (
takes_packed.md). Alles andere – Füllwort-Markierung, Wiederholungserkennung, Aufnahme-Klassifizierung, Betonungsbewertung – leitest du zum Entscheidungszeitpunkt ab. - Audio ist primär, Bilder folgen. Schnittkandidaten kommen von Sprachgrenzen und Stillelücken. Tauche nur an Entscheidungspunkten in die Bilder ein.
- Fragen → Bestätigen → Ausführen → Iterieren → Beibehalten. Berühre den Schnitt nie, bis der Benutzer die Strategie in klarem Englisch bestätigt hat.
- Verallgemeinere. Gehe nicht davon aus, um welche Art von Video es sich handelt. Sieh dir das Material an, frage den Benutzer, dann bearbeite.
- Künstlerische Freiheit ist die Voreinstellung. Jeder spezifische Wert, jede Voreinstellung, Schriftart, Farbe, Dauer, Tonhöhenstruktur und Technik in diesem Dokument ist ein ausgearbeitetes Beispiel aus einem bewährten Video – keine Vorschrift. Lies sie, um zu verstehen, was möglich ist und warum jedes funktioniert hat. Dann triff deine eigenen Geschmacksentscheidungen basierend darauf, was das Material tatsächlich ist und was der Benutzer tatsächlich will. Das Einzige, was du TUN MUSST, steht im Abschnitt „Harte Regeln“ unten. Alles andere ist deins.
- Erfinde frei. Wenn das Material eine hier nicht beschriebene Technik verlangt – Split-Screen, Bild-in-Bild, Identifikationskarten im unteren Drittel, Reaktionsschnitte, Geschwindigkeitsrampen, Standbilder, Überblendungen, Match Cuts, L-Cuts, J-Cuts, Geschwindigkeitsrampen über Atem, was auch immer – baue sie. Die Helfer sind ffmpeg und PIL. Sie können alles tun, was das Format unterstützt. Warte nicht auf Erlaubnis.
- Überprüfe deine eigene Ausgabe, bevor du sie dem Benutzer zeigst. Wenn du sie nicht ausliefern würdest, präsentiere sie nicht.
Harte Regeln (Produktionskorrektheit – nicht verhandelbar)
Dies sind die Dinge, bei denen Abweichungen zu stillen Fehlern oder defekter Ausgabe führen. Sie sind keine Geschmacksfrage, sondern Korrektheit. Merke sie dir.
- Untertitel werden als LETZTES in der Filterkette angewendet, nach jeder Überlagerung. Sonst verstecken Überlagerungen die Untertitel. Stiller Fehler.
- Extraktion pro Segment → verlustfreies
-c copyConcat, kein Single-Pass-Filtergraph. Sonst kodierst du jedes Segment doppelt, wenn Überlagerungen hinzugefügt werden. - 30ms Audio-Überblendungen an jeder Segmentgrenze (
afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03). Sonst hörbare Knackser an jedem Schnitt. - Überlagerungen verwenden
setpts=PTS-STARTPTS+T/TB, um den Frame 0 der Überlagerung an den Start ihres Fensters zu verschieben. Sonst siehst du die Mitte der Animation während des Überlagerungsfensters. - Master-SRT verwendet Ausgabe-Zeitleisten-Offsets:
output_time = word.start - segment_start + segment_offset. Sonst sind die Untertitel nach dem Segment-Concat verschoben. - Schneide niemals innerhalb eines Wortes. Jede Schnittkante muss an einer Wortgrenze aus dem Scribe-Transkript einrasten.
- Polstere jede Schnittkante. Arbeitsfenster: 30–200 ms. Scribe-Zeitstempel driften um 50–100 ms – die Polsterung absorbiert die Drift. Enger für schnelles Tempo, lockerer für filmisch.
- Nur wortgenaue ASR. Niemals SRT-/Phrase-Modus (verliert sub-sekunden Daten). Niemals normalisierte Füllwörter (verliert redaktionelles Signal).
- Zwischenspeichere Transkripte pro Quelle. Transkribiere nie neu, es sei denn, die Quelldatei selbst hat sich geändert.
- Parallele Sub-Agenten für mehrere Animationen. Niemals sequentiell. Starte N gleichzeitig über das
Agent-Tool; Gesamtzeit ≈ langsamste. - Strategiebestätigung vor der Ausführung. Berühre den Schnitt nie, bis der Benutzer den klaren Plan auf Englisch genehmigt hat.
- Alle Sitzungsausgaben in
<videos_dir>/edit/. Schreibe niemals innerhalb desvideo-use/Projektverzeichnisses.
Alles andere in diesem Dokument ist ein ausgearbeitetes Beispiel. Weiche ab, wann immer das Material es verlangt.
Verzeichnisstruktur
Die Fähigkeit lebt in video-use/. Das Benutzermaterial liegt, wo immer sie es ablegen. Alle Sitzungsausgaben gehen nach <videos_dir>/edit/.
<videos_dir>/
├── <Quelldateien, unberührt>
└── edit/
├── project.md ← Gedächtnis; wird jede Sitzung ergänzt
├── takes_packed.md ← phrase-level Transkripte, primäre Leseansicht des LLM
├── edl.json ← Schnittentscheidungen
├── transcripts/<name>.json ← zwischengespeichertes rohes Scribe-JSON
├── animations/slot_<id>/ ← Pro-Animation Quelle + Render + Begründung
├── clips_graded/ ← Pro-Segment Extraktionen mit Grading + Überblendungen
├── master.srt ← Ausgabe-Zeitleisten-Untertitel
├── downloads/ ← yt-dlp Ausgaben
├── verify/ ← Debug-Frames / Zeitstrahl-PNGs
├── preview.mp4
└── final.mp4
Einrichtung
Die Ersteinrichtung befindet sich in install.md (Klonen, Abhängigkeiten, ffmpeg, Fähigkeitsregistrierung, API-Schlüssel). Führe es nicht jede Sitzung erneut aus; bei Kaltstart überprüfe einfach:
ELEVENLABS_API_KEYist aufgelöst – entweder in der Umgebung oder in.envim Stammverzeichnis desvideo-use-Repositorys. Falls fehlend, bitte den Benutzer, einen einzufügen und in.envzu schreiben (niemals in das<videos_dir>des Benutzers).ffmpeg+ffprobeim PATH.- Python-Abhängigkeiten installiert (
uv syncoderpip install -e .im Repository). - Node.js + npm verfügbar, falls die Sitzung HyperFrames- oder Remotion-Slots benötigt. HyperFrames benötigt derzeit Node.js 22+.
yt-dlp, HyperFrames, Remotion, Manim nur bei erster Verwendung installiert.- Die Animationseinrichtung bei erster Verwendung erfolgt innerhalb des Slot-Verzeichnisses, nie im Stammverzeichnis des
video-use-Repositorys. HyperFrames kann mitnpx --yes hyperframes ...aufgerufen werden; Remotion kann mitnpx create-video@latesteingerichtet oder als projektspezifische Abhängigkeit installiert werden, bevor der Befehlremotion renderverwendet wird. - Diese Fähigkeit enthält
skills/manim-video/. Lies deren SKILL.md, wenn du einen Manim-Slot baust.
Helfer (helpers/transcribe.py, helpers/render.py, etc.) befinden sich neben dieser SKILL.md. Löse ihre Pfade relativ zum Verzeichnis, das diese Datei enthält – die Fähigkeit ist normalerweise unter ~/.claude/skills/video-use/ oder ~/.codex/skills/video-use/ symbolisch verlinkt.
Helfer
transcribe.py <video>– Einzeldatei-Aufruf von Scribe.--num-speakers Noptional. Zwischengespeichert.transcribe_batch.py <videos_dir>– 4-Worker parallele Transkription. Verwende für mehrere Aufnahmen.pack_transcripts.py --edit-dir <dir>–transcripts/*.json→takes_packed.md(phrase-level, bricht bei Stille ≥ 0.5s).timeline_view.py <video> <start> <end>– Filmstreifen + Wellenform-PNG. Bedarfsgesteuerter visueller Detailblick. Kein Scan-Werkzeug – verwende es an Entscheidungspunkten, nicht ständig.render.py <edl.json> -o <ausgabe>– Pro-Segment Extraktion → Concat → Überlagerungen (PTS-verschoben) → Untertitel als LETZTES.--previewfür 720p schnell.--build-subtitlesum master.srt direkt zu erzeugen.grade.py <eingabe> -o <ausgabe>– ffmpeg-Filterketten-Grading. Voreinstellungen +--filter '<raw>'für benutzerdefiniert.
Erstelle für Animationen <edit>/animations/slot_<id>/ mit Bash und starte einen Unter-Agenten über das Agent-Tool.
Der Prozess
-
Inventur.
ffprobefür jede Quelle.transcribe_batch.pyauf das Verzeichnis.pack_transcripts.pyumtakes_packed.mdzu erzeugen. Mustere ein oder zweitimeline_views für einen ersten visuellen Eindruck. -
Vorscan auf Probleme. Ein Durchlauf über
takes_packed.md, um verbale Ausrutscher, offensichtliche Versprecher oder zu vermeidende Formulierungen zu notieren. Reine Liste, fließt in die Redakteursanweisung ein. -
Gespräch. Beschreibe, was du siehst, in klarer Sprache. Stelle Fragen, die durch das Material geprägt sind. Sammle: Inhaltstyp, Ziellänge/-seitenverhältnis, ästhetische/Markenrichtung, Tempo-Gefühl, unbedingt zu erhaltende Momente, unbedingt zu schneidende Momente, Animations- und Grading-Präferenzen, Untertitel-Bedarf. Verwende keine feste Checkliste – die richtigen Fragen sind jedes Mal anders.
-
Strategie vorschlagen. 4–8 Sätze: Form, Aufnahmeauswahl, Schnittrichtung, Animationsplan, Grading-Richtung, Untertitel-Stil, Längenschätzung. Warte auf Bestätigung.
-
Ausführen. Erzeuge
edl.jsonüber die Redakteurs-Sub-Agenten-Anweisung. Tauche mittimeline_viewin mehrdeutige Momente ein. Baue Animationen in parallelen Sub-Agenten. Wende Grading pro Segment an. Komponiere überrender.py. -
Vorschau.
render.py --preview. -
Selbstbewertung (bevor du es dem Benutzer zeigst). Führe
timeline_viewauf dem gerenderten Ausgabe (nicht den Quellen) an jeder Schnittgrenze aus (±1,5s Fenster). Überprüfe jedes Bild auf:- Visuelle Diskontinuität / Aufblitzen / Sprung am Schnitt
- Wellenform-Spitze an der Grenze (Audio-Knackser, der die 30ms-Überblendung umgangen hat)
- Untertitel hinter einer Überlagerung versteckt (Verstoß gegen Regel 1)
- Überlagerung falsch ausgerichtet oder falsche Frames zeigend (Verstoß gegen Regel 4)
Mustere auch: erste 2s, letzte 2s und 2–3 Mittelpunkte – überprüfe Grading-Konsistenz, Untertitellesbarkeit, Gesamtkohärenz. Führe
ffprobeauf der Ausgabe aus, um zu überprüfen, ob die Dauer der EDL-Erwartung entspricht.Wenn etwas fehlschlägt: korrigieren → neu rendern → neu bewerten. Begrenze auf 3 Selbstbewertungsdurchläufe – wenn nach 3 noch Probleme bestehen, melde sie dem Benutzer, anstatt ewig zu loopen. Präsentiere die Vorschau erst, wenn die Selbstbewertung bestanden ist.
-
Iterieren + Beibehalten. Rückmeldung in natürlicher Sprache, neu planen, neu rendern. Niemals neu transkribieren. Endgültiger Render nach Bestätigung. An
project.mdanhängen.
Schnitthandwerk (Techniken)
- Audio zuerst. Schnittkandidaten von Wortgrenzen und Stillelücken.
- Höhepunkte bewahren. Lachen, Pointen, Betonungs-Schläge. Verlängere über Pointen hinaus, um Reaktionen einzuschließen – das Lachen IST der Schlag.
- Sprecherwechsel profitieren von Luft zwischen den Äußerungen. Übliche Werte: 400–600 ms. Weniger für schnelles Tempo, mehr für filmisch. Geschmacksfrage.
- Audioereignisse als Signale.
(lacht),(seufzt),(Applaus)markieren Schläge. Verlängere über sie hinaus. - Stillelücken sind Schnittkandidaten. Stille ≥400 ms ist normalerweise die sauberste. 150–400 ms Phrasengrenzen sind mit einer visuellen Überprüfung nutzbar. <150 ms ist unsicher (mitten in der Phrase).
- Beispiel-Schnittpolsterung (das Auslieferungsvideo, das damit kam): 50 ms vor dem ersten behaltenen Wort, 80 ms nach dem letzten. Enger für Montage-Energie, lockerer für Dokumentation. Bleibe im 30–200 ms Arbeitsfenster (Harte Regel 7).
- Betrachte Audio und Video niemals unabhängig. Jeder Schnitt muss auf beiden Spuren funktionieren.
Das gepackte Transkript (primäre Leseansicht)
pack_transcripts.py liest alle transcripts/*.json und erzeugt eine Markdown-Datei, in der jede Aufnahme eine Liste von phrase-level Zeilen ist, jede mit ihrem [Start-Ende] Zeitbereich versehen. Phrasen brechen bei jeder Stille ≥ 0.5s ODER Sprecherwechsel. Dies ist das Artefakt, das der Redakteurs-Sub-Agent liest, um Schnitte auszuwählen – es bietet Wortgrenzen-Genauigkeit allein aus Text bei 1/10 der Token des rohen JSON.
Beispielzeile:
## C0103 (Dauer: 43.0s, 8 Phrasen)
[002.52-005.36] S0 Neunzig Prozent von dem, was ein Web-Agent tut, ist völlig verschwendet.
[006.08-006.74] S0 Wir haben das behoben.
Redakteurs-Sub-Agenten-Anweisung (für Multi-Take-Auswahl)
Wenn die Aufgabe darin besteht, „den besten Take jedes Beats über viele Clips hinweg auszuwählen“, starte einen dedizierten Sub-Agenten mit einer Anweisung wie dieser. Die Struktur ist tragend; das Tonhöhenbeispiel ist es nicht.
Du bearbeitest ein <Typ>-Video. Wähle den besten Take jedes Beats und setze sie
chronologisch nach Beat zusammen, nicht nach Quellclip-Reihenfolge.
EINGABEN:
- takes_packed.md (zeitannotierte phrase-level Transkripte aller Takes)
- Produkt/Erzählkontext: <2 Sätze vom Benutzer>
- Sprecher: <Name, Rolle, Anmerkung zum Vortragsstil>
- Erwartete Struktur: <wähle einen Archetyp oder erfinde einen>
- Zu vermeidende verbale Ausrutscher: <Liste aus dem Vorscan-Durchlauf>
- Ziellaufzeit: <Sekunden>
Gängige strukturelle Archetypen (wähle, passe an oder erfinde):
- Technologie-Launch / Demo: HAKEN → PROBLEM → LÖSUNG → NUTZEN → BEISPIEL → HANDLUNGSAUFFORDERUNG
- Tutorial: EINFÜHRUNG → EINRICHTUNG → SCHRITTE → STOLPERFALLEN → ZUSAMMENFASSUNG
- Interview: (FRAGE → ANTWORT → NACHFRAGE) wiederholen
- Reise / Ereignis: ANKUNFT → HÖHEPUNKTE → RUHIGE MOMENTE → ABREISE
- Dokumentation: THESE → BEWEISE → GEGENTHESE → SCHLUSSFOLGERUNG
- Musik / Aufführung: INTRO → STROPHE → REFRAIN → BRÜCKE → OUTRO
- Oder erfinde deine eigene.
REGELN:
- Start-/Endzeiten müssen auf Wortgrenzen aus dem Transkript fallen.
- Polstere Schnittgrenzen (Arbeitsfenster 30–200 ms).
- Bevorzuge Stille ≥ 400 ms als Schnittziele.
- Unvermeidbare Ausrutscher werden behalten, wenn kein besserer Take existiert. Notiere sie unter „Grund“.
- Wenn über Budget, überarbeite: lasse einen Beat weg oder kürze Enden. Berichte Gesamtzeit und korrigiere dich selbst.
AUSGABE (JSON-Array, kein Prosa):
[{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "HAKEN",
"quote": "...", "reason": "..."}, ...]
Gebe das endgültige EDL und eine einzeilige Gesamtlaufzeitprüfung zurück.
Farbkorrektur (auf Anfrage)
Deine Aufgabe ist es, über das Bild nachzudenken, nicht eine Voreinstellung anzuwenden. Sieh dir ein Bild an (über timeline_view), entscheide, was falsch ist, passe eine Sache an, sieh noch einmal hin.
Das mentale Modell ist ASC CDL. Pro Kanal: out = (in * Steigung + Versatz) ** Leistung, dann globale Sättigung. Steigung → Lichter, Versatz → Schatten, Leistung → Mitteltöne.
Beispiel-Filterketten (grade.py hat --list-presets; verwende sie als Ausgangspunkte oder mische deine eigenen):
warm_cinematic— retro/technisch, subtile Teal/Orange-Aufspaltung, entsättigt. In einem echten Launch-Video ausgeliefert. Sicher für Talking Heads.neutral_punch— minimal korrektiv: Kontrast-Boost + sanfte S-Kurve. Keine Farbtonverschiebungen.none— direkte Kopie. Standard, wenn der Benutzer nicht gefragt hat.
Für alles andere – Porträt, Natur, Produkt, Musikvideo, Dokumentation – erfinde deine eigene Kette. grade.py --filter '<raw ffmpeg>' akzeptiert jeden Filter-String.
Harte Regeln: Wende pro Segment während der Extraktion an (nicht nach Concat, das zweimal neu kodiert). Werde niemals aggressiv, ohne Hauttöne zu testen.
Untertitel (auf Anfrage)
Untertitel haben drei Dimensionen, über die es sich nachzudenken lohnt: Aufteilung (1/2/3/Satz pro Zeile), Groß-/Kleinschreibung (GROSSBUCHSTABEN/Mit Großbuchstaben/Natürlich) und Platzierung (Abstand vom unteren Rand). Die richtige Kombination hängt vom Inhalt ab.
Ausgearbeitete Stile – wähle, passe an oder erfinde:
bold-overlay – Kurzform-Technologie-Launch, schnelllebiges soziales Netzwerk. 2-Wort-Blöcke, GROSSBUCHSTABEN, Bruch bei Satzzeichen, Helvetica 18 Bold, weiß mit Umriss, MarginV=35. render.py wird damit als SUB_FORCE_STYLE ausgeliefert.
FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35
natural-sentence (wenn du diesen Modus erfindest) – Erzählung, Dokumentation, Bildung. 4–7 Wort-Blöcke, Satzaussage, Bruch bei natürlichen Pausen, MarginV=60–80, größere Schrift