Video-Nutzung
Prinzip
- LLM denkt vom rohen Transkript + bedarfsorientierten Bildern aus. Das einzige abgeleitete Artefakt, das sich lohnt, ist ein gepacktes Phrasentranskript (
takes_packed.md). Alles andere – Füllwort-Tagging, Erkennung von Wiederholungsaufnahmen, Schussklassifizierung, Betonungsbewertung – leitest du zum Entscheidungszeitpunkt ab. - Audio ist primär, Bilder folgen. Schnittkandidaten kommen von Sprachgrenzen und Stillelücken. Tauche nur an Entscheidungspunkten in die Bilder ein.
- Fragen → bestätigen → ausführen → iterieren → persistieren. Führe niemals einen Schnitt durch, bevor der Benutzer die Strategie in einfachem Englisch bestätigt hat.
- Verallgemeinere. Gehe nicht davon aus, um welche Art von Video es sich handelt. Schaue dir das Material an, frage den Benutzer und editiere dann.
- Künstlerische Freiheit ist der Standard. Jeder spezifische Wert, jede Voreinstellung, Schriftart, Farbe, Dauer, Tonhöhenstruktur und Technik in diesem Dokument ist ein Arbeitsbeispiel aus einem bewährten Video – kein Muss. Lies sie, um zu verstehen, was möglich ist und warum jede funktioniert hat. Triff dann deine eigenen Geschmacksentscheidungen basierend darauf, was das Material tatsächlich ist und was der Benutzer tatsächlich möchte. Die einzigen Dinge, die du TUN MUSST, stehen im Abschnitt "Harte Regeln" unten. Alles andere ist deins.
- Erfinde frei. Wenn das Material eine hier nicht beschriebene Technik erfordert – geteilter Bildschirm, Bild-in-Bild, Lower-Third-Identitätskarten, Reaktionsschnitte, Geschwindigkeitsrampen, Standbilder, Überblendungen, Match-Schnitte, L-Schnitte, J-Schnitte, Geschwindigkeitsrampen über Atemzügen, was auch immer – baue sie. Die Helfer sind ffmpeg und PIL. Sie können alles tun, was das Format unterstützt. Warte nicht auf Erlaubnis.
- Überprüfe deine eigene Ausgabe, bevor du sie dem Benutzer zeigst. Wenn du sie nicht ausliefern würdest, präsentiere sie nicht.
Harte Regeln (Produktionskorrektheit – nicht verhandelbar)
Dies sind die Dinge, bei denen Abweichungen zu stillen Fehlern oder defekten Ausgaben führen. Sie sind kein Geschmack, sondern Korrektheit. Merke sie dir.
- Untertitel werden ZULETZT in der Filterkette angewendet, nach jedem Overlay. Andernfalls verstecken Overlays Untertitel. Stiller Fehler.
- Segmentweises Extrahieren → verlustfreies
-c copy-Concat, kein Ein-Durchgang-Filtergraph. Andernfalls kodierst du jedes Segment doppelt, wenn Overlays hinzugefügt werden. - 30ms-Audioblenden an jeder Segmentgrenze (
afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03). Andernfalls hörbare Knackgeräusche an jedem Schnitt. - Overlays verwenden
setpts=PTS-STARTPTS+T/TB, um Bild 0 des Overlays auf seinen Fensterstart zu verschieben. Andernfalls siehst du die Mitte der Animation während des Overlay-Fensters. - Master-SRT verwendet Ausgabezeitleisten-Offsets:
output_time = word.start - segment_start + segment_offset. Andernfalls geraten Untertitel nach dem Segment-Concat aus der Ausrichtung. - Schneide niemals innerhalb eines Wortes. Raste jeden Schnittkante auf eine Wortgrenze aus dem Scribe-Transkript ein.
- Puffere jede Schnittkante. Arbeitsfenster: 30–200 ms. Scribe-Zeitstempel driften 50–100 ms – der Puffer absorbiert die Drift. Enger bei schnellem Tempo, lockerer bei kinematografischen Aufnahmen.
- Nur wortgenaue wörtliche ASR. Niemals den SRT/Phrasenmodus (verliert subsekundige Lückendaten). Niemals normalisierte Füllwörter (verliert redaktionelles Signal).
- Zwischengespeicherte Transkripte pro Quelle. Transkribiere nie neu, es sei denn, die Quelldatei selbst hat sich geändert.
- Parallele Sub-Agenten für mehrere Animationen. Niemals sequenziell. Starte N gleichzeitig über das
Agent-Tool; die Gesamtzeit ≈ die des langsamsten. - Strategiebestätigung vor der Ausführung. Führe niemals einen Schnitt durch, bevor der Benutzer den Plan in einfachem Englisch genehmigt hat.
- Alle Sitzungsausgaben in
<videos_dir>/edit/. Schreibe niemals innerhalb desvideo-use/-Projektverzeichnisses.
Alles andere in diesem Dokument ist ein Arbeitsbeispiel. Weiche ab, wann immer das Material es erfordert.
Verzeichnisstruktur
Das Skill lebt in video-use/. Das Benutzermaterial befindet sich dort, wo der Benutzer es abgelegt hat. Alle Sitzungsausgaben gehen in <videos_dir>/edit/.
<videos_dir>/
├── <Quelldateien, unberührt>
└── edit/
├── project.md ← Speicher; wird jede Sitzung ergänzt
├── takes_packed.md ← Phrasentranskripte, die primäre Leseansicht des LLM
├── edl.json ← Schnittentscheidungen
├── transcripts/<name>.json ← zwischengespeichertes rohes Scribe-JSON
├── animations/slot_<id>/ ← Pro-Animation: Quelle + Render + Begründung
├── clips_graded/ ← Segmentweise Extrakte mit Grading + Blenden
├── master.srt ← Ausgabezeitleisten-Untertitel
├── downloads/ ← yt-dlp-Ausgaben
├── verify/ ← Debug-Frames / Timeline-PNGs
├── preview.mp4
└── final.mp4
Einrichtung
Die Ersteinrichtung befindet sich in install.md (Klonen, Abhängigkeiten, ffmpeg, Skill-Registrierung, API-Schlüssel). Führe es nicht jede Sitzung erneut aus; bei einem Kaltstart überprüfe einfach:
ELEVENLABS_API_KEYist vorhanden – entweder in der Umgebung oder in.envim Stammverzeichnis des video-use-Repositorys. Wenn nicht vorhanden, bitte den Benutzer, einen einzufügen, und schreibe ihn in.env(niemals in das<videos_dir>des Benutzers).ffmpeg+ffprobeim PATH.- Python-Abhängigkeiten installiert (
uv syncoderpip install -e .innerhalb des Repositorys). - Node.js + npm verfügbar, wenn die Sitzung HyperFrames oder Remotion-Slots benötigt. HyperFrames erfordert derzeit Node.js 22+.
yt-dlp, HyperFrames, Remotion, Manim werden nur bei erster Verwendung installiert.- Die Ersteinrichtung von Animationen erfolgt innerhalb des Slot-Verzeichnisses, niemals im Stammverzeichnis des video-use-Repositorys. HyperFrames kann mit
npx --yes hyperframes ...aufgerufen werden; Remotion kann mitnpx create-video@latesteingerüstet oder als projektspezifische Abhängigkeit installiert werden, bevor der Befehlremotion renderverwendet wird. - Dieses Skill liefert
skills/manim-video/mit. Lese die SKILL.md, wenn du einen Manim-Slot erstellst.
Helfer (helpers/transcribe.py, helpers/render.py, usw.) befinden sich neben dieser SKILL.md. Löse ihre Pfade relativ zum Verzeichnis auf, das diese Datei enthält – das Skill ist normalerweise unter ~/.claude/skills/video-use/ oder ~/.codex/skills/video-use/ als Symlink verknüpft.
Helfer
transcribe.py <video>– Einzeldatei-Scribe-Aufruf.--num-speakers Noptional. Zwischengespeichert.transcribe_batch.py <videos_dir>– 4-Worker-Parallel-Transkription. Für mehrere Aufnahmen verwenden.pack_transcripts.py --edit-dir <dir>–transcripts/*.json→takes_packed.md(Phrasenebene, trennen bei Stille ≥ 0,5s).timeline_view.py <video> <start> <end>– Filmstreifen + Wellenform-PNG. Bedarfsorientierter visueller Zoom. Kein Scan-Tool – verwende es an Entscheidungspunkten, nicht ständig.render.py <edl.json> -o <out>– Segmentweises Extrahieren → Concat → Overlays (PTS-verschoben) → Untertitel ZULETZT.--previewfür 720p schnelle Vorschau.--build-subtitleszur direkten Generierung von master.srt.grade.py <in> -o <out>– ffmpeg-Filterketten-Grading. Voreinstellungen +--filter '<raw>'für benutzerdefinierte.
Für Animationen erstelle <edit>/animations/slot_<id>/ mit Bash und starte einen Sub-Agenten über das Agent-Tool.
Der Prozess
-
Bestandsaufnahme.
ffprobefür jede Quelle.transcribe_batch.pyfür das Verzeichnis.pack_transcripts.pyzur Erstellung vontakes_packed.md. Stichprobenartig ein oder zweitimeline_views für einen ersten visuellen Eindruck. -
Vorab-Scan auf Probleme. Ein Durchlauf über
takes_packed.md, um sprachliche Ausrutscher, offensichtliche Versprecher oder zu vermeidende Formulierungen zu notieren. Einfache Liste, in das Editor-Briefing einfließen lassen. -
Konversation. Beschreibe auf einfachem Englisch, was du siehst. Stelle Fragen, die auf das Material zugeschnitten sind. Sammle: Inhaltstyp, Ziellänge/-seitenverhältnis, ästhetische/markenspezifische Richtung, Tempo-Gefühl, Momente, die erhalten bleiben müssen, Momente, die geschnitten werden müssen, Animations- und Grading-Präferenzen, Untertitel-Bedürfnisse. Verwende keine feste Checkliste – die richtigen Fragen sind jedes Mal anders.
-
Strategie vorschlagen. 4–8 Sätze: Form, Auswahl der Aufnahmen, Schnittrichtung, Animationsplan, Grading-Richtung, Untertitelstil, Längenschätzung. Warte auf Bestätigung.
-
Ausführen. Erstelle
edl.jsonüber das Editor-Sub-Agenten-Briefing. Verwendetimeline_viewbei mehrdeutigen Momenten. Baue Animationen in parallelen Sub-Agenten. Wende Grading segmentweise an. Stelle überrender.pyzusammen. -
Vorschau.
render.py --preview. -
Selbstbewertung (bevor sie dem Benutzer gezeigt wird). Führe
timeline_viewauf der gerenderten Ausgabe (nicht den Quellen) an jeder Schnittgrenze (±1,5s Fenster) aus. Überprüfe jedes Bild auf:- Visuelle Unstetigkeit / Aufblitzen / Sprung am Schnitt
- Wellenform-Spitze an der Grenze (Audio-Pop, der die 30ms-Blende durchschlagen hat)
- Untertitel, die hinter einem Overlay versteckt sind (Regel-1-Verstoß)
- Overlay falsch ausgerichtet oder zeigt falsche Frames (Regel-4-Verstoß)
Überprüfe auch: die ersten 2s, die letzten 2s und 2–3 Mittelpunkte – überprüfe Grading-Konsistenz, Untertitellesbarkeit, Gesamtkohärenz. Führe
ffprobeauf der Ausgabe aus, um zu überprüfen, ob die Dauer der EDL-Erwartung entspricht.Wenn etwas fehlschlägt: repariere → rendere neu → bewerte neu. Begrenze auf 3 Selbstbewertungsdurchläufe – wenn nach 3 Durchläufen noch Probleme bestehen, markiere sie dem Benutzer, anstatt sich im Kreis zu drehen. Präsentiere die Vorschau erst, wenn die Selbstbewertung bestanden ist.
-
Iterieren + Persistieren. Feedback in natürlicher Sprache, Neuplanung, Neu-Rendering. Niemals neu transkribieren. Endgültiges Rendern nach Bestätigung. An
project.mdanhängen.
Schnitthandwerk (Techniken)
- Audio-zuerst. Kandidaten-Schnitte von Wortgrenzen und Stillelücken.
- Spitzen erhalten. Lachen, Pointen, Betonungsbeats. Über Pointen hinaus verlängern, um Reaktionen einzuschließen – das Lachen IST der Beat.
- Sprecherwechsel profitieren von Luft zwischen den Äußerungen. Übliche Werte: 400–600ms. Weniger bei schnellem Tempo, mehr bei kinematografischen Aufnahmen. Geschmacksentscheidung.
- Audio-Ereignisse als Signale.
(lacht),(seufzt),(Applaus)markieren Beats. Über sie hinaus verlängern. - Stillelücken sind Schnittkandidaten. Stille ≥400ms ist normalerweise am saubersten. 150–400ms Phrasengrenzen sind mit einem visuellen Check verwendbar. <150ms ist unsicher (mitten in einer Phrase).
- Beispiel für Schnittpuffer (das ausgelieferte Launch-Video): 50ms vor dem ersten behaltenen Wort, 80ms nach dem letzten. Enger für Montage-Energie, lockerer für Dokumentationen. Bleibe im Arbeitsfenster von 30–200ms (Harte Regel 7).
- Argumentiere niemals unabhängig über Audio und Video. Jeder Schnitt muss auf beiden Spuren funktionieren.
Das gepackte Transkript (primäre Leseansicht)
pack_transcripts.py liest alle transcripts/*.json und erzeugt eine Markdown-Datei, in der jede Aufnahme eine Liste von Phrasenzeilen ist, jede mit ihrem [Start-Ende]-Zeitbereich versehen. Phrasen werden bei jeder Stille ≥ 0,5s ODER Sprecherwechsel getrennt. Dies ist das Artefakt, das der Editor-Sub-Agent liest, um Schnitte auszuwählen – es bietet Wortgrenzen-Genauigkeit allein aus Text bei 1/10 der Tokens des rohen JSON.
Beispielzeile:
## C0103 (Dauer: 43,0s, 8 Phrasen)
[002.52-005.36] S0 Neunzig Prozent dessen, was ein Web-Agent tut, ist völlig verschwendet.
[006.08-006.74] S0 Wir haben das behoben.
Editor-Sub-Agenten-Briefing (für die Auswahl mehrerer Aufnahmen)
Wenn die Aufgabe darin besteht, "die beste Aufnahme jedes Beats über mehrere Clips hinweg auszuwählen", starte einen dedizierten Sub-Agenten mit einem Briefing, das wie folgt geformt ist. Die Struktur ist tragend; das Beispiel zur Tonhöhenform ist nicht tragend.
Du bearbeitest ein <Typ>-Video. Wähle die beste Aufnahme jedes Beats aus und
setze sie chronologisch nach Beat zusammen, nicht nach Quellclip-Reihenfolge.
EINGABEN:
- takes_packed.md (zeitannotierte Phrasentranskripte aller Aufnahmen)
- Produkt-/Erzählkontext: <2 Sätze vom Benutzer>
- Sprecher: <Name, Rolle, Anmerkung zum Lieferstil>
- Erwartete Struktur: <wähle einen Archetyp oder erfinde einen>
- Zu vermeidende sprachliche Ausrutscher: <Liste aus dem Vorab-Scan>
- Ziellaufzeit: <Sekunden>
Häufige strukturelle Archetypen (wähle, passe an oder erfinde):
- Technik-Launch / Demo: HOOK → PROBLEM → LÖSUNG → NUTZEN → BEISPIEL → CTA
- Tutorial: EINFÜHRUNG → VORBEREITUNG → SCHRITTE → STOLPERFALLEN → ZUSAMMENFASSUNG
- Interview: (FRAGE → ANTWORT → RÜCKFRAGE) wiederholen
- Reise / Event: ANKUNFT → HIGHLIGHTS → RUHIGE MOMENTE → ABREISE
- Dokumentation: THESE → BEWEIS → GEGENARGUMENT → SCHLUSSFOLGERUNG
- Musik / Performance: INTRO → STROPHE → REFRAIN → BRÜCKE → OUTRO
- Oder erfinde deine eigenen.
REGELN:
- Start-/Endzeiten müssen auf Wortgrenzen aus dem Transkript fallen.
- Puffere Schnittgrenzen (Arbeitsfenster 30–200ms).
- Bevorzuge Stille ≥ 400ms als Schnittziele.
- Unvermeidbare Ausrutscher werden behalten, wenn es keine bessere Aufnahme gibt. Notiere sie in "Begründung".
- Wenn über dem Budget: überarbeite: lasse einen Beat weg oder trimme Enden. Melde Gesamtsumme und korrigiere dich selbst.
AUSGABE (JSON-Array, kein Prosa):
[{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "HOOK",
"quote": "...", "reason": "..."}, ...]
Gib die endgültige EDL und eine einzeilige Gesamtlaufzeit-Prüfung zurück.
Farbkorrektur (wenn angefordert)
Deine Aufgabe ist es, über das Bild nachzudenken, nicht eine Voreinstellung anzuwenden. Betrachte einen Frame (über timeline_view), entscheide, was falsch ist, passe eine Sache an, schau noch einmal hin.
Das mentale Modell ist ASC CDL. Pro Kanal: out = (in * Steigung + Versatz) ** Potenz, dann globale Sättigung. Steigung → Lichter, Versatz → Schatten, Potenz → Mitteltöne.
Beispiel-Filterketten (grade.py hat --list-presets; verwende sie als Ausgangspunkte oder mische deine eigenen):
warm_cinematic– retro/technisch, subtile Teal/Orange-Aufteilung, entsättigt. In einem echten Launch-Video ausgeliefert. Sicher für Talking Heads.neutral_punch– minimal korrigierend: Kontrasterhöhung + sanfte S-Kurve. Keine Farbtonverschiebungen.none– direkte Kopie. Standard, wenn der Benutzer nicht gefragt hat.
Für alles andere – Porträts, Natur, Produkte, Musikvideos, Dokumentationen – erfinde deine eigene Kette. grade.py --filter '<rohes ffmpeg>' akzeptiert jeden Filter-String.
Harte Regeln: Wende segmentweise während der Extraktion an (nicht nach dem Concat, was doppelt kodiert). Gehe niemals aggressiv vor, ohne Hauttöne zu testen.
Untertitel (wenn angefordert)
Untertitel haben drei Dimensionen, über die es sich nachzudenken lohnt: Aufteilung (1/2/3/Satz pro Zeile), Schreibung (GROSS/Erstes Wort groß/Natürlich) und Platzierung (Abstand vom unteren Rand). Die richtige Kombination hängt vom Inhalt ab.
Erarbeitete Stile – wähle, passe an oder erfinde:
bold-overlay – Kurzform-Technik-Launch, schnelllebiges Social Media. 2-Wort-Blöcke, GROSSBUCHSTABEN, Bruch bei Satzzeichen, Helvetica 18 Fett, weiß mit Kontur, MarginV=35. render.py wird mit diesem Stil als SUB_FORCE_STYLE ausgeliefert.
FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35
natural-sentence (wenn du diesen Modus erfindest) – narrativ, Dokumentation, Bildung. 4–7 Wortblöcke, Satzschreibung, Bruch bei natürlichen Pausen, MarginV=60–80, größere Schriftgröße.
... (hier ggf. weiterer Inhalt aus der Originaldatei)