Videobearbeitungs-Skill
Übersicht
Dieser Skill implementiert eine 6-stufige Pipeline, bei der KI Entscheidungsaufgaben übernimmt (was behalten, was schneiden, Highlight-Auswahl) und FFmpeg/Remotion die mechanische Ausführung deterministisch durchführen.
| Stufe | Name | Mechanismus | Primäres Werkzeug |
|---|---|---|---|
| 1 | CAPTURE | Quellmaterial inventarisieren | Bash + Glob |
| 2 | AI STRUCTURE | Transkript in EDL umwandeln | KI-Entscheidung |
| 3 | FFMPEG CUTS | EDL in Segmentdateien | FFmpeg (deterministisch) |
| 4 | REMOTION KOMPOSITION | Segmente in TSX-Komposition | Remotion + TypeScript |
| 5 | KI-GENERIERUNG | Lücken mit generierten Assets füllen | ElevenLabs / fal.ai (optional) |
| 6 | FINAL POLISH | Menschliche Feinarbeit | Mensch + NLE |
Tiefe Referenzen
| Signal | Datei | Inhalt |
|---|---|---|
| Shell-Befehle für jede Phase, Prüfpunkte | references/phase-commands.md | Vollständige Befehlsblöcke für Phase 1–6 |
| FFmpeg-Rezepte: Schneiden, Concat, Proxy, Erkennung | references/ffmpeg-commands.md | Timestamp-Extraktion, Batch-Cutting, Audio-Normalisierung, Szenen-/Stilleerkennung |
| Remotion-Kompositionsgerüst | references/remotion-scaffold.md | TSX-Kompositionsvorlage, Render-Befehl, Wiederverwendungsmuster |
| Bild-zu-Video-Pipeline | references/image-to-video.md | Validieren, Vorbereiten, Kodieren, Überprüfen-Workflow |
| FFmpeg-Filtergraphen für Visualisierung | references/ffmpeg-filters.md | Scale/Pad, Showwaves, Showspectrum, Overlay, vollständige Filtergraphen |
Anleitung
Vorbereitung (vor Phase 1 ausführen)
Harte Anforderungen (BLOCKIERT bei Fehlen): ffmpeg (alle Phasen), node (Remotion / npx).
Weiche Anforderungen (WARNUNG bei Fehlen): remotion (nur für Phase 4 erforderlich).
which ffmpeg >/dev/null 2>&1 || { echo "FEHLER: ffmpeg nicht gefunden. Installieren: brew install ffmpeg (macOS) | apt install ffmpeg (Linux)"; exit 1; }
which node >/dev/null 2>&1 || { echo "FEHLER: node nicht gefunden. Installieren: https://nodejs.org oder via nvm"; exit 1; }
npx remotion --version >/dev/null 2>&1 || echo "WARNUNG: remotion CLI nicht gefunden. Phase 4 nicht verfügbar. Installieren: npm install @remotion/cli"
Phase 1: CAPTURE
Ziel: Alle Quellvideos inventarisieren und prüfen, dass die Dateien auf der Festplatte existieren, bevor irgendeine Verarbeitung beginnt.
Einschränkung: Quelldateien sind schreibgeschützt. Alle FFmpeg-Befehle schreiben nur in neue Dateien. Niemals Quellmaterial überschreiben.
Schritte: Quelldateien suchen (find), jede mit ffprobe inspizieren, Proxies für Dateien >10 Min erstellen (siehe references/ffmpeg-commands.md -> Proxy-Generierung), Arbeitsverzeichnisse erstellen (segments/, assembled/). Vollständiger Befehlsblock: references/phase-commands.md -> Phase 1.
Prüfpunkt: Quelldateien auf Festplatte bestätigt. Dateiliste in source-inventory.txt geschrieben. Nur fortfahren, wenn der Prüfpunkt bestanden ist.
Phase 2: AI STRUCTURE
Ziel: Inhalt analysieren und ein schriftliches EDL (cuts.txt) erstellen, das alle nachgelagerten Schnitte steuert.
Einschränkung: cuts.txt ist der Vertrag. Die EDL-Datei ist die einzige Quelle der Wahrheit für nachgelagerte Phasen. FFmpeg-Befehle nicht von Hand bearbeiten – sie aus der EDL generieren.
Einschränkung: Vor dem manuellen Schreiben der EDL FFmpeg-Szenen-/Stilleerkennung ausführen. Die Erkennungsausgabe informiert die Entscheidung, ersetzt sie nicht.
Schritte: Transkription mit Whisper/AssemblyAI, Szenen-/Stilleerkennung durchführen, Entscheidung treffen (was treibt die Geschichte voran, was ist Füllmaterial, Zieldauer), cuts.txt im EDL-Format STARTZEIT,ENDZEIT,LABEL schreiben, auf Überlappungen und Gesamtdauer prüfen. Vollständiger Befehlsblock und EDL-Formatbeispiel: references/phase-commands.md -> Phase 2.
Prüfpunkt: transcript.txt existiert. cuts.txt auf Festplatte geschrieben. Nur fortfahren, wenn beide Dateien existieren.
Phase 3: FFMPEG CUTS
Ziel: Die EDL deterministisch ausführen – einen FFmpeg-Schnitt pro Segment in cuts.txt.
Einschränkung: Batch-Schnitt aus der EDL mit einer Schleife durchführen. Keine einzelnen FFmpeg-Befehle pro Schnitt erstellen. Dies gewährleistet Reproduzierbarkeit und Prüfbarkeit als Liste.
Einschränkung: concat-list.txt immer aus der Reihenfolge von cuts.txt erzeugen, nicht aus einem Shell-Glob. Shell-Glob (segments/*.mp4) sortiert alphabetisch, nicht nach EDL-Reihenfolge.
Schritte: Batch-Schnitt aus der EDL mit while-Schleife (libx264/aac, -avoid_negative_ts make_zero), Segmente verifizieren, concat-list.txt in EDL-Reihenfolge erzeugen, Concat mit -f concat -safe 0 -c copy. Vollständiger Befehlsblock: references/phase-commands.md -> Phase 3. Siehe auch references/ffmpeg-commands.md -> Batch-Cutting.
Prüfpunkt: Alle Segmentdateien existieren. assembled/rough-cut.mp4 auf Festplatte geschrieben. Nur fortfahren, wenn der Prüfpunkt bestanden ist.
Phase 4: REMOTION KOMPOSITION
Ziel: Segmente in eine Remotion-TSX-Komposition einbetten für programmatische Overlays, Titel oder Übergänge.
Wann verwenden: Nur wenn rough-cut.mp4 programmatische Elemente benötigt (animierte Titel, Lower Thirds, Untertitelspuren, Marken-Overlays). Wenn rough-cut.mp4 ausreicht, zu Phase 6 springen.
Einschränkung: Stufe 4 erfordert TypeScript/React. An typescript-frontend-engineer für TSX-Arbeit übergeben; ab Phase 5 an python-general-engineer zurückgeben.
Schritte: Remotion initialisieren (npm create video@latest beim ersten Mal; sonst npm install @remotion/cli @remotion/player remotion), Komposition aufbauen (siehe references/remotion-scaffold.md), rendern mit npx remotion render. Vollständiger Befehlsblock: references/phase-commands.md -> Phase 4.
Prüfpunkt: assembled/remotion-output.mp4 existiert. Nur fortfahren, wenn der Prüfpunkt bestanden ist.
Phase 5: KI-GENERIERUNG
Ziel: Echte Lücken im Quellmaterial mit generierten Assets füllen – nur bei Bedarf.
Einschränkung: Vor der Generierung prüfen, ob vorhandenes Filmmaterial die Lücke abdeckt. Nur generieren, was nicht existiert.
Entscheidungsbaum: um die Lücke herumschneiden → cuts.txt aktualisieren und Phase 3 erneut ausführen; Voiceover → ElevenLabs (Autorisierung erforderlich); Musik → fal.ai (an fal-ai-media delegieren); B-Roll → fal.ai (an fal-ai-media delegieren). ElevenLabs Python-Helfer, Autorisierungsmuster und Speicher-auf-Disk-Ablauf: references/phase-commands.md -> Phase 5.
Prüfpunkt: Alle erforderlichen generierten Assets im Verzeichnis assets/ gespeichert, bevor fortgefahren wird.
Phase 6: FINAL POLISH
Ziel: Zusammengebautes Ergebnis liefern und die geschmackliche Feinarbeit an einen Menschen übergeben.
Einschränkung: Stufe 6 ist menschliches Territorium. Der Skill baut zusammen; der Mensch vollendet. Die folgenden Punkte erfordern menschliches Urteilsvermögen und sollten nicht programmatisch versucht werden:
- Farbkorrektur und Farbabstimmung zwischen Clips
- Musik-Timing und Lautstärke-Ducking
- Untertitel-Stil, Schriftart, Positionierung
- Übergangs-Timing und -Stil
- Endgültige Audio-Mix-Pegel
Übergabe-Vorlage (handoff-notes.txt mit Quellenliste, EDL, Pfad des Rohschnitts, Checkliste für den Menschen): references/phase-commands.md -> Phase 6.
Prüfpunkt: assembled/rough-cut.mp4 (oder assembled/remotion-output.mp4) existiert. handoff-notes.txt auf Festplatte geschrieben.
Video-Transkript-Extraktion
Transkript eines Videos als lesbare Absätze extrahieren. Uploader-Untertitel bevorzugen; auf automatisch generierte zurückfallen.
# Pfad 1: Uploader-Untertitel (genau)
yt-dlp --skip-download --write-subs --sub-langs en --sub-format vtt -o '<arbeitsverz>/%(id)s' '<URL>'
# Pfad 2: automatisch generiert (Rückfall, wenn Pfad 1 keine Datei schreibt)
yt-dlp --skip-download --write-auto-subs --sub-langs en --sub-format vtt -o '<arbeitsverz>/%(id)s' '<URL>'
# VTT in Absätze bereinigen
python3 skills/research/video-transcript/scripts/vtt_to_paragraph.py <arbeitsverz>/<id>.en.vtt
Optionen: --timestamps für [mm:ss]-Marker, --keep-brackets für Cue-Tags, -o DATEI für Dateiausgabe. Andere Sprachen: --sub-langs ändern. Verfügbare auflisten: yt-dlp --list-subs '<URL>'.
Fehlerbehandlung
| Fehler | Ursache | Lösung |
|---|---|---|
| "No such file or directory" bei Quelle | Pfad in cuts.txt stimmt nicht mit Dateiname überein | cat source-inventory.txt ausführen. Pfade mit Leerzeichen in Anführungszeichen setzen. |
| FFmpeg "Invalid option" oder Codec-Fehler | Codec nicht verfügbar oder Syntaxfehler | `ffmpeg -codecs |
| Remotion "Could not find composition" | Kompositions-ID stimmt nicht überein | src/index.ts auf registrierte ID prüfen. Im Render-Befehl exakt übereinstimmen. |
| Segmente in falscher Reihenfolge | Shell-Glob sortiert alphabetisch, nicht nach EDL | concat-list.txt aus der Reihenfolge von cuts.txt erzeugen, nicht aus Glob. |
| ElevenLabs 401 | ELEVENLABS_API_KEY nicht gesetzt | export ELEVENLABS_API_KEY=dein_schlüssel vor Phase 5. |
| Keine .vtt-Datei aus Transkript-Extraktion | Video hat keine Untertitel in der angeforderten Sprache | yt-dlp --list-subs '<URL>' ausführen und eine verfügbare Sprache auswählen. |