Communitygithub.com

VexJoy-Agent – Videobearbeitungspipeline

Automatisierte Videobearbeitungspipeline: Schnitte, Zusammenbau und Effekte mit FFmpeg und Remotion, gesteuert durch KI-Entscheidungen.

Was ist VexJoy-Agent – Videobearbeitungspipeline?

Dieser Skill implementiert eine 6-stufige Pipeline für die Videobearbeitung, bei der KI-Entscheidungen (was behalten, was schneiden, Highlight-Auswahl) mit deterministischer Ausführung durch FFmpeg und Remotion kombiniert werden. Die Pipeline umfasst das Inventarisieren von Quellmaterial (CAPTURE), das Erstellen eines EDL-Schnittprotokolls durch KI (AI STRUCTURE), das Schneiden mit FFmpeg basierend auf der EDL (FFMPEG CUTS), die Komposition mit Remotion für Overlays und Titel (REMOTION COMPOSITION), das Füllen von Lücken mit generierten Assets wie Sprache oder Musik (AI GENERATION) und schließlich die menschliche Feinarbeit (FINAL POLISH). Der Skill unterstützt Plattformen mit `ffmpeg`, `node` und optional `remotion` und `npx`. Entwickler profitieren von reproduzierbaren, KI-gestützten Workflows, die manuelle Schritte minimieren. Fehlerbehandlung ist über Gates sichergestellt: Jede Phase blockiert, bis die vorherige erfolgreich abgeschlossen ist. Referenzen zu konkreten Befehlen und Skripten sind in separaten Dateien hinterlegt.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/notque/vexjoy-agent/tree/HEAD/skills/content/video-editing

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Videobearbeitungs-Skill

Übersicht

Dieser Skill implementiert eine 6-stufige Pipeline, bei der KI Entscheidungsaufgaben übernimmt (was behalten, was schneiden, Highlight-Auswahl) und FFmpeg/Remotion die mechanische Ausführung deterministisch durchführen.

StufeNameMechanismusPrimäres Werkzeug
1CAPTUREQuellmaterial inventarisierenBash + Glob
2AI STRUCTURETranskript in EDL umwandelnKI-Entscheidung
3FFMPEG CUTSEDL in SegmentdateienFFmpeg (deterministisch)
4REMOTION KOMPOSITIONSegmente in TSX-KompositionRemotion + TypeScript
5KI-GENERIERUNGLücken mit generierten Assets füllenElevenLabs / fal.ai (optional)
6FINAL POLISHMenschliche FeinarbeitMensch + NLE

Tiefe Referenzen

SignalDateiInhalt
Shell-Befehle für jede Phase, Prüfpunktereferences/phase-commands.mdVollständige Befehlsblöcke für Phase 1–6
FFmpeg-Rezepte: Schneiden, Concat, Proxy, Erkennungreferences/ffmpeg-commands.mdTimestamp-Extraktion, Batch-Cutting, Audio-Normalisierung, Szenen-/Stilleerkennung
Remotion-Kompositionsgerüstreferences/remotion-scaffold.mdTSX-Kompositionsvorlage, Render-Befehl, Wiederverwendungsmuster
Bild-zu-Video-Pipelinereferences/image-to-video.mdValidieren, Vorbereiten, Kodieren, Überprüfen-Workflow
FFmpeg-Filtergraphen für Visualisierungreferences/ffmpeg-filters.mdScale/Pad, Showwaves, Showspectrum, Overlay, vollständige Filtergraphen

Anleitung

Vorbereitung (vor Phase 1 ausführen)

Harte Anforderungen (BLOCKIERT bei Fehlen): ffmpeg (alle Phasen), node (Remotion / npx). Weiche Anforderungen (WARNUNG bei Fehlen): remotion (nur für Phase 4 erforderlich).

which ffmpeg >/dev/null 2>&1 || { echo "FEHLER: ffmpeg nicht gefunden. Installieren: brew install ffmpeg (macOS) | apt install ffmpeg (Linux)"; exit 1; }
which node >/dev/null 2>&1 || { echo "FEHLER: node nicht gefunden. Installieren: https://nodejs.org oder via nvm"; exit 1; }
npx remotion --version >/dev/null 2>&1 || echo "WARNUNG: remotion CLI nicht gefunden. Phase 4 nicht verfügbar. Installieren: npm install @remotion/cli"

Phase 1: CAPTURE

Ziel: Alle Quellvideos inventarisieren und prüfen, dass die Dateien auf der Festplatte existieren, bevor irgendeine Verarbeitung beginnt.

Einschränkung: Quelldateien sind schreibgeschützt. Alle FFmpeg-Befehle schreiben nur in neue Dateien. Niemals Quellmaterial überschreiben.

Schritte: Quelldateien suchen (find), jede mit ffprobe inspizieren, Proxies für Dateien >10 Min erstellen (siehe references/ffmpeg-commands.md -> Proxy-Generierung), Arbeitsverzeichnisse erstellen (segments/, assembled/). Vollständiger Befehlsblock: references/phase-commands.md -> Phase 1.

Prüfpunkt: Quelldateien auf Festplatte bestätigt. Dateiliste in source-inventory.txt geschrieben. Nur fortfahren, wenn der Prüfpunkt bestanden ist.


Phase 2: AI STRUCTURE

Ziel: Inhalt analysieren und ein schriftliches EDL (cuts.txt) erstellen, das alle nachgelagerten Schnitte steuert.

Einschränkung: cuts.txt ist der Vertrag. Die EDL-Datei ist die einzige Quelle der Wahrheit für nachgelagerte Phasen. FFmpeg-Befehle nicht von Hand bearbeiten – sie aus der EDL generieren.

Einschränkung: Vor dem manuellen Schreiben der EDL FFmpeg-Szenen-/Stilleerkennung ausführen. Die Erkennungsausgabe informiert die Entscheidung, ersetzt sie nicht.

Schritte: Transkription mit Whisper/AssemblyAI, Szenen-/Stilleerkennung durchführen, Entscheidung treffen (was treibt die Geschichte voran, was ist Füllmaterial, Zieldauer), cuts.txt im EDL-Format STARTZEIT,ENDZEIT,LABEL schreiben, auf Überlappungen und Gesamtdauer prüfen. Vollständiger Befehlsblock und EDL-Formatbeispiel: references/phase-commands.md -> Phase 2.

Prüfpunkt: transcript.txt existiert. cuts.txt auf Festplatte geschrieben. Nur fortfahren, wenn beide Dateien existieren.


Phase 3: FFMPEG CUTS

Ziel: Die EDL deterministisch ausführen – einen FFmpeg-Schnitt pro Segment in cuts.txt.

Einschränkung: Batch-Schnitt aus der EDL mit einer Schleife durchführen. Keine einzelnen FFmpeg-Befehle pro Schnitt erstellen. Dies gewährleistet Reproduzierbarkeit und Prüfbarkeit als Liste.

Einschränkung: concat-list.txt immer aus der Reihenfolge von cuts.txt erzeugen, nicht aus einem Shell-Glob. Shell-Glob (segments/*.mp4) sortiert alphabetisch, nicht nach EDL-Reihenfolge.

Schritte: Batch-Schnitt aus der EDL mit while-Schleife (libx264/aac, -avoid_negative_ts make_zero), Segmente verifizieren, concat-list.txt in EDL-Reihenfolge erzeugen, Concat mit -f concat -safe 0 -c copy. Vollständiger Befehlsblock: references/phase-commands.md -> Phase 3. Siehe auch references/ffmpeg-commands.md -> Batch-Cutting.

Prüfpunkt: Alle Segmentdateien existieren. assembled/rough-cut.mp4 auf Festplatte geschrieben. Nur fortfahren, wenn der Prüfpunkt bestanden ist.


Phase 4: REMOTION KOMPOSITION

Ziel: Segmente in eine Remotion-TSX-Komposition einbetten für programmatische Overlays, Titel oder Übergänge.

Wann verwenden: Nur wenn rough-cut.mp4 programmatische Elemente benötigt (animierte Titel, Lower Thirds, Untertitelspuren, Marken-Overlays). Wenn rough-cut.mp4 ausreicht, zu Phase 6 springen.

Einschränkung: Stufe 4 erfordert TypeScript/React. An typescript-frontend-engineer für TSX-Arbeit übergeben; ab Phase 5 an python-general-engineer zurückgeben.

Schritte: Remotion initialisieren (npm create video@latest beim ersten Mal; sonst npm install @remotion/cli @remotion/player remotion), Komposition aufbauen (siehe references/remotion-scaffold.md), rendern mit npx remotion render. Vollständiger Befehlsblock: references/phase-commands.md -> Phase 4.

Prüfpunkt: assembled/remotion-output.mp4 existiert. Nur fortfahren, wenn der Prüfpunkt bestanden ist.


Phase 5: KI-GENERIERUNG

Ziel: Echte Lücken im Quellmaterial mit generierten Assets füllen – nur bei Bedarf.

Einschränkung: Vor der Generierung prüfen, ob vorhandenes Filmmaterial die Lücke abdeckt. Nur generieren, was nicht existiert.

Entscheidungsbaum: um die Lücke herumschneiden → cuts.txt aktualisieren und Phase 3 erneut ausführen; Voiceover → ElevenLabs (Autorisierung erforderlich); Musik → fal.ai (an fal-ai-media delegieren); B-Roll → fal.ai (an fal-ai-media delegieren). ElevenLabs Python-Helfer, Autorisierungsmuster und Speicher-auf-Disk-Ablauf: references/phase-commands.md -> Phase 5.

Prüfpunkt: Alle erforderlichen generierten Assets im Verzeichnis assets/ gespeichert, bevor fortgefahren wird.


Phase 6: FINAL POLISH

Ziel: Zusammengebautes Ergebnis liefern und die geschmackliche Feinarbeit an einen Menschen übergeben.

Einschränkung: Stufe 6 ist menschliches Territorium. Der Skill baut zusammen; der Mensch vollendet. Die folgenden Punkte erfordern menschliches Urteilsvermögen und sollten nicht programmatisch versucht werden:

  • Farbkorrektur und Farbabstimmung zwischen Clips
  • Musik-Timing und Lautstärke-Ducking
  • Untertitel-Stil, Schriftart, Positionierung
  • Übergangs-Timing und -Stil
  • Endgültige Audio-Mix-Pegel

Übergabe-Vorlage (handoff-notes.txt mit Quellenliste, EDL, Pfad des Rohschnitts, Checkliste für den Menschen): references/phase-commands.md -> Phase 6.

Prüfpunkt: assembled/rough-cut.mp4 (oder assembled/remotion-output.mp4) existiert. handoff-notes.txt auf Festplatte geschrieben.


Video-Transkript-Extraktion

Transkript eines Videos als lesbare Absätze extrahieren. Uploader-Untertitel bevorzugen; auf automatisch generierte zurückfallen.

# Pfad 1: Uploader-Untertitel (genau)
yt-dlp --skip-download --write-subs --sub-langs en --sub-format vtt -o '<arbeitsverz>/%(id)s' '<URL>'
# Pfad 2: automatisch generiert (Rückfall, wenn Pfad 1 keine Datei schreibt)
yt-dlp --skip-download --write-auto-subs --sub-langs en --sub-format vtt -o '<arbeitsverz>/%(id)s' '<URL>'
# VTT in Absätze bereinigen
python3 skills/research/video-transcript/scripts/vtt_to_paragraph.py <arbeitsverz>/<id>.en.vtt

Optionen: --timestamps für [mm:ss]-Marker, --keep-brackets für Cue-Tags, -o DATEI für Dateiausgabe. Andere Sprachen: --sub-langs ändern. Verfügbare auflisten: yt-dlp --list-subs '<URL>'.

Fehlerbehandlung

FehlerUrsacheLösung
"No such file or directory" bei QuellePfad in cuts.txt stimmt nicht mit Dateiname übereincat source-inventory.txt ausführen. Pfade mit Leerzeichen in Anführungszeichen setzen.
FFmpeg "Invalid option" oder Codec-FehlerCodec nicht verfügbar oder Syntaxfehler`ffmpeg -codecs
Remotion "Could not find composition"Kompositions-ID stimmt nicht übereinsrc/index.ts auf registrierte ID prüfen. Im Render-Befehl exakt übereinstimmen.
Segmente in falscher ReihenfolgeShell-Glob sortiert alphabetisch, nicht nach EDLconcat-list.txt aus der Reihenfolge von cuts.txt erzeugen, nicht aus Glob.
ElevenLabs 401ELEVENLABS_API_KEY nicht gesetztexport ELEVENLABS_API_KEY=dein_schlüssel vor Phase 5.
Keine .vtt-Datei aus Transkript-ExtraktionVideo hat keine Untertitel in der angeforderten Spracheyt-dlp --list-subs '<URL>' ausführen und eine verfügbare Sprache auswählen.

Verwandte Skills