Communitygithub.com

OpenSkynet – Jedes Video per Gespräch bearbeiten

Bearbeite jedes Video durch Unterhaltung. Transkribiere, schneide, korrigiere Farben, generiere Überlagerungsanimationen, brenne Untertitel ein – für Talking Heads, Montagen, Tutorials, Reisen, Interviews. Keine Voreinstellungen, keine Menüs. Stelle Fragen, bestätige den Plan, führe aus, iteriere, bleibe dran. Produktionskorrekturregeln sind hart; alles andere ist künstlerische Freiheit.

Was ist OpenSkynet – Jedes Video per Gespräch bearbeiten?

Diese Fähigkeit für KI-Agenten (wie Claude Code, Cursor, Codex) verwandelt Videobearbeitung in einen dialoggesteuerten Prozess. Anstatt starrer Voreinstellungen oder Menüs analysiert der Agent das Rohmaterial (Transkription visuelle Vorschau), führt ein Gespräch mit dem Benutzer über Stil, Schnitt und Vorgehen, schlägt eine Strategie vor und führt sie nach Bestätigung aus – mit Iteration und Persistenz über mehrere Sitzungen hinweg. Unterstützt werden ffmpeg, PIL, HyperFrames, Remotion, Manim und yt-dlp. Das System erzwingt zwölf nicht verhandelbare Produktionsregeln (z. B. Untertitel zuletzt in der Filterkette, 30 ms Audio-Überblendungen an Schnitten, Vermeidung von Schnitten innerhalb von Wörtern), lässt aber ansonsten volle künstlerische Freiheit. Der Arbeitsablauf umfasst Inventarisierung, Problemvorscan, Dialog, Strategievorschlag, Ausführung mit parallelen Unteragenten für Animationen, Selbstprüfung der Ausgabe und Iteration. Die gesamte Ausgabe wird organisiert in `<videos_dir>/edit/`.

Funktioniert mit✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/sediman-agent/OpenSkynet/tree/HEAD/skills/browser-use_video-use/video-use

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Videobearbeitung

Prinzip

  1. LLM denkt vom rohen Transkript + bedarfsgesteuerten Bildern aus. Das einzige abgeleitete Artefakt, das sich lohnt, ist ein dicht gepacktes, phrase-level Transkript (takes_packed.md). Alles andere – Füllwort-Markierung, Wiederholungserkennung, Aufnahme-Klassifizierung, Betonungsbewertung – leitest du zum Entscheidungszeitpunkt ab.
  2. Audio ist primär, Bilder folgen. Schnittkandidaten kommen von Sprachgrenzen und Stillelücken. Tauche nur an Entscheidungspunkten in die Bilder ein.
  3. Fragen → Bestätigen → Ausführen → Iterieren → Beibehalten. Berühre den Schnitt nie, bis der Benutzer die Strategie in klarem Englisch bestätigt hat.
  4. Verallgemeinere. Gehe nicht davon aus, um welche Art von Video es sich handelt. Sieh dir das Material an, frage den Benutzer, dann bearbeite.
  5. Künstlerische Freiheit ist die Voreinstellung. Jeder spezifische Wert, jede Voreinstellung, Schriftart, Farbe, Dauer, Tonhöhenstruktur und Technik in diesem Dokument ist ein ausgearbeitetes Beispiel aus einem bewährten Video – keine Vorschrift. Lies sie, um zu verstehen, was möglich ist und warum jedes funktioniert hat. Dann triff deine eigenen Geschmacksentscheidungen basierend darauf, was das Material tatsächlich ist und was der Benutzer tatsächlich will. Das Einzige, was du TUN MUSST, steht im Abschnitt „Harte Regeln“ unten. Alles andere ist deins.
  6. Erfinde frei. Wenn das Material eine hier nicht beschriebene Technik verlangt – Split-Screen, Bild-in-Bild, Identifikationskarten im unteren Drittel, Reaktionsschnitte, Geschwindigkeitsrampen, Standbilder, Überblendungen, Match Cuts, L-Cuts, J-Cuts, Geschwindigkeitsrampen über Atem, was auch immer – baue sie. Die Helfer sind ffmpeg und PIL. Sie können alles tun, was das Format unterstützt. Warte nicht auf Erlaubnis.
  7. Überprüfe deine eigene Ausgabe, bevor du sie dem Benutzer zeigst. Wenn du sie nicht ausliefern würdest, präsentiere sie nicht.

Harte Regeln (Produktionskorrektheit – nicht verhandelbar)

Dies sind die Dinge, bei denen Abweichungen zu stillen Fehlern oder defekter Ausgabe führen. Sie sind keine Geschmacksfrage, sondern Korrektheit. Merke sie dir.

  1. Untertitel werden als LETZTES in der Filterkette angewendet, nach jeder Überlagerung. Sonst verstecken Überlagerungen die Untertitel. Stiller Fehler.
  2. Extraktion pro Segment → verlustfreies -c copy Concat, kein Single-Pass-Filtergraph. Sonst kodierst du jedes Segment doppelt, wenn Überlagerungen hinzugefügt werden.
  3. 30ms Audio-Überblendungen an jeder Segmentgrenze (afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03). Sonst hörbare Knackser an jedem Schnitt.
  4. Überlagerungen verwenden setpts=PTS-STARTPTS+T/TB, um den Frame 0 der Überlagerung an den Start ihres Fensters zu verschieben. Sonst siehst du die Mitte der Animation während des Überlagerungsfensters.
  5. Master-SRT verwendet Ausgabe-Zeitleisten-Offsets: output_time = word.start - segment_start + segment_offset. Sonst sind die Untertitel nach dem Segment-Concat verschoben.
  6. Schneide niemals innerhalb eines Wortes. Jede Schnittkante muss an einer Wortgrenze aus dem Scribe-Transkript einrasten.
  7. Polstere jede Schnittkante. Arbeitsfenster: 30–200 ms. Scribe-Zeitstempel driften um 50–100 ms – die Polsterung absorbiert die Drift. Enger für schnelles Tempo, lockerer für filmisch.
  8. Nur wortgenaue ASR. Niemals SRT-/Phrase-Modus (verliert sub-sekunden Daten). Niemals normalisierte Füllwörter (verliert redaktionelles Signal).
  9. Zwischenspeichere Transkripte pro Quelle. Transkribiere nie neu, es sei denn, die Quelldatei selbst hat sich geändert.
  10. Parallele Sub-Agenten für mehrere Animationen. Niemals sequentiell. Starte N gleichzeitig über das Agent-Tool; Gesamtzeit ≈ langsamste.
  11. Strategiebestätigung vor der Ausführung. Berühre den Schnitt nie, bis der Benutzer den klaren Plan auf Englisch genehmigt hat.
  12. Alle Sitzungsausgaben in <videos_dir>/edit/. Schreibe niemals innerhalb des video-use/ Projektverzeichnisses.

Alles andere in diesem Dokument ist ein ausgearbeitetes Beispiel. Weiche ab, wann immer das Material es verlangt.

Verzeichnisstruktur

Die Fähigkeit lebt in video-use/. Das Benutzermaterial liegt, wo immer sie es ablegen. Alle Sitzungsausgaben gehen nach <videos_dir>/edit/.

<videos_dir>/
├── <Quelldateien, unberührt>
└── edit/
    ├── project.md              ← Gedächtnis; wird jede Sitzung ergänzt
    ├── takes_packed.md         ← phrase-level Transkripte, primäre Leseansicht des LLM
    ├── edl.json                ← Schnittentscheidungen
    ├── transcripts/<name>.json ← zwischengespeichertes rohes Scribe-JSON
    ├── animations/slot_<id>/   ← Pro-Animation Quelle + Render + Begründung
    ├── clips_graded/           ← Pro-Segment Extraktionen mit Grading + Überblendungen
    ├── master.srt              ← Ausgabe-Zeitleisten-Untertitel
    ├── downloads/              ← yt-dlp Ausgaben
    ├── verify/                 ← Debug-Frames / Zeitstrahl-PNGs
    ├── preview.mp4
    └── final.mp4

Einrichtung

Die Ersteinrichtung befindet sich in install.md (Klonen, Abhängigkeiten, ffmpeg, Fähigkeitsregistrierung, API-Schlüssel). Führe es nicht jede Sitzung erneut aus; bei Kaltstart überprüfe einfach:

  • ELEVENLABS_API_KEY ist aufgelöst – entweder in der Umgebung oder in .env im Stammverzeichnis des video-use-Repositorys. Falls fehlend, bitte den Benutzer, einen einzufügen und in .env zu schreiben (niemals in das <videos_dir> des Benutzers).
  • ffmpeg + ffprobe im PATH.
  • Python-Abhängigkeiten installiert (uv sync oder pip install -e . im Repository).
  • Node.js + npm verfügbar, falls die Sitzung HyperFrames- oder Remotion-Slots benötigt. HyperFrames benötigt derzeit Node.js 22+.
  • yt-dlp, HyperFrames, Remotion, Manim nur bei erster Verwendung installiert.
  • Die Animationseinrichtung bei erster Verwendung erfolgt innerhalb des Slot-Verzeichnisses, nie im Stammverzeichnis des video-use-Repositorys. HyperFrames kann mit npx --yes hyperframes ... aufgerufen werden; Remotion kann mit npx create-video@latest eingerichtet oder als projektspezifische Abhängigkeit installiert werden, bevor der Befehl remotion render verwendet wird.
  • Diese Fähigkeit enthält skills/manim-video/. Lies deren SKILL.md, wenn du einen Manim-Slot baust.

Helfer (helpers/transcribe.py, helpers/render.py, etc.) befinden sich neben dieser SKILL.md. Löse ihre Pfade relativ zum Verzeichnis, das diese Datei enthält – die Fähigkeit ist normalerweise unter ~/.claude/skills/video-use/ oder ~/.codex/skills/video-use/ symbolisch verlinkt.

Helfer

  • transcribe.py <video> – Einzeldatei-Aufruf von Scribe. --num-speakers N optional. Zwischengespeichert.
  • transcribe_batch.py <videos_dir> – 4-Worker parallele Transkription. Verwende für mehrere Aufnahmen.
  • pack_transcripts.py --edit-dir <dir> – transcripts/*.json → takes_packed.md (phrase-level, bricht bei Stille ≥ 0.5s).
  • timeline_view.py <video> <start> <end> – Filmstreifen + Wellenform-PNG. Bedarfsgesteuerter visueller Detailblick. Kein Scan-Werkzeug – verwende es an Entscheidungspunkten, nicht ständig.
  • render.py <edl.json> -o <ausgabe> – Pro-Segment Extraktion → Concat → Überlagerungen (PTS-verschoben) → Untertitel als LETZTES. --preview für 720p schnell. --build-subtitles um master.srt direkt zu erzeugen.
  • grade.py <eingabe> -o <ausgabe> – ffmpeg-Filterketten-Grading. Voreinstellungen + --filter '<raw>' für benutzerdefiniert.

Erstelle für Animationen <edit>/animations/slot_<id>/ mit Bash und starte einen Unter-Agenten über das Agent-Tool.

Der Prozess

  1. Inventur. ffprobe für jede Quelle. transcribe_batch.py auf das Verzeichnis. pack_transcripts.py um takes_packed.md zu erzeugen. Mustere ein oder zwei timeline_views für einen ersten visuellen Eindruck.

  2. Vorscan auf Probleme. Ein Durchlauf über takes_packed.md, um verbale Ausrutscher, offensichtliche Versprecher oder zu vermeidende Formulierungen zu notieren. Reine Liste, fließt in die Redakteursanweisung ein.

  3. Gespräch. Beschreibe, was du siehst, in klarer Sprache. Stelle Fragen, die durch das Material geprägt sind. Sammle: Inhaltstyp, Ziellänge/-seitenverhältnis, ästhetische/Markenrichtung, Tempo-Gefühl, unbedingt zu erhaltende Momente, unbedingt zu schneidende Momente, Animations- und Grading-Präferenzen, Untertitel-Bedarf. Verwende keine feste Checkliste – die richtigen Fragen sind jedes Mal anders.

  4. Strategie vorschlagen. 4–8 Sätze: Form, Aufnahmeauswahl, Schnittrichtung, Animationsplan, Grading-Richtung, Untertitel-Stil, Längenschätzung. Warte auf Bestätigung.

  5. Ausführen. Erzeuge edl.json über die Redakteurs-Sub-Agenten-Anweisung. Tauche mit timeline_view in mehrdeutige Momente ein. Baue Animationen in parallelen Sub-Agenten. Wende Grading pro Segment an. Komponiere über render.py.

  6. Vorschau. render.py --preview.

  7. Selbstbewertung (bevor du es dem Benutzer zeigst). Führe timeline_view auf dem gerenderten Ausgabe (nicht den Quellen) an jeder Schnittgrenze aus (±1,5s Fenster). Überprüfe jedes Bild auf:

    • Visuelle Diskontinuität / Aufblitzen / Sprung am Schnitt
    • Wellenform-Spitze an der Grenze (Audio-Knackser, der die 30ms-Überblendung umgangen hat)
    • Untertitel hinter einer Überlagerung versteckt (Verstoß gegen Regel 1)
    • Überlagerung falsch ausgerichtet oder falsche Frames zeigend (Verstoß gegen Regel 4)

    Mustere auch: erste 2s, letzte 2s und 2–3 Mittelpunkte – überprüfe Grading-Konsistenz, Untertitellesbarkeit, Gesamtkohärenz. Führe ffprobe auf der Ausgabe aus, um zu überprüfen, ob die Dauer der EDL-Erwartung entspricht.

    Wenn etwas fehlschlägt: korrigieren → neu rendern → neu bewerten. Begrenze auf 3 Selbstbewertungsdurchläufe – wenn nach 3 noch Probleme bestehen, melde sie dem Benutzer, anstatt ewig zu loopen. Präsentiere die Vorschau erst, wenn die Selbstbewertung bestanden ist.

  8. Iterieren + Beibehalten. Rückmeldung in natürlicher Sprache, neu planen, neu rendern. Niemals neu transkribieren. Endgültiger Render nach Bestätigung. An project.md anhängen.

Schnitthandwerk (Techniken)

  • Audio zuerst. Schnittkandidaten von Wortgrenzen und Stillelücken.
  • Höhepunkte bewahren. Lachen, Pointen, Betonungs-Schläge. Verlängere über Pointen hinaus, um Reaktionen einzuschließen – das Lachen IST der Schlag.
  • Sprecherwechsel profitieren von Luft zwischen den Äußerungen. Übliche Werte: 400–600 ms. Weniger für schnelles Tempo, mehr für filmisch. Geschmacksfrage.
  • Audioereignisse als Signale. (lacht), (seufzt), (Applaus) markieren Schläge. Verlängere über sie hinaus.
  • Stillelücken sind Schnittkandidaten. Stille ≥400 ms ist normalerweise die sauberste. 150–400 ms Phrasengrenzen sind mit einer visuellen Überprüfung nutzbar. <150 ms ist unsicher (mitten in der Phrase).
  • Beispiel-Schnittpolsterung (das Auslieferungsvideo, das damit kam): 50 ms vor dem ersten behaltenen Wort, 80 ms nach dem letzten. Enger für Montage-Energie, lockerer für Dokumentation. Bleibe im 30–200 ms Arbeitsfenster (Harte Regel 7).
  • Betrachte Audio und Video niemals unabhängig. Jeder Schnitt muss auf beiden Spuren funktionieren.

Das gepackte Transkript (primäre Leseansicht)

pack_transcripts.py liest alle transcripts/*.json und erzeugt eine Markdown-Datei, in der jede Aufnahme eine Liste von phrase-level Zeilen ist, jede mit ihrem [Start-Ende] Zeitbereich versehen. Phrasen brechen bei jeder Stille ≥ 0.5s ODER Sprecherwechsel. Dies ist das Artefakt, das der Redakteurs-Sub-Agent liest, um Schnitte auszuwählen – es bietet Wortgrenzen-Genauigkeit allein aus Text bei 1/10 der Token des rohen JSON.

Beispielzeile:

## C0103  (Dauer: 43.0s, 8 Phrasen)
  [002.52-005.36] S0 Neunzig Prozent von dem, was ein Web-Agent tut, ist völlig verschwendet.
  [006.08-006.74] S0 Wir haben das behoben.

Redakteurs-Sub-Agenten-Anweisung (für Multi-Take-Auswahl)

Wenn die Aufgabe darin besteht, „den besten Take jedes Beats über viele Clips hinweg auszuwählen“, starte einen dedizierten Sub-Agenten mit einer Anweisung wie dieser. Die Struktur ist tragend; das Tonhöhenbeispiel ist es nicht.

Du bearbeitest ein <Typ>-Video. Wähle den besten Take jedes Beats und setze sie
chronologisch nach Beat zusammen, nicht nach Quellclip-Reihenfolge.

EINGABEN:
  - takes_packed.md (zeitannotierte phrase-level Transkripte aller Takes)
  - Produkt/Erzählkontext: <2 Sätze vom Benutzer>
  - Sprecher: <Name, Rolle, Anmerkung zum Vortragsstil>
  - Erwartete Struktur: <wähle einen Archetyp oder erfinde einen>
  - Zu vermeidende verbale Ausrutscher: <Liste aus dem Vorscan-Durchlauf>
  - Ziellaufzeit: <Sekunden>

Gängige strukturelle Archetypen (wähle, passe an oder erfinde):
  - Technologie-Launch / Demo:   HAKEN → PROBLEM → LÖSUNG → NUTZEN → BEISPIEL → HANDLUNGSAUFFORDERUNG
  - Tutorial:              EINFÜHRUNG → EINRICHTUNG → SCHRITTE → STOLPERFALLEN → ZUSAMMENFASSUNG
  - Interview:             (FRAGE → ANTWORT → NACHFRAGE) wiederholen
  - Reise / Ereignis:       ANKUNFT → HÖHEPUNKTE → RUHIGE MOMENTE → ABREISE
  - Dokumentation:          THESE → BEWEISE → GEGENTHESE → SCHLUSSFOLGERUNG
  - Musik / Aufführung:    INTRO → STROPHE → REFRAIN → BRÜCKE → OUTRO
  - Oder erfinde deine eigene.

REGELN:
  - Start-/Endzeiten müssen auf Wortgrenzen aus dem Transkript fallen.
  - Polstere Schnittgrenzen (Arbeitsfenster 30–200 ms).
  - Bevorzuge Stille ≥ 400 ms als Schnittziele.
  - Unvermeidbare Ausrutscher werden behalten, wenn kein besserer Take existiert. Notiere sie unter „Grund“.
  - Wenn über Budget, überarbeite: lasse einen Beat weg oder kürze Enden. Berichte Gesamtzeit und korrigiere dich selbst.

AUSGABE (JSON-Array, kein Prosa):
  [{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "HAKEN",
    "quote": "...", "reason": "..."}, ...]

Gebe das endgültige EDL und eine einzeilige Gesamtlaufzeitprüfung zurück.

Farbkorrektur (auf Anfrage)

Deine Aufgabe ist es, über das Bild nachzudenken, nicht eine Voreinstellung anzuwenden. Sieh dir ein Bild an (über timeline_view), entscheide, was falsch ist, passe eine Sache an, sieh noch einmal hin.

Das mentale Modell ist ASC CDL. Pro Kanal: out = (in * Steigung + Versatz) ** Leistung, dann globale Sättigung. Steigung → Lichter, Versatz → Schatten, Leistung → Mitteltöne.

Beispiel-Filterketten (grade.py hat --list-presets; verwende sie als Ausgangspunkte oder mische deine eigenen):

  • warm_cinematic — retro/technisch, subtile Teal/Orange-Aufspaltung, entsättigt. In einem echten Launch-Video ausgeliefert. Sicher für Talking Heads.
  • neutral_punch — minimal korrektiv: Kontrast-Boost + sanfte S-Kurve. Keine Farbtonverschiebungen.
  • none — direkte Kopie. Standard, wenn der Benutzer nicht gefragt hat.

Für alles andere – Porträt, Natur, Produkt, Musikvideo, Dokumentation – erfinde deine eigene Kette. grade.py --filter '<raw ffmpeg>' akzeptiert jeden Filter-String.

Harte Regeln: Wende pro Segment während der Extraktion an (nicht nach Concat, das zweimal neu kodiert). Werde niemals aggressiv, ohne Hauttöne zu testen.

Untertitel (auf Anfrage)

Untertitel haben drei Dimensionen, über die es sich nachzudenken lohnt: Aufteilung (1/2/3/Satz pro Zeile), Groß-/Kleinschreibung (GROSSBUCHSTABEN/Mit Großbuchstaben/Natürlich) und Platzierung (Abstand vom unteren Rand). Die richtige Kombination hängt vom Inhalt ab.

Ausgearbeitete Stile – wähle, passe an oder erfinde:

bold-overlay – Kurzform-Technologie-Launch, schnelllebiges soziales Netzwerk. 2-Wort-Blöcke, GROSSBUCHSTABEN, Bruch bei Satzzeichen, Helvetica 18 Bold, weiß mit Umriss, MarginV=35. render.py wird damit als SUB_FORCE_STYLE ausgeliefert.

FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35

natural-sentence (wenn du diesen Modus erfindest) – Erzählung, Dokumentation, Bildung. 4–7 Wort-Blöcke, Satzaussage, Bruch bei natürlichen Pausen, MarginV=60–80, größere Schrift

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Verwandte Skills