Agent-Video-Driver
Unabhängig von Asset-Bibliotheken und Schnittsoftware – Bild und Musik werden durch Code berechnet und mit FFmpeg zum fertigen Video zusammengefasst.
Diese Fähigkeit definiert nur die Methode und Disziplin, nicht den Stil. Die Stilbibliothek findest du in references/styles.md.
1. Zwei Bestätigungstore (beide sind obligatorisch)
Tor 1: Startbestätigungstor
Nach Erhalt einer Videoaufgabe muss der Benutzer zuerst über die Kosten informiert werden und seine ausdrückliche Zustimmung einholen, bevor mit dem Rendering begonnen wird:
| Mitzuteilende Kosten | Typische Größenordnung |
|---|---|
| Token-Verbrauch | Ein 30s-Clip ca. 50.000–100.000 Output-Token, 90s+ Segment höher, lange Sitzungen mit Cache-Treffern können Millionen erreichen |
| Zwischenbilder | 30s@30fps ca. 900 PNGs, 1080p ca. 200 MB, 90s+ ca. 3000 Bilder |
| Renderzeit | 1080p@30fps ca. 0,08–0,12s pro Frame, 3000 Frames (Single-Thread) ca. 5 Minuten |
| Maschinenauslastung | Vollrendering und finales Encoding belegen die CPU dauerhaft, spürbare Ruckler auf Entwicklungsmaschinen, durch Limits gemildert |
| Sitzungsbelegung | Eine Sitzung bearbeitet nur eine Videoaufgabe; Einfügen anderer Aufgaben verschmutzt den Kontext und verlangsamt jeden Schritt |
Gleichzeitig vier Dinge bestätigen: Dauer und Auflösung, Bestätigungsmodus (schrittweise oder einmalig), ob Autorennennung gewünscht (standardmäßig nicht), Dateiname der Ausgabe. Schrittweise Bestätigung eignet sich für Themen, bei denen Fakten und Ästhetik Mitspracherecht des Benutzers erfordern; einmalige Bestätigung für Themen mit objektiven Kriterien. Bei beiden Modi wird der Schritt "zuerst die ersten 10 Sekunden zeigen" nicht übersprungen. Vor der Bestätigung durch den Benutzer erfolgen nur Umgebungserkundung und Storyboard-Entwurf, kein Rendering.
Tor 2: Synthesebestätigungstor (separate Bestätigung vor jeder ressourcenintensiven Aktion)
Die Zustimmung aus Tor 1 deckt diesen Schritt nicht ab. Vollrendering und finales Encoding sind die beiden einzigen Aktionen, die die CPU dauerhaft auslasten. Vor jeder dieser Aktionen muss erneut bestätigt werden:
- Zuerst die lokalen Ressourcen erkunden, um Limitvorschläge und Risikohinweise zu erhalten
python scripts/resources.py --for render --frames <Anzahl der Frames>
python scripts/resources.py --for encode --frames <Anzahl der Frames>
- Die Anzahl der Kerne, aktuelle Last, verfügbarer Arbeitsspeicher, freier Speicherplatz auf dem Ziellaufwerk, empfohlene Thread-Anzahl und Encoding-Voreinstellung sowie ob ein Abbruch empfohlen wird, dem Benutzer melden
- Erst nach ausdrücklicher Zustimmung des Benutzers beginnen; bei fehlender Zustimmung nur die Erkundung durchführen, kein Encoding oder Vollrendering
- Dabei immer gemäß den erkannten Limits ausführen, nicht mit voller Kernzahl
scripts/assemble.ps1 hat dieses Tor in das Skript selbst integriert: Ohne -ConfirmAssembly wird nur das Bestätigungstor ausgegeben und mit Exit-Code 3 beendet ("Warte auf Benutzerbestätigung").
-ProbeOnly führt nur die Erkundung durch, kein Encoding. Wenn die Erkundung unzureichenden Speicherplatz oder zu hohe Last feststellt, verweigert das Skript den Start. Ein erzwungener Start erfordert explizit -Force.
2. Acht-Phasen-Workflow
0 Umgebung erkunden -> 1 Briefing & Prompting -> 2 Inhalt & Text -> 3 Stil & Storyboard
-> 4 Musik zuerst -> 5 Segmentweises Rendering -> 6 Encoding & Paketierung -> 7 Objektive Abnahme
Details und Ergebnisse jeder Phase findest du in references/workflow.md.
Jede Phase muss mit einem überprüfbaren Artefakt abgeschlossen werden – nicht alles auf einmal schreiben und dann ausführen.
Die Prompts für Phase 1 bis 3 werden nach den sieben Modulen aus references/prompt-scaffolding.md ausgefüllt, dem Benutzer zusammen mit den Ergebnissen gezeigt.
Vor Phase 5 und Phase 6 wird jeweils das Synthesebestätigungstor durchlaufen (siehe Abschnitt 1, Tor 2).
3. Verzeichnis- und Dateistruktur
<Arbeitsverzeichnis>/
├── .skill/<Fähigkeitsname>/ # Fähigkeitskörper, ein Verzeichnis pro Fähigkeit als Bundle
├── prompts/ # brief.md und Phasenprompts
├── script.md # Bildschirmtexttabelle, Eingabe für timing.py
├── storyboard.md # Storyboard-Tabelle und Startbestätigungstor
├── credits.md # Namensnennung und Lizenzen für externe Assets
├── temp/ # Alle Zwischenprodukte: Frames, plan.json, Test-Renderings, Prüfbilder
├── <Ausgabeverzeichnis>/ # Nur endgültige Lieferdateien und direkt wiederverwendbare Quellskripte
└── audio/ # Musik-WAVs (kann in das Ausgabeverzeichnis integriert werden)
- Zwischenframes MÜSSEN in
temp/landen, vor der Lieferung bereinigen – nicht 3000 PNGs im Stammverzeichnis hinterlassen - Relative Pfade bevorzugen, keine absoluten Pfade in Skripten fest verdrahten
- Ein Video bekommt ein Namenspräfix, Frame-Verzeichnis und Video-Dateiname korrespondieren, um Überschreibungen bei mehreren Aufgaben zu vermeiden
- Weitere Konventionen findest du in
references/conventions.md
4. Stil nicht festgelegt, Musik standardmäßig orchestral
Diese Fähigkeit liefert die Engine, keine Vorlage. Vor dem Start zuerst den Stil wählen, dann Farbpalette und Klangfarbe, erst dann das Storyboard schreiben.
references/styles.md bietet acht direkt anwendbare Stile mit Hex-Farben, Schriftarten, Bewegungsgrammatik, Musikklangfarbe und passenden Themen:
Tiefschwarz-Neon / Kühle Doku / Warme Papieroptik / Minimalistischer Weißraum / Retro-Terminal / Wissenschaftliche Diagramme / Handgezeichneter Doodle / Filmkorn.
Musik standardmäßig mit der Orchestral-Klangbibliothek von scripts/orchestra.py. Begründung: Sie erfüllt gleichzeitig zwei harte Anforderungen:
- Nicht schrill: Klangfarbe basiert auf harmonischen Überlagerungen statt Breitbandrauschen, gemessener Anteil des schrillen Bereichs (2–6kHz) 1,2%, spektraler Schwerpunkt 418Hz
- Nicht eintönig: Zehnteilige Instrumentierungstabelle plus Motivvariationen plus Dynamikbögen, gemessener RMS-Anstieg alle 10s um das 2,80-fache
Nur wenn ein leichterer, modernerer Klang gewünscht wird, werden die Keyboard- und Elektronikklänge von scripts/music.py verwendet.
Unabhängig von der Wahl dürfen drei Situationen nicht auftreten: Durchgehende gleiche Konfiguration im gesamten Video, Frequenzanteile über 50% im Hochtonbereich oder durchgehende Stimmen, die die Taktschläge überdecken.
5. Skriptliste
| Skript | Zweck |
|---|---|
scripts/check_env.py | Erkennt ffmpeg, Python-Bibliotheken, Schriftarten, Festplatte, Sandbox-Einschränkungen, Verfügbarkeit des Render-Pfads |
scripts/resources.py | Ressourcen-Erkundung und Limitvorschläge vor schweren Aufgaben: Kerne, Last, Arbeitsspeicher, Festplatte, empfohlene Thread-Anzahl und Encoding-Voreinstellung |
scripts/check_text.py | Glyphen-Check: Bitmap-Vergleich, um Zeichen zu finden, die zu Blocks werden |
scripts/beats.py | Berechnet BPM, Taktschläge, Taktstriche, Lautstärkeänderungen pro Takt aus Audio |
scripts/timing.py | Ordnet die Bildschirmtexttabelle dem Takt-Raster zu, erzeugt plan.json und Zeitplan für das Storyboard |
scripts/canvas.py | Bild-Engine: Oversampling-Leinwand, Easing, Glühen, Text, generische UI-Komponenten, Rendering-Treiber |
scripts/dsp.py | Gemeinsame DSP-Primitive: Filter, Hall, Bus-Kompression, Warmes Mastering, WAV-Schreiben |
scripts/orchestra.py | Orchestral-Musik-Engine (Standard, empfohlen) |
scripts/music.py | Keyboard- und Elektronik-Musik-Engine (Alternative) |
scripts/sfx.py | Soundeffekt-Spur-Mischung: Mischt vom Benutzer bereitgestellte Effekte gemäß Cue-Tabelle zu einer Spur |
scripts/check_audio.py | Objektiver Musik-Check: Taktsynchronisation, Frequenzbänder, Impulse, Eintönigkeit auf einmal durchführen |
scripts/preview.py | Visuelle Abnahme ohne Sehvermögen: Frames zu farbigen Zeichengrafiken heruntersampeln, unterstützt Vorher-Nachher-Vergleich |
scripts/qa.py | Extrahiert Frames gemäß plan.json pro Bildschirm, vergleicht Frames vor und nach Ankerpunkten, erstellt Übersichtsbild |
scripts/tokens.py | Zählt Token und Kosten der aktuellen Sitzung, für Abspann-Untertitel |
scripts/assemble.ps1 | Encoding, Mischung, Lautstärkenormalisierung, Qualitätsprüfung |
templates/scene_module.py | Szenenmodul-Skelett: Taktauslösung, segmentierte Planung, Intervall-Rendering CLI |
templates/storyboard.md | Storyboard-Tabelle und Bestätigungstor-Vorlage |
templates/brief.md | Briefing-Vorlage, einziger Hintergrund für das gesamte Video |
templates/stage-prompt.md | Phasenprompt-Vorlage, sieben Module |
templates/screen-script.md | Bildschirmtexttabelle-Vorlage, Eingabe für timing.py |
Bildstandard: Python + Pillow Frame-für-Frame-Rendering. Der Browser-Render-Pfad ist unter eingeschränkten Sandboxen nicht verfügbar, Gründe und Umgehungen findest du in references/pitfalls.md.
6. Inhaltsgrenzen (Must hold, vier nicht verhandelbar)
- Fakten mit Quellen: Jede Jahreszahl, Personenname, Zahl, jedes Zitat muss auf eine zuverlässige Quelle zurückführbar sein und im Arbeitsverzeichnis mit Link dokumentiert werden; nicht zurückführbare Angaben direkt löschen, Schätzungen markieren, Hörensagen mit Quellenangabe versehen
- Lizenzierte Assets: Bei Einbindung externer Bilder, Schriftarten, Soundeffekte, fertiger Musik Lizenzen einzeln prüfen, Namensnennung in
credits.mdeintragen; nicht verwendete Kandidaten ebenfalls auflisten mit Begründung - Keine echten Gesichter: Keine KI-generierten echten Gesichter; KI-generierte Bilder müssen gemäß Plattformanforderungen mit "KI-generierter Inhalt" gekennzeichnet werden
- Bilder nur von der Zeit abhängig: Alle Zufälligkeiten müssen einen festen Seed haben, derselbe Frame muss bei jedem Rendern identisch sein
Bewertungsregeln, Berichtsformat und Pre-Release-Checkliste findest du in references/content-and-rights.md.
7. Vierzehn Engineering-Regeln (alle aus echten Fehlern gelernt)
- Musik zuerst machen, dann Bilder; Bildschnitte müssen mit Musikschnitten übereinstimmen, nicht umgekehrt
- Alle Einführungsanimationen in Takteinheiten fest codieren, keine Annäherung in Sekunden; eine Abweichung von einem Frame ist sichtbar
- Einheitskoordinaten und Pixelkoordinaten explizit trennen; Vermischung lässt die gesamte Szene in die linke obere Ecke kippen
- Segmentplanung mit Intervall-Mapping; nach dem Schreiben die Start- und End-Frames jedes Segments mit print überprüfen; ein fehlendes Segment verschiebt das gesamte Video
- Frame-Sequenzen nicht im Stammverzeichnis und nicht über Nacht auf der Festplatte lassen; vor der Lieferung löschen
- Paralleles Rendering über Intervalle: Separate Prozesse für jedes Intervall, keine gemeinsamen Warteschlangen; Sandbox blockiert Named Pipes
- Beim Mischen zuerst den Frequenzbereichsanteil prüfen; über 50% Hochton = schrill, über 50% Tiefton = matschig
- Die Zeitkonstante der Bus-Kompression darf nicht kürzer als 0,3 Sekunden sein; sonst drückt der Kompressor die Taktschläge selbst flach
- Jede Stimme, die mindestens einen Takt lang ist und in jedem Takt vorkommt, wird zur Klangwand und überdeckt die Taktschläge
- Text muss drei Kodierungsebenen durchlaufen; die Bild-Engine führt glyph-basiertes Fallback durch, aber Zeichen, die von der Fallback-Kette nicht abgedeckt werden, werden stillschweigend als Blocks gezeichnet; daher nach jedem Rendering den Glyphen-Audit-Bericht prüfen; fehlende Glyphen durch andere Wortwahl oder Schriftart ersetzen
- Nach dem Encoding PSNR messen; unter 45dB = zu niedrige Bitrate
- Ohne Sehvermögen nicht nach Gefühl liefern; mit Zeichengrafiken Frame für Frame die Komposition prüfen, dann objektive Metriken als Absicherung verwenden
- Nur ein Video pro Sitzung; für ein zweites eine neue Sitzung öffnen; sonst geraten Cache und Kontext außer Kontrolle
- Vor Vollrendering und finalem Encoding Ressourcen prüfen und gemäß Limits ausführen, nicht mit voller Kernzahl, und beide Schritte erfordern erneute Benutzerbestätigung
Vollständige Fehlerliste und Reproduktionsbedingungen in references/pitfalls.md, Textkodierung in references/text-and-encoding.md.
8. Abnahmekriterien (müssen vor Lieferung alle grün sein)
| Kriterium | Bedingung |
|---|---|
| Dauer | Frame-genau, 30s-Video muss 30.000s sein |
| Taktsynchronisation | Frame-Differenzpeaks innerhalb ±1 Frame von Taktstrichen; Ankerbildschirm-Differenzpeaks am Schnittframe |
| Lautstärke | Integrierte Lautstärke -16 bis -14 LUFS, True Peak nicht höher als -1.0 dBFS |
| Bildqualität | PSNR nach Encoding zum Quellframe über 45dB |
| Komposition | Mindestens 2 Frames pro Segment als Zeichengraphik prüfen, mindestens 1 Frame pro Bildschirm im Übersichtsbild |
| Dateigröße | 1080p pro 30s unter 15 MB (CRF 18–20) |
| Glyphen | Im Audit-Bericht der Render-Phase keine Einträge mit "Glyph von Fallback-Kette nicht gefunden" |
| Inhalt | Jede Textzeile auf dem Bildschirm muss auf eine überprüfte Quelle zurückführbar sein |
Methoden in references/verification.md.
9. Namensnennungs-Strategie
- Video-Produktionen standardmäßig ohne Autoreninformationen; der Workflow fragt im Startbestätigungstor einmal nach; nur auf Wunsch des Benutzers
- Wenn der Benutzer eine Namensnennung wünscht, nur im Abspann erscheinen und gleichzeitig eine austauschbare Konstanten-Position angeben
- Autor dieser Fähigkeit: JularDepick, Version siehe Frontmatter-Metadaten
10. Referenzdokumente (in empfohlener Lesereihenfolge)
| Reihenfolge | Dokument | Inhalt | Wann lesen |
|---|---|---|---|
| 1 | references/workflow.md | Acht-Phasen-Workflow, Ergebnisse pro Phase, Erfahrungswerte | Nach Erhalt der Aufgabe als Erstes |
| 2 | references/prompt-scaffolding.md | Sieben Module für Briefing und Phasenprompts, Rollenverteilung, Sub-Agenten-Übergabe | Beim Prompt-Schreiben |
| 3 | references/narrative.md | Einführungsgrammatik, Zeichenanzahl pro Bildschirm und Lesegeschwindigkeit, Erzählfaden und Rhythmus | Beim Textschreiben |
| 4 | references/content-and-rights.md | Faktenquellen-Bewertung, Asset-Lizenzen, Namensnennung, Pre-Release-Checkliste | Beim Recherchieren und Bebildern |
| 5 | references/styles.md | Acht Stile mit Musikzuordnung, vier Bewertungsmethoden zur Stilauswahl | Beim Stil-Festlegen |
| 6 | references/beat-sync.md | Dreistufige Synchronisation, Ereignisse innerhalb von Segmenten, Takt-Überprüfung | Vor dem Storyboard-Schreiben |
| 7 | references/audio-engine.md | Zwei Musik-Engines, Klangbibliotheken, Arrangement-Skelett, objektive Kriterien | Beim Musik-Machen |
| 8 | references/visual-engine.md | Bild-Engine API, generische Komponenten, Grafik-Rezepte, Performance | Beim Szenen-Schreiben |
| 9 | references/text-and-encoding.md | Drei Kodierungsebenen und Glyphen-Check | Vor dem Schreiben von bildschirmgebundenem Text |
| 10 | references/verification.md | Verschiedene Abnahmemechanismen und Liefer-Selbstcheckliste | Vor der Lieferung |
| 11 | references/pitfalls.md | Erscheinungsbild, Ursachen und Umgehungen von Fallstricken | Bei Problemen oder Retrospektive |
| 12 | references/conventions.md | Verzeichnis-, Namens-, Code-, Dokumentations- und Kollaborationskonventionen | Beim Erstellen der Projektstruktur |
Die Sortierung wird nur durch diese Tabelle bestimmt; Dateinamen haben keine Nummern.
Beim Hinzufügen eines neuen Referenzdokuments einfach eine Zeile einfügen, ohne vorhandene Dateien umzubenennen.
Neue Skripte in scripts/, neue Vorlagen in templates/ platzieren, und sowohl in dieser Tabelle als auch in der Skriptliste eine Zeile hinzufügen.