Was macht Video Creation Matrix (v3 — fähigkeitsbasiert)?
Diese Matrix beschreibt Fähigkeiten, die der Agent nach Bedarf kombinieren kann – keine feste Pipeline. Ein „Videoerstellungs“-Workflow wählt ein Rezept (welche Fähigkeiten benötigt werden) und für jede Fähigkeit einen Anbieter aus den Aufgabenanforderungen und den unten stehenden Preflight-Daten aus.
Schema: docs/cli-matrix/matrix_registry.schema.md.
Installation (installierbarer Teil)
cli-hub matrix install video-creation # installiert nur registrierte Matrix-CLIs
cli-hub matrix info video-creation # zeigt Anbieter & Rezepte an
cli-hub matrix preflight video-creation # prüft verfügbare Anbieter in dieser Umgebung
Nicht alles in dieser Matrix wird durch cli-hub matrix install installiert. Cloud-APIs, Python-Pakete, native Binärprogramme, öffentliche CLIs von Drittanbietern und externe Skills sind ebenfalls erstklassige Anbieter, werden aber erst installiert, wenn die Aufgabe diesen Anbieter tatsächlich benötigt.
Führen Sie kein manuelles pip install ...#subdirectory=... für CLI-Anything-Matrix-Mitglieder durch; installieren Sie die unterstützten Harnesses über cli-hub matrix install video-creation und verwenden Sie dann Preflight, um zu sehen, was sonst noch verfügbar ist.
Einschränkungen bei der Anbieterauswahl (Agent: pro Fähigkeit bewerten)
- Verwenden Sie Preflight als Verfügbarkeitsbericht, nicht als Anbieterauswahl.
- Wählen Sie Anbieter basierend auf dem Ziel des Benutzers, der Qualitätsstufe, dem Budget, den Offline-Anforderungen, dem Anmeldezustand, den Installationskosten und dem angeforderten Workflow.
- Behandeln Sie die Reihenfolge im Register/Anbieter nur als Dokumentationsreihenfolge; gehen Sie nicht davon aus, dass der erste Anbieter der richtige ist.
- Installieren Sie Python-Bibliotheken, native Binärprogramme, Harness-CLIs, öffentliche CLIs oder Agenten-Skills nur, wenn sie zu den Aufgabenbeschränkungen passen.
- Erhöhen Sie auf kostenpflichtige oder gemessene APIs nur, wenn der Benutzer Anmeldeinformationen bereitgestellt hat oder ausdrücklich zustimmt. Rufen Sie niemals stillschweigend eine kostenpflichtige API auf.
- Wenn eine Aufgabe in ein Genre mit einer zwingenden Anbieterregel fällt, ist der Anbieter nicht optional. Ersetzen Sie ihn nicht durch einen günstigeren/einfacheren Fallback, nur weil er lokal bequemer ist.
Offline-Kontext? Filtern Sie auf nur offline: true Anbieter.
Preflight (einmal pro Sitzung ausführen, Ergebnis zwischenspeichern)
Führen Sie zuerst das integrierte Matrix-Preflight aus:
cli-hub matrix preflight video-creation --json
cli-hub matrix preflight video-creation --capability composite.assemble
cli-hub matrix preflight video-creation --offline
Wenn Sie rohe Prüfungen benötigen oder ohne die neueste cli-hub-Version arbeiten, verwenden Sie den manuellen Block:
cli-hub list --json
python - <<'PY'
import importlib.util
for m in ("moviepy","whisper","pydub","PIL","edge_tts","pysrt","pysubs2","yt_dlp","spotdl","scenedetect","paddleocr","twelvelabs"):
print(m, importlib.util.find_spec(m) is not None)
PY
for b in ffmpeg ffprobe sox convert magick screencapture yt-dlp spotdl scdl bandcamp-dl you-get lux BBDown scenedetect mediainfo ffmpeg-quality-metrics paddleocr hyperframes; do command -v "$b" >/dev/null && echo "$b: yes" || echo "$b: no"; done
for e in RUNWAY_API_KEY KLING_API_KEY PIKA_API_KEY SEEDANCE_API_KEY \
ELEVENLABS_API_KEY MINIMAX_API_KEY OPENAI_API_KEY GOOGLE_CLOUD_PROJECT \
ASSEMBLYAI_API_KEY DEEPGRAM_API_KEY \
SUNO_API_KEY UDIO_API_KEY IDEOGRAM_API_KEY STABILITY_API_KEY \
TWELVELABS_API_KEY GOOGLE_APPLICATION_CREDENTIALS; do
[ -n "${!e}" ] && echo "$e: set" || echo "$e: unset"
done
Vorschlag-an-Benutzer-Vorlage (Agent verwendet wörtlich bei Eskalation)
Um <Fähigkeit> über <Anbieter> zu aktivieren, setzen Sie bitte <ENV_VAR>.
Kosten: <Kostenangabe>
Qualität: <Qualitätsstufe>
Antworten Sie 'überspringen', um auf <nächster Anbieter> zurückzufallen.
Beispiele:
- Um filmische KI-Videos über Runway Gen-4 zu aktivieren, setzen Sie bitte
RUNWAY_API_KEY. Kosten: ~0,05 $/Sekunde Stand April 2026. Qualität: Spitzenklasse. Antworten Sie 'überspringen', um aufgenerate-veo-videooderjimengzurückzufallen, falls konfiguriert. - Um die ByteDance Seedance-Videogenerierung zu aktivieren, setzen Sie bitte
SEEDANCE_API_KEY. Kosten: nutzungsabhängig pro Clip. Qualität: Spitzenklasse für realistische Bewegungen. Antworten Sie 'überspringen', um aufjimeng(Dreamina) zurückzugreifen, das zur gleichen ByteDance-Modellfamilie gehört.
Fähigkeiten
script.storyboard — Konzept zur kreativen Regie, Drehbuch, Einstellungsliste, Timing und Asset-Plan
Verwenden Sie dies vor der Generierung, Suche, Aufnahme oder Montage, wenn der Benutzer ein vages Konzept vorgibt oder ein komplettes Video wünscht. Standardmäßig erfolgt die Planung direkt als Agentenarbeit: Erstellen Sie einen strukturierten Brief, eine globale kreative Richtung, einen narrativen/emotionalen Bogen, einen Audio-Bogen, ein Skript/Erzählung, eine Einstellungsliste, eine Timing-Karte, Asset-Anforderungen und ein überprüfbares Storyboard, bevor Sie Zeit mit Downloads oder Generierung verbringen.
Für jedes nicht-triviale Video lesen Sie references/story-structure-audio.md und speichern Sie creative_direction.md vor der Endmontage. Dies ist obligatorisch für Trailer, Sport/Musik-Zusammenschnitte, Filmkommentare, Found-Footage-Schnitte, Produktlaunch-Videos und alle Ausgaben, bei denen flache, zufällige Clips oder langweilige Musik den Brief nicht erfüllen würden.
Harte Sperre: Beginnen Sie nicht mit der Endmontage für ein nicht-triviales Video, bis creative_direction.md existiert. plan.md ist kein Ersatz. Die Datei muss die Zieldauer oder den gewünschten Dauerbereich, die Ausgabesprache, eine Einstellungs-Rollen-Tabelle mit Zeit, Takt, Quelle/Einstellungs-Rolle, Audioereignis, Untertitel/Titel-Rolle und Ausfallrisiko enthalten; lehnen Sie Pläne ab, bei denen das Ende/der letzte Akt keine Auszahlung, Höhepunkt, Enthüllung, nützliche Zusammenfassung oder bewussten, offenen Haken hat, der dem Genre angemessen ist. Sprachregel: Wenn der Benutzer eine Ausgabesprache angibt, verwenden Sie diese für alle vom Agenten verfassten, für den Betrachter bestimmten Inhalte; andernfalls verwenden Sie die Sprache, die der Benutzer im Gespräch verwendet.
| Anbieter | Art | Erfordert | Kosten | Qualität | Offline |
|---|---|---|---|---|---|
| Agent-native Planung | agent-native | keine | kostenlos | hoch | ja |
storyboard-creation Skill | agent-skill | installierter Skill | kostenlos | hoch | ja |
remotion-best-practices Skill | agent-skill | installierter Skill | kostenlos | hoch für codegesteuertes Bewegtbildvideo | ja |
Auswahl:
- Beginnen Sie mit der agent-native Planung für normale Skripte, Einstellungslisten, Timing-Karten und Asset-Pläne.
- Fügen Sie
creative_direction.mdmit dem Ein-Satz-Versprechen, der Geschichte, der Emotionskurve, der Audiokurve, der Schnittdichtekurve, dem visuellen Motiv, den Quellenrollen und den Absicherungen gegen Flachheit hinzu. - Verwenden Sie
storyboard-creationnur, wenn Sie explizite Storyboard-Panel-Konventionen, Kamerawinkel-Grammatik, Kontinuitätsprüfungen oder Animatic-Planung benötigen. - Verwenden Sie
remotion-best-practicesnur, wenn das Storyboard als Remotion/React-Bewegtbildvideocode implementiert wird.
video.search — Internet-Videokandidaten entdecken
Verwenden Sie dies vor video.download, wenn der Benutzer nach Found Footage, B-Roll, Public-Domain-Clips, Stockmaterial, YouTube/Bilibili-Material oder benannten Film-/TV-/Spiel-/Anime-Momenten fragt. Bevorzugen Sie zuerst kostenlose/offene Quellen und erfassen Sie Quell-URL, Lizenz, Ersteller und Namensnennungspflicht vor der Bearbeitung.
Für Found-Footage-Liefergegenstände oder Angaben zur Plattformherkunft lesen Sie references/source-triage.md und klassifizieren Sie jeden Kandidaten als direkte Plattformquelle, verifizierten Plattform-Transport oder schwachen Spiegel.
| Anbieter | Art | Erfordert | Kosten | Qualität | Offline |
|---|---|---|---|---|---|
| Websuche + Quellenfilter | web-search | Online-Zugriff | kostenlos | gut | nein |
Suchdisziplin:
- Für wiederverwendbare/kommerzielle B-Roll beginnen Sie mit Wikimedia Commons, YouTube Creative Commons oder anderen im Browser durchsuchbaren Bestands-/Public-Domain-Seiten und bewahren Sie die Metadaten zur Namensnennung neben jeder heruntergeladenen Datei auf.
- Für Bilibili/YouTube-Referenzen oder Fan-Edit-Workflows suchen Sie nach bestimmten Szenennamen anstelle von allgemeinen Begriffen. Fügen Sie Qualitätsmodifikatoren wie
1080p,4K,HD,BD,蓝光oder高清hinzu. - Für Bilibili verwenden Sie gezielte Websuchen wie
site:bilibili.com "Game of Thrones" S3E09 BV; eigenständige/video/BV...Uploads sind normalerweise einfacher zu verarbeiten als geografisch eingeschränkte Bangumi-URLs. - Behandeln Sie die Downloadbarkeit nicht als Erlaubnis. Wenn die Lizenz oder die Autorisierung des Benutzers unklar ist, fragen Sie nach, bevor Sie das Filmmaterial in einem Liefergegenstand verwenden.
video.download — Webvideo herunterladen/importieren in den Arbeitsbereich
Verwenden Sie dies nach video.search, wenn Kandidaten-URLs identifiziert wurden, oder direkt, wenn der Benutzer URLs angibt. Behalten Sie alle Roh-Downloads in einem sources/-Verzeichnis, speichern Sie sources.json mit URL/Lizenz/Ersteller/Herkunft und normalisieren Sie Dateinamen vor der nachgelagerten Bearbeitung.
Für Internet-Material muss sources.json die Plattform-URL, die Transport-URL (falls abweichend), den Befehl, den Cookie-Dateipfad (falls verwendet), die lokale Datei, die Probe-Zusammenfassung, die ausgewählten Bereiche, die Quellenrolle, Lizenz-/Rechtehinweise und Qualitätseinwände enthalten.
| Anbieter | Art | Erfordert | Kosten | Qualität | Offline |
|---|---|---|---|---|---|
yt-dlp | public-cli | yt-dlp + ffmpeg | kostenlos | hoch | nein |
you-get | public-cli | you-get bin | kostenlos | gut | nein |
lux | public-cli | lux + ffmpeg | kostenlos | gut | nein |
BBDown | public-cli | BBDown + ffmpeg | kostenlos | hoch für Bilibili | nein |
Operative Hinweise:
- Bevorzugen Sie
yt-dlp -f "bestvideo[height>=1080]+bestaudio/best" --merge-output-format mp4für YouTube/Bilibili-URLs, wenn die Qualität wichtig ist. Verwenden Sie Cookies nur, wenn der Benutzer den Zugriff auf den Inhalt autorisiert hat. - Vermeiden Sie für reine Bilibili-Audioextraktion
yt-dlp -x --audio-format mp3; laden Sie das rohe m4a herunter und konvertieren Sie es mitffmpeg, dann überprüfen Sie die Lautstärke vor der Verwendung. - Verwenden Sie
BBDown, wenn Bilibili-spezifische Metadaten, Untertitel, Danmaku, Wiedergabelisten oder hochwertige Mitglieder-Streams für die Aufgabe von zentraler Bedeutung sind.
music.search — vorhandene Songs, BGM oder saubere Audioquellen entdecken
Verwenden Sie dies vor music.download, wenn der Benutzer einen vorhandenen Song, einen Soundtrack-Hinweis, einen lizenzfreien Track, plattformspezifisches Audio oder eine bestimmte Cover-/Version wünscht. Halten Sie die Suche auf die angeforderte Musik beschränkt, nicht auf irgendein verfügbares Audio. Erfassen Sie Titel, Künstler, Plattform-URL, Uploader, Quelltyp, Versionshinweise, Rechte/Lizenzierung und Namensnennung in music_sources.json.
| Anbieter | Art | Erfordert | Kosten | Qualität | Offline |
|---|---|---|---|---|---|
| Websuche + Quellenfilter | web-search | Online-Zugriff | kostenlos | gut | nein |
yt-dlp Suchextraktoren | public-cli | yt-dlp | kostenlos | gut | nein |
spotdl Metadaten/Suche | public-cli | spotdl | kostenlos | gut für Spotify-verknüpfte Songs | nein |
Suchdisziplin:
- Suchen Sie für sauberes Audio nach dem offiziellen Upload des Künstlers, Label-Upload, offiziellem Audio/MV, verifiziertem Lyric-Video oder einem eigenständigen Audio-Upload ohne zusätzliche Beschreibungen.
- Wenn der Benutzer nach einer bestimmten Version wie
女生版, Duett, Piano, Akustik, Live, DJ, Karaoke oder Instrumental fragt, überprüfen Sie, ob Titel/Uploader/Metadaten diese genaue Version nennen, bevor Sie sich festlegen. - Lehnen Sie Kandidatentitel ab, die auf die falsche Quelle hindeuten:
remix,cover,fan edit,AMV,MAD,mashup, Kompilation, Trailer-Mix oder nicht verwandter Soundtrack/OST, es sei denn, der Benutzer hat ausdrücklich nach dieser Variante gefragt. - Gehen Sie bei Tie-In-Songs und Promo-Tracks von möglichen Dialog-/Voice-/SFX-Überlagerungen aus. Suchen Sie nach Alternativen mit
{artist} {song} 纯音乐,{song} 无对白,{song} 歌词版,official audiooderlyric video, bevor Sie den Benutzer bitten, eine riskante Quelle zu akzeptieren. - Behandeln Sie die Downloadbarkeit nicht als Erlaubnis. Wenn Rechte, Lizenz oder Autorisierung des Benutzers unklar sind, fragen Sie nach, bevor Sie die Musik in einem Liefergegenstand verwenden.
music.download — vorhandene Musik herunterladen/importieren in den Arbeitsbereich
Verwenden Sie dies nach music.search, wenn ein Kandidat identifiziert wurde, oder direkt, wenn der Benutzer eine Musik-URL/lokale Datei bereitstellt. Behalten Sie Roh-Downloads in sources/music/, speichern Sie music_sources.json und erstellen Sie eine normalisierte Arbeitsdatei zur Bearbeitung.
| Anbieter | Art | Erfordert | Kosten | Qualität | Offline |
|---|---|---|---|---|---|
yt-dlp Audio-Download | public-cli | yt-dlp + ffmpeg | kostenlos | hoch | nein |
spotdl | public-cli | spotdl + ffmpeg | kostenlos | gut für Spotify-verknüpfte Metadaten | nein |
scdl | public-cli | scdl | kostenlos | gut für SoundCloud | nein |
bandcamp-dl | public-cli | bandcamp-dl | kostenlos | gut für Bandcamp | nein |
Lokaler Dateiimport + ffmpeg | native | ffmpeg | kostenlos | hoch | ja |
Operative Hinweise:
- Verwenden Sie nur Musik, die der Benutzer verwenden darf oder die eindeutig für das Lieferobjekt lizenziert ist. Umgehen Sie keine DRM, Bezahlschranken oder Zugriffskontrollen.
- Für allgemeine Audio-URLs laden Sie zuerst die Quellaudio-Datei herunter und konvertieren Sie dann explizit:
yt-dlp -f "bestaudio[ext=m4a]/bestaudio" -o "sources/music/audio_raw.%(ext)s" "URL"
ffmpeg -i sources/music/audio_raw.m4a -vn -c:a libmp3lame -q:a 0 sources/music/audio.mp3
- Verwenden Sie für Bilibili-Audio-Downloads nicht
yt-dlp -x --audio-format mp3; es kann eine gültig aussehende, aber nahezu stille MP3 erzeugen. Laden Sie das rohe m4a herunter, konvertieren Sie es mitffmpegund überprüfen Sie dann die Lautstärke:
yt-dlp -f 30280 -o "sources/music/audio_raw.%(ext)s" "BILIBILI_URL"
ffmpeg -i sources/music/audio_raw.m4a -c:a libmp3lame -q:a 0 sources/music/audio.mp3
ffmpeg -i sources/music/audio.mp3 -af volumedetect -f null - 2>&1 | grep mean_volume
Lehnen Sie Dateien mit einer mittleren Lautstärke unter etwa -40dB ab, es sei denn, Stille ist zu erwarten.
- Hören Sie vor der Bearbeitung Stichproben an mindestens drei Punkten, insbesondere bei Promo-/OST-/Tie-In-Songs:
ffplay -ss 30 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 90 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 150 -t 5 -autoexit sources/music/audio.mp3
- Normalisieren oder Lautstärkenabgleich nur durchführen, nachdem Sie überprüft haben, dass die Quelle der richtige Song/die richtige Version ist und keine Dialog-/SFX-Überlagerungen aufweist.
visual.capture — Bildschirm / Webcam / Fenster aufnehmen
| Anbieter | Art | Erfordert | Kosten | Qualität | Offline |
|---|---|---|---|---|---|
cli-anything-openscreen | harness-cli | Harness installiert | kostenlos | hoch | ja |
cli-anything-obs-studio | harness-cli | OBS installiert | kostenlos | hoch | ja |
ffmpeg -f x11grab / avfoundation | native | ffmpeg | kostenlos | hoch | ja |
screencapture | native | macOS | kostenlos | hoch | ja |
mss / pyautogui + cv2 | python | pkgs | kostenlos | gut | ja |
visual.generate — einen Videoclip aus Prompt/Referenz erstellen
| Anbieter | Art | Erfordert | Kosten | Qualität | Offline | | ...
[gekürzt zur Übersetzung]