KI-Videogenerierung
Text-zu-Video / Bild-zu-Video / Digitale-Mensch-Erstbild-Ansteuerung. Kapselt
shared/scripts/ai_video.py, austauschbare Provider, asynchrones Einreichen → Abfragen → Herunterladen. Der Benutzer stellt seinen API-Key selbst bereit (in.envkonfigurieren).
Voraussetzung: API-Key konfigurieren
Eiserne Regel für den Konfigurationspfad: Zuerst in das Projektverzeichnis wechseln (das am Ende von
AGENTS.mdangegeben ist) und sicherstellen, dass.envundskills/shared/scripts/vorhanden sind. Dann das Registry-Skript,checkoder die Generierungsbefehle ausführen. Nicht auf./shared/scripts/...des Workspaces ausweichen, und nicht mitenv/printenvargumentieren, dass keine Variablen gesetzt seien.
Zunächst den Provider auswählen und den entsprechenden Schlüssel in .env eintragen, dann offline mit check validieren:
python skills/shared/scripts/ai_video.py check --provider dashscope
| Provider | Dienst | Erforderliche .env-Einträge |
|---|---|---|
dashscope | Alibaba Tongyi Wanxiang Wan | DASHSCOPE_API_KEY (optional DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL; kompatibel mit altem Namen DASHSCOPE_MODEL) |
ark | Volcano Engine Seedance | ARK_API_KEY (optional ARK_MODEL/ARK_BASE_URL) |
kling | Kuaishou Kling | KLING_ACCESS_KEY + KLING_SECRET_KEY (JWT-Authentifizierung) |
openai-compatible | Allgemeiner /videos-Endpunkt | VIDEO_API_KEY + VIDEO_BASE_URL (optional VIDEO_MODEL) |
xhs-maas | Xiaohongshu internes MaaS (happyhorse Text-/Bild-zu-Video) | XHS_MAAS_API_KEY (optional XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL). DashScope-artig asynchron + api-key-Header, internes Netz direkt |
agnes | Agnes (agnes-video-2.5-flash) | AGNES_API_KEY (optional AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE). OpenAI Videos kompatibel: Erstellung + benutzerdefinierter Endpunkt für Abfragen; Standardmäßig mit nativem Audio (Prompt beschreibt den Klang); externes Netz über Proxy |
Es kann auch VIDEO_PROVIDER gesetzt werden, um die Angabe von --provider jedes Mal zu vermeiden.
Vor der Ausführung zuerst model_registry.py configured --group video --env-file .env laufen lassen: Wenn nur ein Provider verfügbar ist, diesen explizit wählen; bei mehreren verfügbaren und der Benutzer hat keinen bestimmten gewünscht, die Provider/Modelle auflisten und den Benutzer fragen, welcher diesmal verwendet werden soll, nicht stillschweigend nach Standardwert wählen.
Eingabe
Unverzichtbare Seitenverhältnis-Bestätigung: Wenn der Benutzer oder die übergeordnete Aufgabe nicht explizit Querformat/Hochformat (oder 16:9/9:16/ein bestimmtes Verhältnis) angegeben haben, muss vor jedem Generierungs- oder Bezahlaufruf nachgefragt und eine Bestätigung abgewartet werden; nicht stillschweigend aus der Plattform, dem Profil oder Skript-Standardwerten ableiten. Ist es bereits geklärt, nicht erneut fragen.
- Text-zu-Video: Beschreibung der Szene/Kameraführung/Style (Prompt)
- Bild-zu-Video: Ein Eingabebild (lokaler Pfad oder URL) + optionale Bewegungsbeschreibung
- Optional: Dauer
--duration, Seitenverhältnis--ratio(16:9 / 9:16 / 1:1), Modell--model, natives Audio--audio auto|on|off
Ausgabe
Generierte Videodateien; müssen mit -o in outputs/ThemaName/ angegeben werden. Asynchrone Aufgaben werden automatisch bis zur Fertigstellung abgefragt und dann heruntergeladen.
Ausführungsschritte
- Konfiguration und Fähigkeiten prüfen: Zuerst
checkausführen, danncapabilities --provider <p> --model <m>. Kurzfilme dürfen nicht aufgrund des Markennamens raten, ob ein Modell natives Audio unterstützt; neue Modelle verwendenVIDEO_CAPABILITIES_JSON, um Fähigkeiten und Anforderungsfelder zu registrieren, ohne den Aufrufablauf zu ändern.probe-dialogue(für Kurzfilme): Wirklich 1 Generierung + ASR durchführen, um zu testen, ob das Modell einen bestimmten Dialog wortgetreu wiedergeben kann;dialogue_faithfulermitteln und cachen – Kurzfilme entscheiden daraufhin, ob nativer Dialog oder „Dialoglos generieren + nachträgliche Synchronisation“ verwendet wird. Verwendung:probe-dialogue --provider <p> --model <m>.
- Prompt schreiben: KI-Video ist promptempfindlich; Befolgen Sie die KI-Video-Prompting-Richtlinien für Kamera, Kameraführung, Stil und Dauer. Für vertikale Kurzvideos
--ratio 9:16verwenden. - Text-zu-Video:
python skills/shared/scripts/ai_video.py text2video --provider dashscope \ --prompt "Sonnenuntergang am Meer, langsamer Zoom, warme Farbtöne, filmisch" --ratio 9:16 --duration 5 \ --audio auto \ -o outputs/ThemaName/clip.mp4 - Bild-zu-Video / Bild animieren / Digitaler-Mensch-Erstbild:
python skills/shared/scripts/ai_video.py image2video --provider kling \ --image outputs/ThemaName/cover.png --prompt "Person lächelt und winkt, Haar weht leicht" \ -o outputs/ThemaName/clip.mp4 - Nachbearbeitung: Generierte Clips können an
video_ops.py(Schnitt/Untertitel/BGM/Hoch-Quer-Format-Umwandlung),auto-subtitle(Untertitel),tts-voiceover(Synchronisation) übergeben werden, um zu einem fertigen Video zusammengesetzt zu werden, oder direkt in den End-to-End-Workflowauto-short-videogehen.
Profil-Erkennung
- Mit Profil: Aus
style.mddie visuelle Stil-Präferenz entnehmen und in den Prompt einfließen lassen;platforms.mdwird nur für Seitenverhältnis-Empfehlungen verwendet, kann nicht die Bestätigung des Benutzers ersetzen. - Ohne Profil: Zuerst Hoch-/Querformat bestätigen lassen, dann im bestätigten Verhältnis generieren.
Hinweise
- Die Video-Generierungs-APIs sind alle asynchron und zeitaufwändig (Dutzende Sekunden bis mehrere Minuten) + nutzungsabhängig abgerechnet, vorher mit dem Benutzer abstimmen.
- Modellnamen/-Felder der verschiedenen Provider variieren je nach Version; können alle mit
--modeloder Umgebungsvariablen überschrieben werden; bei Fehlern die offizielle aktuellste Dokumentation des Providers konsultieren. --audio autoordnet nur bekannte Felder gemäß dem Capability-Profil zu; eine Capability-Erklärung ist keine Qualitätsgarantie; nach dem Download muss dennoch mit ffprobe/ASR/visueller Prüfung auditiert werden. Wenn das Gateway standardmäßig Audio hat, aber das Ein-/Ausschalt-Feld unbekannt ist, keine Parameter raten und einfügen.