Img-Video — Materialbrücke (Multi-Anbieter)
Claude kann nicht direkt Pixel erzeugen, aber externe Modelldienste anrufen. Dieses Skill kapselt diesen Ablauf in ein Skript:
Eingabe eines Prompts → Erhalt eines Bildes/Videos → Speicherung in assets/ → Ausgabe des relativen Pfads, der dann direkt in HTML, PPT, Markdown oder Designentwürfe eingefügt werden kann.
Die Modellebene ist austauschbar: Standardmäßig wird der jiekou.ai-Relay genutzt; falls ein Anbieter keinen Schlüssel hat oder nicht erreichbar ist, wird automatisch auf die Fallback-Kette mit
Jimeng / Kling / Gemini usw. umgeschaltet. Die vollständige Liste findest du in references/providers.md.
Wann verwenden
Wenn das Endprodukt ein Bild oder Video benötigt und Platzhalter oder reiner Text ungeeignet sind, wird mit diesem Skill alles generiert. Typische Szenarien:
- Webseiten / Landing Pages / E-Mail-Vorlagen: Banner, Hero-Bilder, Begleitbilder, Symbolhintergründe
- Präsentationen / Folien: Titelfolien, Kapitelseiten, Inhaltsbilder
- Grafikdesign: Poster, Cover, Social-Media-Karten, Miniaturansichten
- UI-Prototypen: Schemazeichnungen, Platzhalter für Produktscreenshots
- Kurzvideos: Dynamische Hintergründe, Produktpräsentationen, von einem Bild gesteuerte Animationen
Ein-Satz-Prinzip: Keine leeren Stellen oder „(Hier ein Bild einfügen)“ – sondern direkt generieren.
Voraussetzung: Konfiguration
Vor der ersten Nutzung muss im Skill-Verzeichnis eine config.json erstellt werden (fehlt sie, gibt das Skript einen Fehler aus):
- Vorlage kopieren:
cp config.example.json config.json - Mindestens einen Anbieter konfigurieren – die Schlüssel müssen vom Benutzer erfragt werden, niemals erfinden. Für jeden Anbieter:
type: Anbietertyp (siehe Tabelle unten)base_url: API-Endpunkt (optional, Standardwert vorhanden)- Zugangsdaten: Meist
api_key; bei Klingaccess_key+secret_key image_model/video_model: Modellname (nicht benötigte Fähigkeit aufnullsetzen)
default_provider(primär) undfallback(Fallback-Kette, Array) festlegen.
Die Schlüssel werden nur lokal in config.json gespeichert (durch .gitignore ignoriert). Sie dürfen niemals in Code, SKILL.md oder das Repository geschrieben werden.
Vor jeder neuen Arbeit die Verfügbarkeit prüfen (Schlüssel/Fähigkeiten bestätigen, Reihenfolge der Versuche anzeigen):
python <skill>/scripts/generate.py providers
Verwendung
Im Projektarbeitsverzeichnis ausführen, damit die relativen Ausgabepfade assets/ direkt von Webseiten/Präsentationen referenziert werden können.
Text-zu-Bild
python <skill>/scripts/generate.py image \
--prompt "Flache Illustration einer Tech-Startup-Homepage, Hero-Bild, blau-lila Verlauf, einfach gehalten mit viel Weißraum" \
--size 1024x1024 --n 1 --output-dir assets/images
| Parameter | Pflicht | Standard | Beschreibung |
|---|---|---|---|
--prompt | ✅ | – | Je konkreter (Stil + Motiv + Farbe + Komposition), desto besser |
--size | 1024x1024 | Manche Relays skalieren proportional, automatisch umgerechnet auf 1:1 o.ä. | |
--n | 1 | Anzahl der zu generierenden Bilder | |
--output-dir | assets/images | Ausgabeverzeichnis | |
--provider | gemäß Fallback-Kette | Bestimmten Anbieter erzwingen, Fallback überspringen |
Bild-zu-Video
python <skill>/scripts/generate.py video \
--image assets/images/xxxx.png \
--prompt "Kamera fährt langsam heran, im Hintergrund schweben sanfte Lichtflecken" --output-dir assets/videos
| Parameter | Pflicht | Standard | Beschreibung |
|---|---|---|---|
--image | ✅ | – | Lokaler Pfad oder http(s)-URL |
--prompt | leer | Bewegungs-/Szenenbeschreibung, sollte ausgefüllt werden | |
--output-dir | assets/videos | Ausgabeverzeichnis | |
--provider | gemäß Fallback-Kette | Bestimmten Anbieter erzwingen |
Bild-zu-Video ist meist asynchron; das Skript pollt automatisch, bis der Vorgang abgeschlossen ist.
Anbieter angeben / wechseln
- Ohne
--providerwird automatisch in der Reihenfolgedefault_provider → fallbackversucht (fehlende Schlüssel/nicht unterstützte Modelle werden übersprungen). - Mit
--provider <name>(z.B.kling/ark/gemini/relay) wird erzwungen ein bestimmter Anbieter genutzt, ohne Fallback. Beispiel: Der Benutzer sagt „Mit Kling generieren“ →--provider kling.
Unterstützte Modelldienste
type | Dienst | Text-zu-Bild | Bild-zu-Video |
|---|---|---|---|
jiekou | jiekou.ai Relay (aggregiert Midjourney/Flux/Seedance/Kling/Sora/Veo, Standard) | ✅ | ✅ |
ark / jimeng | ByteDance Jimeng Seedream/Seedance (direkt) | ✅ | ✅ |
kling | Kuaishou Kling (direkt) | ✅ | ✅ |
gemini | Google Imagen/Veo (direkt) | ✅ | ✅ |
relay | Andere OpenAI-kompatible Relays | ✅ | ⚠️ abhängig vom Gateway |
Empfohlene Kombinationen (jiekou): Text-zu-Bild: mj-txt2img (Midjourney, liefert 4 Bilder auf einmal), flux-2-pro;
Bild-zu-Video: veo-3.1-generate-img2video (Veo 3.1, mit nativer Audiounterstützung), sora-2-img2video, seedance-v1-pro-i2v.
⚠️ Modellwechsel unbedingt beachten: Unterschiedliche Modelle haben unterschiedliche Prompt-Feldnamen, Dauer-/Auflösungs-Enums und Pflichtfelder (z.B. Midjourney verwendet
text, Veo verwendetduration_seconds+generate_audio). Nur den Modellnamen zu ändern, ohne diese Felder anzupassen, führt zu Fehler 400. In derconfig.jsonsind bereits Schalter vorhanden (prompt_field/send_aspect_ratio/duration/resolution/video_extra). Passe sie anhand der Tabelle „Feldunterschiede pro Modell“ inreferences/providers.mdan.
Ausgabe
- Bilder werden im Verzeichnis
assets/images/, Videos inassets/videos/gespeichert. - Benennung:
{Zeitstempel}_{erste Wörter des Prompts}.{png|jpg|mp4|…}(Dateiformat wird anhand des Dateikopfs erkannt, automatische Überschreibungssicherung). - Am Ende wird eine Liste der relativen Pfade der erzeugten Dateien ausgegeben – direkt verwendbar in
<img src="assets/images/…">, PPT-Platzhalter oder Markdown.
Typischer Workflow
- Mit dem
providers-Befehl die verfügbaren Dienste und die Versuchsreihenfolge prüfen. - Planen, welche Bilder/Videos das Endprodukt benötigt, sowie deren Verwendungszweck und Stil.
- Nacheinander
image(oder erstimagedannvideo) generieren; bei Bedarf mit--providereinen bestimmten Anbieter erzwingen. - Die ausgegebenen relativen Pfade sammeln und in das Endprodukt einfügen.
Beispiel: Der Benutzer sagt „Erstelle eine Landing Page für eine Coffeemarke“
→ image --prompt "Großaufnahme einer Hand, die Kaffee aufbrüht, warme Farben, Morgenlicht, geringe Tiefenschärfe" generiert das Hero-Bild
→ dann zwei weitere Produktbilder generieren → mit den assets/images/*.png-Pfaden das HTML schreiben.
Fehler und Fallbacks (im Skript integriert)
- Fehlende config.json / fehlender Anbieterabschnitt: Fehlermeldung mit Hinweis zur Konfiguration.
- Primärer Anbieter ohne Schlüssel oder ohne entsprechendes Modell: Automatisch überspringen und nächsten versuchen.
- Ausführungsfehler (4xx/5xx/Timeout): Bei 5xx und Netzwerkfehlern exponentielles Backoff-Retry; bei weiterem Fehlschlag Abstieg zum nächsten Fallback-Anbieter; erst wenn alle fehlschlagen, wird ein Fehler mit Zusammenfassung der Fehlerursachen ausgegeben.
- Video-Timeout: Überschreitet
poll_timeout, wird ein eindeutiger Timeout-Fehler gemeldet. - Eingabebild nicht vorhanden (Bild-zu-Video): Direkter Fehler;
--imageüberprüfen.
Abhängigkeiten und Erweiterung
- Abhängigkeiten: Python 3 +
requests(pip install requests). Die JWT-Authentifizierung für Kling wird mit der Standardbibliothek realisiert, keine weiteren Abhängigkeiten. - Neuen Anbieter hinzufügen: In
scripts/providers.pyeine neueProvider-Unterklasse erstellen, diegenerate_image/generate_videoimplementiert, und inREGISTRYregistrieren – Fallback-Kette, Speicherung, Benennung usw. müssen nicht geändert werden. Details im letzten Abschnitt vonreferences/providers.md.