Bildgenerierung

Bildgenerierung-Fähigkeit

Überblick

Diese Fähigkeit generiert hochwertige Bilder mithilfe strukturierter Prompts und eines Python-Skripts. Der Arbeitsablauf umfasst das Erstellen von JSON-formatierten Prompts und die Ausführung der Bildgenerierung mit optionalen Referenzbildern.

Kernfunktionen

• Strukturierte JSON-Prompts für AIGC-Bildgenerierung erstellen
• Mehrere Referenzbilder zur Stil-/Kompositionsführung unterstützen
• Bilder durch automatisierte Ausführung von Python-Skripts generieren
• Verschiedene Bildgenerierungsszenarien handhaben (Charakterdesign, Szenen, Produkte usw.)

Arbeitsablauf

Schritt 1: Anforderungen verstehen

Wenn ein Benutzer eine Bildgenerierung anfordert, identifizieren Sie:

• Motiv/Inhalt: Was soll im Bild sein
• Stilpräferenzen: Kunststil, Stimmung, Farbpalette
• Technische Spezifikationen: Seitenverhältnis, Komposition, Beleuchtung
• Referenzbilder: Bilder zur Steuerung der Generierung
• Sie müssen nicht den Ordner unter /mnt/user-data überprüfen

Schritt 2: Strukturierten Prompt erstellen

Erstellen Sie eine strukturierte JSON-Datei in /mnt/user-data/workspace/ mit dem Namensmuster: {beschreibender-name}.json

Schritt 3: Ausführung starten

Rufen Sie das Python-Skript auf:

python /mnt/skills/public/image-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/prompt-file.json \
  --reference-images /pfad/zu/ref1.jpg /pfad/zu/ref2.png \
  --output-file /mnt/user-data/outputs/generated-image.jpg \
  --aspect-ratio 16:9

Parameter:

• --prompt-file: Absoluter Pfad zur JSON-Prompt-Datei (erforderlich)
• --reference-images: Absolute Pfade zu Referenzbildern (optional, durch Leerzeichen getrennt)
• --output-file: Absoluter Pfad zur Ausgabebilddatei (erforderlich)
• --aspect-ratio: Seitenverhältnis des generierten Bildes (optional, Standard: 16:9)

[!HINWEIS] Lesen Sie die Python-Datei NICHT, rufen Sie sie einfach mit den Parametern auf.

Beispiel für Charaktergenerierung

Benutzeranfrage: „Erstelle eine Tokyo-Straßenstil-Frauenfigur in den 1990ern“

Prompt-Datei erstellen: /mnt/user-data/workspace/asian-woman.json

{
  "characters": [{
    "gender": "female",
    "age": "mid-20s",
    "ethnicity": "Japanese",
    "body_type": "slender, elegant",
    "facial_features": "delicate features, expressive eyes, subtle makeup with emphasis on lips, long dark hair partially wet from rain",
    "clothing": "stylish trench coat, designer handbag, high heels, contemporary Tokyo street fashion",
    "accessories": "minimal jewelry, statement earrings, leather handbag",
    "era": "1990s"
  }],
  "negative_prompt": "blurry face, deformed, low quality, overly sharp digital look, oversaturated colors, artificial lighting, studio setting, posed, selfie angle",
  "style": "Leica M11 street photography aesthetic, film-like rendering, natural color palette with slight warmth, bokeh background blur, analog photography feel",
  "composition": "medium shot, rule of thirds, subject slightly off-center, environmental context of Tokyo street visible, shallow depth of field isolating subject",
  "lighting": "neon lights from signs and storefronts, wet pavement reflections, soft ambient city glow, natural street lighting, rim lighting from background neons",
  "color_palette": "muted naturalistic tones, warm skin tones, cool blue and magenta neon accents, desaturated compared to digital photography, film grain texture"
}

Ausführung starten:

python /mnt/skills/public/image-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/cyberpunk-hacker.json \
  --output-file /mnt/user-data/outputs/cyberpunk-hacker-01.jpg \
  --aspect-ratio 2:3

Mit Referenzbildern:

{
  "characters": [{
    "gender": "based on [Image 1]",
    "age": "based on [Image 1]",
    "ethnicity": "human from [Image 1] adapted to Star Wars universe",
    "body_type": "based on [Image 1]",
    "facial_features": "matching [Image 1] with slight weathered look from space travel",
    "clothing": "Star Wars style outfit - worn leather jacket with utility vest, cargo pants with tactical pouches, scuffed boots, belt with holster",
    "accessories": "blaster pistol on hip, comlink device on wrist, goggles pushed up on forehead, satchel with supplies, personal vehicle based on [Image 2]",
    "era": "Star Wars universe, post-Empire era"
  }],
  "prompt": "Character inspired by [Image 1] standing next to a vehicle inspired by [Image 2] on a bustling alien planet street in Star Wars universe aesthetic. Character wearing worn leather jacket with utility vest, cargo pants with tactical pouches, scuffed boots, belt with blaster holster. The vehicle adapted to Star Wars aesthetic with weathered metal panels, repulsor engines, desert dust covering, parked on the street. Exotic alien marketplace street with multi-level architecture, weathered metal structures, hanging market stalls with colorful awnings, alien species walking by as background characters. Twin suns casting warm golden light, atmospheric dust particles in air, moisture vaporators visible in distance. Gritty lived-in Star Wars aesthetic, practical effects look, film grain texture, cinematic composition.",
  "negative_prompt": "clean futuristic look, sterile environment, overly CGI appearance, fantasy medieval elements, Earth architecture, modern city",
  "style": "Star Wars original trilogy aesthetic, lived-in universe, practical effects inspired, cinematic film look, slightly desaturated with warm tones",
  "composition": "medium wide shot, character in foreground with alien street extending into background, environmental storytelling, rule of thirds",
  "lighting": "warm golden hour lighting from twin suns, rim lighting on character, atmospheric haze, practical light sources from market stalls",
  "color_palette": "warm sandy tones, ochre and sienna, dusty blues, weathered metals, muted earth colors with pops of alien market colors",
  "technical": {
    "aspect_ratio": "9:16",
    "quality": "high",
    "detail_level": "highly detailed with film-like texture"
  }
}

python /mnt/skills/public/image-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/star-wars-scene.json \
  --reference-images /mnt/user-data/uploads/character-ref.jpg /mnt/user-data/uploads/vehicle-ref.jpg \
  --output-file /mnt/user-data/outputs/star-wars-scene-01.jpg \
  --aspect-ratio 16:9

Häufige Szenarien

Verwenden Sie unterschiedliche JSON-Schemata für verschiedene Szenarien.

Charakterdesign:

• Körperliche Attribute (Geschlecht, Alter, Ethnie, Körpertyp)
• Gesichtsmerkmale und Ausdrücke
• Kleidung und Accessoires
• Historische Epoche oder Umgebung
• Pose und Kontext

Szenengenerierung:

• Umgebungsbeschreibung
• Tageszeit, Wetter
• Stimmung und Atmosphäre
• Blickpunkte und Komposition

Produktvisualisierung:

• Produktdetails und Materialien
• Beleuchtungssetup
• Hintergrund und Kontext
• Präsentationswinkel

Spezifische Vorlagen

Lesen Sie die folgende Vorlagendatei nur, wenn sie mit der Benutzeranfrage übereinstimmt.

• Doraemon Comic

Ausgabehandhabung

Nach der Generierung:

• Bilder werden normalerweise in /mnt/user-data/outputs/ gespeichert
• Generierte Bilder dem Benutzer mit dem present_files-Tool teilen
• Kurze Beschreibung des Generierungsergebnisses geben
• Iteration anbieten, falls Anpassungen erforderlich sind

Tipps: Verbesserung der Generierung mit Referenzbildern

Für Szenarien, bei denen visuelle Genauigkeit entscheidend ist, verwenden Sie zuerst das image_search-Tool, um Referenzbilder zu finden, bevor Sie generieren.

Empfohlene Szenarien für die Verwendung des image_search-Tools:

• Charakter-/Porträtgenerierung: Suchen Sie nach ähnlichen Posen, Ausdrücken oder Stilen, um Gesichtsmerkmale und Körperproportionen zu steuern.
• Spezifische Objekte oder Produkte: Finden Sie Referenzbilder von realen Objekten, um eine genaue Darstellung sicherzustellen.
• Architektur- oder Umgebungsszenen: Suchen Sie nach Ortsreferenzen, um authentische Details einzufangen.
• Mode und Kleidung: Finden Sie Stilreferenzen, um präzise Kleidungsdetails und -stil sicherzustellen.

Beispielablauf:

1. Rufen Sie das image_search-Tool auf, um passende Referenzbilder zu finden:

   image_search(query="Japanese woman street photography 1990s", size="Large")
   

2. Laden Sie die zurückgegebenen Bild-URLs in lokale Dateien herunter
3. Verwenden Sie die heruntergeladenen Bilder als Parameter --reference-images im Generierungsskript

Dieser Ansatz verbessert die Generierungsqualität erheblich, indem er dem Modell konkrete visuelle Anleitung bietet, anstatt sich nur auf Textbeschreibungen zu verlassen.

Anbieter (Gemini / MiniMax)

Diese Fähigkeit wählt den Anbieter automatisch über Umgebungsvariablen aus (keine CLI-Änderung):

• GEMINI_API_KEY gesetzt → Gemini verwenden (Standard, unverändert).
• Nur MINIMAX_API_KEY gesetzt → MiniMax verwenden (/v1/image_generation, Modell image-01).
• Einen explizit festlegen mit IMAGE_GENERATION_PROVIDER=gemini|minimax.

MiniMax optionale Überschreibungen: MINIMAX_API_HOST (Standard https://api.minimaxi.com), MINIMAX_IMAGE_MODEL (Standard image-01). Referenzbilder werden als MiniMax subject_reference Charakterbild gesendet. Die CLI- und --prompt-file/--reference-images /--output-file/--aspect-ratio-Argumente sind für beide Anbieter identisch.

MiniMax-Prompt-Verarbeitung (anbieterintern). Die Erstellung ist anbieterunabhängig — schreiben Sie dasselbe strukturierte JSON, unabhängig davon, welcher Anbieter aktiv ist. MiniMax image-01 verarbeitet eine einzelne Textzeichenfolge, daher sendet der MiniMax-Pfad nur das JSON-Feld prompt (die anderen Felder wie style/composition/negative_prompt gelten für den Gemini-Pfad) und aktiviert prompt_optimizer, damit MiniMax es serverseitig erweitert. MiniMax begrenzt diesen Prompt auf 1500 Zeichen; wenn das prompt-Feld länger ist, gibt das Skript einen Fehler zurück, anstatt die API aufzurufen. Der Gemini-Pfad erhält das vollständige strukturierte JSON.

Hinweise

• Verwenden Sie immer Englisch für Prompts, unabhängig von der Sprache des Benutzers
• JSON-Format gewährleistet strukturierte, parsbare Prompts
• Referenzbilder verbessern die Generierungsqualität erheblich
• Iterative Verfeinerung ist für optimale Ergebnisse normal
• Fügen Sie bei der Charaktergenerierung das detaillierte Charakterobjekt plus ein konsolidiertes Prompt-Feld hinzu