Video-Generierung

Fähigkeit zur Video-Generierung

Übersicht

Diese Fähigkeit generiert hochwertige Videos mittels strukturierter Prompts und eines Python-Skripts. Der Workflow umfasst die Erstellung von JSON-formatierten Prompts und die Ausführung der Videogenerierung mit optionalem Referenzbild.

Kernfunktionen

• Erstellung strukturierter JSON-Prompts für die AIGC-Videogenerierung
• Unterstützung von Referenzbildern als Leitbild oder als erstes/letztes Bild des Videos
• Generierung von Videos durch automatisierte Python-Skriptausführung

Workflow

Schritt 1: Anforderungen verstehen

Wenn ein Benutzer die Videogenerierung anfordert, identifiziere:

• Subjekt/Inhalt: Was soll im Bild sein
• Stilpräferenzen: Kunststil, Stimmung, Farbpalette
• Technische Spezifikationen: Seitenverhältnis, Komposition, Beleuchtung
• Referenzbild: Ein Bild zur Leitlinie der Generierung
• Du musst nicht den Ordner unter /mnt/user-data überprüfen

Schritt 2: Strukturierten Prompt erstellen

Erstelle eine strukturierte JSON-Datei in /mnt/user-data/workspace/ mit dem Namensmuster: {deskriptiver-name}.json

Schritt 3: Referenzbild erstellen (optional, wenn die Bildgenerierungsfähigkeit verfügbar ist)

Generiere ein Referenzbild für die Videogenerierung.

• Wenn nur 1 Bild bereitgestellt wird, verwende es als Leitbild des Videos

Schritt 3: Generierung ausführen

Rufe das Python-Skript auf:

python /mnt/skills/public/video-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/prompt-file.json \
  --reference-images /pfad/zu/ref1.jpg \
  --output-file /mnt/user-data/outputs/generated-video.mp4 \
  --aspect-ratio 16:9

Parameter:

• --prompt-file: Absoluter Pfad zur JSON-Prompt-Datei (erforderlich)
• --reference-images: Absolute Pfade zum Referenzbild (optional)
• --output-file: Absoluter Pfad zur Ausgabebilddatei (erforderlich)
• --aspect-ratio: Seitenverhältnis des generierten Bildes (optional, Standard: 16:9)

[!HINWEIS] Lies die Python-Datei NICHT, rufe sie stattdessen einfach mit den Parametern auf.

Beispiel zur Videogenerierung

Benutzeranfrage: "Erstelle einen kurzen Videoclip, der die Eröffnungsszene aus 'Die Chroniken von Narnia: Der König von Narnia' zeigt"

Schritt 1: Suche online nach der Eröffnungsszene von "Die Chroniken von Narnia: Der König von Narnia"

Schritt 2: Erstelle eine JSON-Prompt-Datei mit folgendem Inhalt:

{
  "title": "Die Chroniken von Narnia - Abschied am Bahnhof",
  "background": {
    "description": "Evakuierungsszene aus dem Zweiten Weltkrieg an einem überfüllten Londoner Bahnhof. Dampf und Rauch erfüllen die Luft, während Kinder aufs Land geschickt werden, um dem Blitzkrieg zu entkommen.",
    "era": "Großbritannien im Krieg, 1940er Jahre",
    "location": "Bahnsteig eines Londoner Bahnhofs"
  },
  "characters": ["Mrs. Pevensie", "Lucy Pevensie"],
  "camera": {
    "type": "Nahaufnahme, Zweiershot",
    "movement": "Statisch mit subtiler Handkamerabewegung",
    "angle": "Profilansicht, intimer Bildausschnitt",
    "focus": "Beide Gesichter scharf, Hintergrund weicher Bokeh"
  },
  "dialogue": [
    {
      "character": "Mrs. Pevensie",
      "text": "Du musst tapfer sein für mich, mein Schatz. Ich werde dich holen kommen ... das verspreche ich."
    },
    {
      "character": "Lucy Pevensie",
      "text": "Das werde ich, Mutter. Das verspreche ich."
    }
  ],
  "audio": [
    {
      "type": "Zugpfeife ertönt (signalisiert Abfahrt)",
      "volume": 1
    },
    {
      "type": "Streicher schwellen emotional an, klingen dann aus",
      "volume": 0.5
    },
    {
      "type": "Umgebungsgeräusche des Bahnhofs",
      "volume": 0.5
    }
  ]
}

Schritt 3: Verwende die Bildgenerierungsfähigkeit, um das Referenzbild zu generieren

Lade die Bildgenerierungsfähigkeit und generiere ein einzelnes Referenzbild narnia-abschied-szene-01.jpg gemäß der Fähigkeit.

Schritt 4: Verwende das generate.py-Skript, um das Video zu generieren

python /mnt/skills/public/video-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/narnia-abschied-szene.json \
  --reference-images /mnt/user-data/outputs/narnia-abschied-szene-01.jpg \
  --output-file /mnt/user-data/outputs/narnia-abschied-szene-01.mp4 \
  --aspect-ratio 16:9

Lese die Python-Datei NICHT, rufe sie einfach mit den Parametern auf.

Ausgabehandhabung

Nach der Generierung:

• Videos werden normalerweise in /mnt/user-data/outputs/ gespeichert
• Teile generierte Videos (zuerst) mit dem Benutzer sowie ggf. generierte Bilder mit dem present_files-Tool
• Gib eine kurze Beschreibung des Generierungsergebnisses
• Biete an, zu iterieren, falls Anpassungen erforderlich sind

Hinweise

• Verwende immer Englisch für Prompts, unabhängig von der Sprache des Benutzers
• Das JSON-Format stellt strukturierte, parsbare Prompts sicher
• Referenzbilder verbessern die Generierungsqualität erheblich
• Iterative Verfeinerung ist normal für optimale Ergebnisse

Anbieter (Gemini / MiniMax)

Automatisch ausgewählt durch Umgebungsvariablen (CLI unverändert):

• GEMINI_API_KEY gesetzt → Gemini Veo (Standard, unverändert).
• Nur MINIMAX_API_KEY gesetzt → MiniMax-Video (/v1/video_generation, asynchroner 3-Schritte-Poll/Download).
• Erzwingen mit VIDEO_GENERATION_PROVIDER=gemini|minimax.

MiniMax-Überschreibungen: MINIMAX_API_HOST (Standard https://api.minimaxi.com), MINIMAX_VIDEO_MODEL (Standard MiniMax-Hailuo-2.3). Das erste Referenzbild wird als MiniMax first_frame_image verwendet. MiniMax ignoriert --aspect-ratio (es verwendet Auflösung/Dauer).