Was macht KI Multimodal?
Verarbeite Audio-, Bild-, Video- und Dokumentdateien und generiere Bilder/Videos mithilfe der multimodalen API von Google Gemini.
Einrichtung
export GEMINI_API_KEY="dein-schlüssel" # Holen unter https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow
API-Key-Rotation (Optional)
Für hohes Aufkommen oder bei Erreichen von Ratenlimits können mehrere API-Keys konfiguriert werden:
# Primärer Schlüssel (erforderlich)
export GEMINI_API_KEY="key1"
# Zusätzliche Schlüssel für Rotation (optional)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
Oder in deiner .env-Datei:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
Funktionen:
- Automatische Rotation bei Ratenlimit-Fehlern (429/RESOURCE_EXHAUSTED)
- 60-Sekunden-Abklingzeit pro Key nach Ratenlimit
- Protokolliert Rotationsereignisse mit
--verbose-Flag - Abwärtskompatibel: Ein einzelner Key funktioniert weiterhin
Schnellstart
Einrichtung prüfen: python scripts/check_setup.py
Medien analysieren: python scripts/gemini_batch_process.py --files <datei> --task <analyze|transcribe|extract>
- TIPP: Wenn du aufgefordert wirst, ein Bild zu analysieren, prüfe, ob der Befehl
geminiverfügbar ist, und verwende dannecho "<aufforderung zum Analysieren des Bildes>" | gemini -y -m <gemini.model>(Modell aus.claude/.ck.jsonlesen:gemini.model). Falls der Befehlgemininicht verfügbar ist, verwendepython scripts/gemini_batch_process.py --files <datei> --task analyze. Inhalte generieren:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "beschreibung"
Stdin-Unterstützung: Du kannst Dateien direkt über die Standardeingabe weiterleiten (erkennt automatisch PNG/JPG/PDF/WAV/MP3).
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Beschreibe dies"python scripts/gemini_batch_process.py --files image.png --task analyze(traditionell)
Modelle
- Bildgenerierung:
imagen-4.0-generate-001(Standard),imagen-4.0-ultra-generate-001(Qualität),imagen-4.0-fast-generate-001(Geschwindigkeit) - Videogenerierung:
veo-3.1-generate-preview(8-Sekunden-Clips mit Audio) - Analyse:
gemini-2.5-flash(empfohlen),gemini-2.5-pro(fortgeschritten)
Skripte
gemini_batch_process.py: CLI-Orchestrator fürtranscribe|analyze|extract|generate|generate-video, der API-Keys automatisch auflöst, sinnvolle Standardmodelle pro Aufgabe wählt, Dateien inline vs. File API streamt und strukturierte Ausgaben (Text/JSON/CSV/Markdown sowie generierte Assets) für Imagen 4 + Veo-Workflows speichert.media_optimizer.py: ffmpeg/Pillow-basiertes Vorbereitungstool, das Audio-, Bild- und Videoeingaben komprimiert/skaliert/konvertiert, Zielgrößen/Bitraten erzwingt, lange Clips in Stunden-Chunks aufteilt und Verzeichnisse stapelverarbeitet, damit Medien innerhalb der Gemini-Limits bleiben.document_converter.py: Gemini-gestützter Konverter, der PDFs/Bilder/Office-Dokumente hochlädt, eine Markdown-erhaltende Aufforderung anwendet, mehrere Dateien stapelt, Ausgaben automatisch unterdocs/assetsbenennt und CLI-Flags für Modell, Aufforderung, automatische Dateibenennung und ausführliche Protokollierung bereitstellt.check_setup.py: Interaktives Bereitschaftsprüfprogramm, das die Verzeichnisstruktur, den zentralisierten Umgebungsvariablen-Auflöser, die erforderlichen Python-Abhängigkeiten und die Verfügbarkeit/Format von GEMINI_API_KEY überprüft, dann einen Live-Gemini-API-Aufruf durchführt und bei Fehlern Korrekturanweisungen ausgibt.
Verwende --help für Optionen.
Referenzen
Lade für detaillierte Anleitungen:
| Thema | Datei | Beschreibung |
|---|---|---|
| Musik | references/music-generation.md | Lyria RealTime API zur Hintergrundmusikgenerierung, Stilaufforderungen, Echtzeitsteuerung, Integration mit Videoproduktion. |
| Audio | references/audio-processing.md | Audioformate und -limits, Transkription (Zeitstempel, Sprecher, Segmente), Nicht-Sprach-Analyse, File API vs. Inline-Eingabe, TTS-Modelle, bewährte Verfahren, Kosten- und Token-Mathematik und konkrete Rezepte für Meetings/Podcasts/Interviews. |
| Bilder | references/vision-understanding.md | Übersicht über Vision-Funktionen, unterstützte Formate und Modelle, Beschriftung/Klassifizierung/VQA, Erkennung und Segmentierung, OCR und Dokumentenlesen, Multi-Image-Workflows, strukturierte JSON-Ausgabe, Token-Kosten, bewährte Verfahren und häufige Anwendungsfälle für Produkte/Screenshots/Diagramme/Szenen. |
| Bild Gen | references/image-generation.md | Übersicht über Imagen 4- und Gemini-Bildmodelle, generate_images vs. generate_content-APIs, Seitenverhältnisse und Kosten, Text/Bild/beide Modalitäten, Bearbeitung und Komposition, Stil- und Qualitätskontrolle, Sicherheitseinstellungen, bewährte Methoden, Fehlerbehebung und häufige Szenarien für Marketing/Konzeptkunst/Benutzeroberfläche. |
| Video | references/video-analysis.md | Videofunktionen und unterstützte Formate, Modell-/Kontextauswahl, lokale/Inline/YouTube-Eingaben, Clipping und FPS-Steuerung, Multi-Video-Vergleich, zeitliche Fragen/Antworten und Szenenerkennung, Transkription mit visuellem Kontext, Token- und Kostenberatung sowie Optimierungs-/Best-Practice-Muster. |
| Video Gen | references/video-generation.md | Veo-Modellmatrix, Schnellstart für Text-zu-Video und Bild-zu-Video, Multi-Referenz- und Erweiterungsabläufe, Kamera- und Zeitsteuerung, Konfiguration (Auflösung, Seitenverhältnis, Audio, Sicherheit), Aufforderungsdesignmuster, Leistungstipps, Einschränkungen, Fehlerbehebung und Kostenschätzungen. |
Limits
Formate: Audio (WAV/MP3/AAC, 9,5h), Bilder (PNG/JPEG/WEBP, 3,6k), Video (MP4/MOV, 6h), PDF (1.000 Seiten) Größe: 20 MB inline, 2 GB File API Wichtig:
- Wenn du ein Transkript des Audios erstellen möchtest und die Audiolänge länger als 15 Minuten beträgt, wird das Transkript aufgrund der Ausgabe-Token-Limits in der Gemini-API-Antwort oft abgeschnitten. Um das vollständige Transkript zu erhalten, musst du das Audio in kleinere Blöcke (maximal 15 Minuten pro Block) aufteilen und jedes Segment für ein vollständiges Transkript transkribieren.
- Wenn du ein Transkript des Videos erstellen möchtest und die Videolänge länger als 15 Minuten beträgt, verwende ffmpeg, um das Audio aus dem Video zu extrahieren, kürze das Audio auf 15 Minuten, transkribiere alle Audiosegmente und kombiniere dann die Transkripte zu einem einzigen Transkript. Transkriptionsausgabe-Anforderungen:
- Format: Markdown
- Metadaten: Dauer, Dateigröße, Generierungsdatum, Beschreibung, Dateiname, behandelte Themen usw.
- Teile: von-bis (z. B. 00:00-00:15), Audioblock-Name, Transkript, Status usw.
- Transkriptformat:
[HH:MM:SS -> HH:MM:SS] Transkriptinhalt [HH:MM:SS -> HH:MM:SS] Transkriptinhalt ...