Was macht AI Multimodal?
Verarbeite Audio, Bilder, Videos und Dokumente und generiere Bilder/Videos mit der multimodalen API von Google Gemini.
Einrichtung
export GEMINI_API_KEY="dein-schlüssel" # Holen unter https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow
API-Key-Rotation (Optional)
Für hohe Nutzung oder bei Erreichen von Ratenlimits können mehrere API-Keys konfiguriert werden:
# Primärer Schlüssel (erforderlich)
export GEMINI_API_KEY="key1"
# Zusätzliche Schlüssel für Rotation (optional)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
Oder in deiner .env-Datei:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
Funktionen:
- Automatische Rotation bei Ratenlimit-Fehlern (429/RESOURCE_EXHAUSTED)
- 60-Sekunden-Abkühlung pro Schlüssel nach Erreichen des Limits
- Protokollierung von Rotationsereignissen mit
--verbose-Flag - Abwärtskompatibel: Ein einzelner Schlüssel funktioniert weiterhin
Schnellstart
Einrichtung überprüfen: python scripts/check_setup.py
Medien analysieren: python scripts/gemini_batch_process.py --files <datei> --task <analyze|transcribe|extract>
- TIPP: Wenn du gebeten wirst, ein Bild zu analysieren, überprüfe, ob der Befehl
geminiverfügbar ist, und verwende dannecho "<prompt zum analysieren des bildes>" | gemini -y -m <gemini.model>(Modell aus.claude/.ck.jsonlesen:gemini.model). Fallsgemininicht verfügbar ist, verwende den Befehlpython scripts/gemini_batch_process.py --files <datei> --task analyze. Inhalte generieren:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "beschreibung"
Stdin-Unterstützung: Du kannst Dateien direkt über stdin weiterleiten (erkennt automatisch PNG/JPG/PDF/WAV/MP3).
cat bild.png | python scripts/gemini_batch_process.py --task analyze --prompt "Beschreibe dies"python scripts/gemini_batch_process.py --files bild.png --task analyze(traditionell)
Modelle
- Bildgenerierung:
imagen-4.0-generate-001(Standard),imagen-4.0-ultra-generate-001(Qualität),imagen-4.0-fast-generate-001(Geschwindigkeit) - Videogenerierung:
veo-3.1-generate-preview(8-Sekunden-Clips mit Audio) - Analyse:
gemini-2.5-flash(empfohlen),gemini-2.5-pro(fortgeschritten)
Skripte
gemini_batch_process.py: CLI-Orchestrator fürtranscribe|analyze|extract|generate|generate-video, der automatisch API-Keys auflöst, sinnvolle Standardmodelle pro Aufgabe auswählt, Dateien inline vs. File API streamt und strukturierte Ausgaben (Text/JSON/CSV/Markdown sowie generierte Assets) für Imagen 4- und Veo-Workflows speichert.media_optimizer.py: ffmpeg/Pillow-basiertes Vorverarbeitungstool, das Audio-, Bild- und Videoeingaben komprimiert/skaliert/konvertiert, Zielgrößen/Bitraten einhält, lange Clips in Stundenblöcke aufteilt und Verzeichnisse stapelweise verarbeitet, damit Medien innerhalb der Gemini-Limits bleiben.document_converter.py: Gemini-gestützter Konverter, der PDFs/Bilder/Office-Dokumente hochlädt, einen markdown-erhaltenden Prompt anwendet, mehrere Dateien stapelt, Ausgaben automatisch unterdocs/assetsbenennt und CLI-Flags für Modell, Prompt, automatische Dateibenennung und ausführliche Protokollierung bereitstellt.check_setup.py: Interaktiver Bereitschaftsprüfer, der Verzeichnislayout, zentralen Umgebungsvariablen-Auflöser, erforderliche Python-Abhängigkeiten und Verfügbarkeit/Format des GEMINI_API_KEY überprüft, dann einen Live-Gemini-API-Aufruf durchführt und bei Fehlern Korrekturanweisungen ausgibt.
Verwende --help für Optionen.
Referenzen
Lade für detaillierte Anleitungen:
| Thema | Datei | Beschreibung |
|---|---|---|
| Musik | references/music-generation.md | Lyria RealTime API zur Hintergrundmusikgenerierung, Stil-Prompts, Echtzeitsteuerung, Integration in die Videoproduktion. |
| Audio | references/audio-processing.md | Audioformate und -limits, Transkription (Zeitstempel, Sprecher, Segmente), Nicht-Sprach-Analyse, File API vs. Inline-Eingabe, TTS-Modelle, Best Practices, Kosten- und Token-Berechnung, konkrete Rezepte für Meetings/Podcasts/Interviews. |
| Bilder | references/vision-understanding.md | Überblick über die visuellen Fähigkeiten, unterstützte Formate und Modelle, Captioning/Klassifikation/VQA, Erkennung und Segmentierung, OCR und Dokumentenlesen, Multi-Image-Workflows, strukturierte JSON-Ausgabe, Tokenkosten, Best Practices und häufige Anwendungsfälle für Produkte/Screenshots/Diagramme/Szenen. |
| Bildgen. | references/image-generation.md | Überblick über Imagen 4 und Gemini-Bildmodelle, generate_images vs. generate_content APIs, Seitenverhältnisse und Kosten, Text/Bild/beide Modalitäten, Bearbeitung und Komposition, Stil- und Qualitätskontrolle, Sicherheitseinstellungen, Best Practices, Fehlerbehebung und häufige Szenarien für Marketing/Konzeptkunst/UI. |
| Video | references/video-analysis.md | Analysefähigkeiten für Videos und unterstützte Formate, Modell-/Kontextauswahl, lokale/Inline/YouTube-Eingaben, Clipping und FPS-Steuerung, Multivideo-Vergleich, zeitliche Frage-Antwort- und Szenenerkennung, Transkription mit visuellem Kontext, Token- und Kostenrichtlinien und Optimierungs-/Best-Practice-Muster. |
| Videogen. | references/video-generation.md | Veo-Modellmatrix, Text-zu-Video und Bild-zu-Video Schnellstart, Multi-Referenz- und Erweiterungsflüsse, Kamera- und Zeitsteuerung, Konfiguration (Auflösung, Seitenverhältnis, Audio, Sicherheit), Prompt-Design-Muster, Leistungstipps, Einschränkungen, Fehlerbehebung und Kostenschätzungen. |
Limits
Formate: Audio (WAV/MP3/AAC, 9,5h), Bilder (PNG/JPEG/WEBP, 3.600), Video (MP4/MOV, 6h), PDF (1.000 Seiten) Größe: 20MB inline, 2GB File API Wichtig:
- Wenn du ein Transkript des Audios erstellen möchtest und die Audiolänge länger als 15 Minuten ist, wird das Transkript aufgrund der Ausgabe-Token-Limits in der Gemini-API-Antwort oft abgeschnitten. Um das vollständige Transkript zu erhalten, musst du das Audio in kleinere Blöcke (max. 15 Minuten pro Block) aufteilen und jedes Segment für ein vollständiges Transkript transkribieren.
- Wenn du ein Transkript des Videos erstellen möchtest und die Videolänge länger als 15 Minuten ist, verwende ffmpeg, um das Audio aus dem Video zu extrahieren, das Audio auf 15 Minuten zu kürzen, alle Audio-Segmente zu transkribieren und dann die Transkripte zu einem einzigen Transkript zusammenzuführen. Transkriptionsausgabe-Anforderungen:
- Format: Markdown
- Metadaten: Dauer, Dateigröße, Erstellungsdatum, Beschreibung, Dateiname, behandelte Themen usw.
- Teile: von-bis (z.B. 00:00-00:15), Audio-Chunk-Name, Transkript, Status usw.
- Transkriptformat:
[HH:MM:SS -> HH:MM:SS] Transkriptinhalt [HH:MM:SS -> HH:MM:SS] Transkriptinhalt ...