KI Multimodal
Verarbeiten Sie Audio, Bilder, Videos, Dokumente und generieren Sie Bilder/Videos mit der multimodalen API von Google Gemini.
Einrichtung
export GEMINI_API_KEY="Ihr-Schlüssel" # Holen Sie sich einen unter https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow
API-Key Rotation (Optional)
Konfigurieren Sie bei hohem Nutzungsvolumen oder bei Ratenbegrenzungen mehrere API-Keys:
# Primärschlüssel (erforderlich)
export GEMINI_API_KEY="key1"
# Zusätzliche Keys für Rotation (optional)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
Oder in Ihrer .env-Datei:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
Features:
- Automatische Rotation bei Rate-Limit-Fehlern (429/RESOURCE_EXHAUSTED)
- 60-Sekunden-Abkühlung pro Key nach Ratenbegrenzung
- Protokolliert Rotationsereignisse mit
--verbose-Flag - Abwärtskompatibel: Ein einzelner Schlüssel funktioniert weiterhin
Schnellstart
Einrichtung prüfen: python scripts/check_setup.py
Medien analysieren: python scripts/gemini_batch_process.py --files <datei> --task <analyze|transcribe|extract>
- TIPP: Wenn Sie aufgefordert werden, ein Bild zu analysieren, prüfen Sie, ob der Befehl
geminiverfügbar ist, und verwenden Sie dannecho "<prompt zum analysieren des bildes>" | gemini -y -m <gemini.model>. Lesen Sie das Modell aus.opencode/.ck.jsonaus:gemini.model. Wenn der Befehlgemininicht verfügbar ist, verwenden Sie den Befehlpython scripts/gemini_batch_process.py --files <datei> --task analyze. Inhalt generieren:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "beschreibung"
stdin-Unterstützung: Sie können Dateien direkt über stdin übergeben (erkennt automatisch PNG/JPG/PDF/WAV/MP3).
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Beschreibe dies"python scripts/gemini_batch_process.py --files image.png --task analyze(traditionell)
Modelle
- Bildgenerierung:
imagen-4.0-generate-001(Standard),imagen-4.0-ultra-generate-001(Qualität),imagen-4.0-fast-generate-001(Geschwindigkeit) - Videogenerierung:
veo-3.1-generate-preview(8-Sekunden-Clips mit Audio) - Analyse:
gemini-2.5-flash(empfohlen),gemini-2.5-pro(fortgeschritten)
Skripte
gemini_batch_process.py: CLI-Orchestrator fürtranscribe|analyze|extract|generate|generate-video, der API-Keys automatisch auflöst, für jede Aufgabe sinnvolle Standardmodelle auswählt, Dateien inline vs. über die File-API streamt und strukturierte Ausgaben (Text/JSON/CSV/Markdown sowie generierte Assets) für Imagen-4- und Veo-Workflows speichert.media_optimizer.py: ffmpeg/Pillow-basiertes Vorbereitungswerkzeug, das Audio-, Bild- und Videoeingaben komprimiert/verkleinert/konvertiert, Zielgrößen/Bitraten erzwingt, lange Clips in stündliche Chunks aufteilt und Verzeichnisse stapelweise verarbeitet, damit Medien innerhalb der Gemini-Limits bleiben.document_converter.py: Gemini-gestützter Konverter, der PDFs/Bilder/Office-Dokumente hochlädt, eine Markdown-erhaltende Prompt anwendet, mehrere Dateien stapelt, Ausgabeteien unterdocs/assetsautomatisch benennt und CLI-Flags für Modell, Prompt, automatische Dateibenennung und ausführliche Protokollierung bereitstellt.check_setup.py: Interaktiver Bereitschaftsprüfer, der das Verzeichnislayout, den zentralisierten Env-Auflöser, erforderliche Python-Abhängigkeiten und die Verfügbarkeit/Format vonGEMINI_API_KEYüberprüft, dann einen Live-Aufruf der Gemini-API durchführt und Reparaturanweisungen ausgibt, wenn etwas fehlschlägt.
Verwenden Sie --help für Optionen.
Referenzen
Laden Sie die detaillierte Anleitung:
| Thema | Datei | Beschreibung |
|---|---|---|
| Musik | references/music-generation.md | Lyria-RealTime-API zur Hintergrundmusikgenerierung, Style-Prompts, Echtzeitsteuerung, Integration mit Videoproduktion. |
| Audio | references/audio-processing.md | Audioformate und -limits, Transkription (Zeitstempel, Sprecher, Segmente), Nicht-Sprach-Analyse, File-API vs. Inline-Eingabe, TTS-Modelle, Best Practices, Kosten- und Token-Mathematik, konkrete Rezepte für Meetings/Podcasts/Interviews. |
| Bilder | references/vision-understanding.md | Übersicht über die Bildverarbeitungsfähigkeiten, unterstützte Formate und Modelle, Bildunterschriften/Klassifikation/VQA, Erkennung und Segmentierung, OCR und Dokumentenlesen, Multi-Image-Workflows, strukturierte JSON-Ausgabe, Token-Kosten, Best Practices und häufige Anwendungsfälle (Produkt/Screenshot/Diagramm/Szene). |
| Bild-Gen | references/image-generation.md | Übersicht über Imagen 4 und Gemini-Bildmodelle, Vergleich von generate_images vs. generate_content APIs, Seitenverhältnisse und Kosten, Text/Bild/beide Modalitäten, Bearbeitung und Komposition, Stil- und Qualitätskontrolle, Sicherheitseinstellungen, Best Practices, Fehlerbehebung, häufige Szenarien für Marketing/Konzeptkunst/UI. |
| Video | references/video-analysis.md | Videanalyse-Fähigkeiten und unterstützte Formate, Modell-/Kontextauswahl, lokale/Inline/YouTube-Eingaben, Clipping und FPS-Steuerung, Multi-Video-Vergleich, zeitliche Q&A und Szenenerkennung, Transkription mit visuellem Kontext, Token- und Kostenführung, Optimierungs- und Best-Practice-Muster. |
| Video-Gen | references/video-generation.md | Veo-Modellmatrix, Schnellstart für Text-zu-Video und Bild-zu-Video, Multi-Referenz- und Erweiterungsflüsse, Kamera- und Zeitsteuerung, Konfiguration (Auflösung, Seitenverhältnis, Audio, Sicherheit), Prompt-Design-Muster, Leistungstipps, Einschränkungen, Fehlerbehebung und Kostenschätzungen. |
Limits
Formate: Audio (WAV/MP3/AAC, 9.5h), Bilder (PNG/JPEG/WEBP, 3.6k), Video (MP4/MOV, 6h), PDF (1k Seiten) Größe: 20MB inline, 2GB File API Wichtig:
- Wenn Sie eine Transkription eines Audios erstellen, das länger als 15 Minuten ist, wird die Transkription aufgrund der Ausgabe-Token-Limits der Gemini-API häufig abgeschnitten. Um die vollständige Transkription zu erhalten, müssen Sie das Audio in kleinere Teilstücke (maximal 15 Minuten pro Teil) aufteilen und jedes Segment für eine vollständige Transkription transkribieren.
- Wenn Sie eine Transkription eines Videos erstellen, das länger als 15 Minuten ist, extrahieren Sie mit ffmpeg das Audio aus dem Video, kürzen Sie das Audio auf 15 Minuten, transkribieren Sie alle Audio-Segmente und kombinieren Sie dann die Transkriptionen zu einer einzigen Transkription. Anforderungen an die Transkriptionsausgabe:
- Format: Markdown
- Metadaten: Dauer, Dateigröße, Erstellungsdatum, Beschreibung, Dateiname, behandelte Themen usw.
- Teile: von-bis (z. B. 00:00-00:15), Audio-Chunk-Name, Transkription, Status usw.
- Transkriptionsformat:
[HH:MM:SS -> HH:MM:SS] Transkriptionsinhalt [HH:MM:SS -> HH:MM:SS] Transkriptionsinhalt ...