KI Multimodal
Verarbeiten Sie Audio, Bilder, Videos und Dokumente und generieren Sie Bilder und Videos mit der multimodalen API von Google Gemini.
Einrichtung
export GEMINI_API_KEY="Ihr-Schlüssel" # Holen Sie sich einen unter https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow
API-Schlüssel-Rotation (Optional)
Für hohe Nutzung oder bei Ratenbegrenzungen können mehrere API-Schlüssel konfiguriert werden:
# Primärer Schlüssel (erforderlich)
export GEMINI_API_KEY="schluessel1"
# Zusätzliche Schlüssel für Rotation (optional)
export GEMINI_API_KEY_2="schluessel2"
export GEMINI_API_KEY_3="schluessel3"
Oder in Ihrer .env-Datei:
GEMINI_API_KEY=schluessel1
GEMINI_API_KEY_2=schluessel2
GEMINI_API_KEY_3=schluessel3
Funktionen:
- Automatische Rotation bei Ratenbegrenzungsfehlern (429/RESOURCE_EXHAUSTED)
- 60-Sekunden-Abklingzeit pro Schlüssel nach Erreichen der Ratenbegrenzung
- Protokolliert Rotationsereignisse mit
--verbose-Flag - Abwärtskompatibel: Ein einzelner Schlüssel funktioniert weiterhin
Schnellstart
Einrichtung überprüfen: python scripts/check_setup.py
Medien analysieren: python scripts/gemini_batch_process.py --files <datei> --task <analyze|transcribe|extract>
- TIPP: Wenn Sie aufgefordert werden, ein Bild zu analysieren, prüfen Sie, ob der Befehl
geminiverfügbar ist, und verwenden Sie dannecho "<prompt-zur-bildanalyse>" | gemini -y -m <gemini.model>(Modell aus.opencode/.ck.jsonlesen:gemini.model). Wenn der Befehlgemininicht verfügbar ist, verwenden Siepython scripts/gemini_batch_process.py --files <datei> --task analyze. Inhalt generieren:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "beschreibung"
Stdin-Unterstützung: Sie können Dateien direkt über stdin weiterleiten (erkennt automatisch PNG/JPG/PDF/WAV/MP3).
cat bild.png | python scripts/gemini_batch_process.py --task analyze --prompt "Beschreibe dies"python scripts/gemini_batch_process.py --files bild.png --task analyze(traditionell)
Modelle
- Bildgenerierung:
imagen-4.0-generate-001(Standard),imagen-4.0-ultra-generate-001(Qualität),imagen-4.0-fast-generate-001(Geschwindigkeit) - Videogenerierung:
veo-3.1-generate-preview(8-Sekunden-Clips mit Audio) - Analyse:
gemini-2.5-flash(empfohlen),gemini-2.5-pro(fortgeschritten)
Skripte
gemini_batch_process.py: CLI-Orchestrator fürtranscribe|analyze|extract|generate|generate-video, der automatisch API-Schlüssel auflöst, sinnvolle Standardmodelle pro Aufgabe auswählt, Dateien inline vs. über die File-API streamt und strukturierte Ausgaben (Text/JSON/CSV/Markdown plus generierte Assets) für Imagen 4- und Veo-Workflows speichert.media_optimizer.py: Ein auf ffmpeg/Pillow basierendes Vorbereitungstool, das Audio-, Bild- und Videoeingaben komprimiert/skaliert/konvertiert, Zielgrößen/Bitraten erzwingt, lange Clips in Stunden-Chunks aufteilt und Verzeichnisse stapelverarbeitet, sodass Medien innerhalb der Gemini-Limits bleiben.document_converter.py: Ein Gemini-gestützter Konverter, der PDFs/Bilder/Office-Dokumente hochlädt, einen Markdown-erhaltenden Prompt anwendet, mehrere Dateien stapelt, Ausgaben automatisch unterdocs/assetsbenennt und CLI-Flags für Modell, Prompt, automatische Dateibenennung und ausführliche Protokollierung bereitstellt.check_setup.py: Interaktiver Bereitschaftsprüfer, der die Verzeichnisstruktur, den zentralisierten Env-Resolver, erforderliche Python-Abhängigkeiten und die Verfügbarkeit/das Format von GEMINI_API_KEY überprüft, dann einen Live-Gemini-API-Aufruf durchführt und bei Fehlern Korrekturanweisungen ausgibt.
Verwenden Sie --help für Optionen.
Referenzen
Laden Sie für detaillierte Anleitungen:
| Thema | Datei | Beschreibung |
|---|---|---|
| Musik | references/music-generation.md | Lyria RealTime API zur Hintergrundmusikgenerierung, Stil-Prompts, Echtzeitsteuerung, Integration in die Videoproduktion. |
| Audio | references/audio-processing.md | Audioformate und -grenzen, Transkription (Zeitstempel, Sprecher, Segmente), Nicht-Sprach-Analyse, File-API vs. Inline-Eingabe, TTS-Modelle, Best Practices, Kosten- und Tokenmathematik sowie konkrete Rezepte für Meetings/Podcasts/Interviews. |
| Bilder | references/vision-understanding.md | Überblick über Vision-Fähigkeiten, unterstützte Formate und Modelle, Beschriftung/Klassifizierung/VQA, Erkennung und Segmentierung, OCR und Dokumentenlesen, Multi-Image-Workflows, strukturierte JSON-Ausgabe, Token-Kosten, Best Practices und häufige Anwendungsfälle für Produkte/Screenshots/Diagramme/Szenen. |
| Bildgen | references/image-generation.md | Überblick über Imagen 4 und Gemini-Bildmodelle, generate_images- vs. generate_content-APIs, Seitenverhältnisse und Kosten, Text/Bild/Beide Modalitäten, Bearbeitung und Komposition, Stil- und Qualitätskontrolle, Sicherheitseinstellungen, Best Practices, Fehlerbehebung und häufige Szenarien für Marketing/Konzeptkunst/UI. |
| Video | references/video-analysis.md | Videofunktionen und unterstützte Formate, Modell-/Kontextauswahl, lokale/inline/YouTube-Eingaben, Clipping und FPS-Steuerung, Multi-Video-Vergleich, zeitliche Q&A und Szenenerkennung, Transkription mit visuellem Kontext, Token- und Kostenberatung sowie Optimierungs-/Best-Practice-Muster. |
| Video Gen | references/video-generation.md | Veo-Modellmatrix, Text-zu-Video- und Bild-zu-Video-Schnellstart, Multi-Referenz- und Erweiterungsabläufe, Kamera- und Zeitsteuerung, Konfiguration (Auflösung, Seitenverhältnis, Audio, Sicherheit), Prompt-Design-Muster, Leistungstipps, Einschränkungen, Fehlerbehebung und Kostenschätzungen. |
Limits
Formate: Audio (WAV/MP3/AAC, 9,5h), Bilder (PNG/JPEG/WEBP, 3.600), Video (MP4/MOV, 6h), PDF (1.000 Seiten) Größe: 20 MB inline, 2 GB File API Wichtig:
- Wenn Sie ein Transkript eines Audios generieren möchten, das länger als 15 Minuten ist, wird das Transkript aufgrund der Ausgabe-Token-Limits in der Gemini-API-Antwort oft abgeschnitten. Um das vollständige Transkript zu erhalten, müssen Sie das Audio in kleinere Chunks (maximal 15 Minuten pro Chunk) aufteilen und jedes Segment transkribieren, um ein vollständiges Transkript zu erhalten.
- Wenn Sie ein Transkript eines Videos generieren möchten, das länger als 15 Minuten ist, extrahieren Sie das Audio mit ffmpeg aus dem Video, kürzen Sie das Audio auf 15 Minuten, transkribieren Sie alle Audio-Segmente und fügen Sie dann die Transkripte zu einem einzigen Transkript zusammen. Transkriptionsausgabe-Anforderungen:
- Format: Markdown
- Metadaten: Dauer, Dateigröße, Generierungsdatum, Beschreibung, Dateiname, behandelte Themen usw.
- Teile: von-bis (z. B. 00:00-00:15), Audio-Chunk-Name, Transkript, Status usw.
- Transkriptformat:
[HH:MM:SS -> HH:MM:SS] Transkriptinhalt [HH:MM:SS -> HH:MM:SS] Transkriptinhalt ...