IA Multimodale
Traitez l'audio, les images, les vidéos, les documents et générez des images/vidéos en utilisant l'API multimodale de Google Gemini.
Configuration
export GEMINI_API_KEY="votre-cle" # Obtenez-la sur https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow
Rotation de clés API (Optionnelle)
Pour une utilisation à volume élevé ou lorsque vous rencontrez des limites de débit, configurez plusieurs clés API :
# Clé principale (obligatoire)
export GEMINI_API_KEY="cle1"
# Clés supplémentaires pour la rotation (optionnelles)
export GEMINI_API_KEY_2="cle2"
export GEMINI_API_KEY_3="cle3"
Ou dans votre fichier .env :
GEMINI_API_KEY=cle1
GEMINI_API_KEY_2=cle2
GEMINI_API_KEY_3=cle3
Fonctionnalités :
- Rotation automatique en cas d'erreur de limite de débit (429/RESOURCE_EXHAUSTED)
- Période de repos de 60 secondes par clé après un dépassement de limite
- Journalisation des événements de rotation avec l'option
--verbose - Rétrocompatible : une seule clé fonctionne toujours
Démarrage rapide
Vérifier la configuration : python scripts/check_setup.py
Analyser un média : python scripts/gemini_batch_process.py --files <fichier> --task <analyze|transcribe|extract>
- ASTUCE : Lorsqu'on vous demande d'analyser une image, vérifiez si la commande
geminiest disponible, puis utilisezecho "<prompt pour analyser l'image>" | gemini -y -m <gemini.model>(lisez le modèle dans.opencode/.ck.json:gemini.model). Si la commandegeminin'est pas disponible, utilisez la commandepython scripts/gemini_batch_process.py --files <fichier> --task analyze. Générer du contenu :python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"
Support de l'entrée standard : Vous pouvez rediriger des fichiers directement via stdin (détection automatique des PNG/JPG/PDF/WAV/MP3).
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Décris ceci"python scripts/gemini_batch_process.py --files image.png --task analyze(traditionnel)
Modèles
- Génération d'images :
imagen-4.0-generate-001(standard),imagen-4.0-ultra-generate-001(qualité),imagen-4.0-fast-generate-001(vitesse) - Génération de vidéos :
veo-3.1-generate-preview(clips de 8s avec audio) - Analyse :
gemini-2.5-flash(recommandé),gemini-2.5-pro(avancé)
Scripts
gemini_batch_process.py: Orchestrateur CLI pourtranscribe|analyze|extract|generate|generate-videoqui résout automatiquement les clés API, choisit des modèles par défaut pertinents pour chaque tâche, diffuse les fichiers en ligne ou via l'API File, et enregistre les sorties structurées (texte/JSON/CSV/markdown plus les ressources générées) pour les workflows Imagen 4 + Veo.media_optimizer.py: Outil de pré-vérification basé sur ffmpeg/Pillow qui compresse/redimensionne/convertit les entrées audio, image et vidéo, applique des tailles/débits cibles, divise les longs clips en segments d'une heure et traite par lots les répertoires pour que les médias restent dans les limites de Gemini.document_converter.py: Convertisseur propulsé par Gemini qui télécharge des PDF/images/documents Office, applique une invite préservant le Markdown, traite plusieurs fichiers par lots, nomme automatiquement les sorties dansdocs/assets, et expose des options CLI pour le modèle, l'invite, le nommage automatique des fichiers et la journalisation verbose.check_setup.py: Vérificateur de préparation interactif qui valide la structure des répertoires, le résolveur d'environnement centralisé, les dépendances Python requises et la disponibilité/format de GEMINI_API_KEY, puis effectue un appel API Gemini en direct et affiche des instructions de correction si quelque chose échoue.
Utilisez --help pour les options.
Références
Chargez pour des conseils détaillés :
| Sujet | Fichier | Description |
|---|---|---|
| Musique | references/music-generation.md | API Lyria RealTime pour la génération de musique de fond, invites de style, contrôle en temps réel, intégration avec la production vidéo. |
| Audio | references/audio-processing.md | Formats et limites audio, transcription (horodatages, locuteurs, segments), analyse non vocale, API File vs entrée en ligne, modèles TTS, bonnes pratiques, coûts et calculs de tokens, et recettes concrètes pour réunions/podcasts/interviews. |
| Images | references/vision-understanding.md | Aperçu des capacités de vision, formats et modèles pris en charge, légendage/classification/VQA, détection et segmentation, OCR et lecture de documents, workflows multi-images, sortie JSON structurée, coûts en tokens, bonnes pratiques et cas d'utilisation courants pour produits/captures d'écran/graphiques/scènes. |
| Génération d'images | references/image-generation.md | Présentation d'Imagen 4 et des modèles d'images Gemini, APIs generate_images vs generate_content, ratios d'aspect et coûts, modalités texte/image/les deux, édition et composition, contrôle du style et de la qualité, paramètres de sécurité, bonnes pratiques, dépannage et scénarios courants de marketing/concept-art/UI. |
| Vidéo | references/video-analysis.md | Capacités d'analyse vidéo et formats pris en charge, choix du modèle/contexte, entrées locales/en ligne/YouTube, découpage et contrôle FPS, comparaison multi-vidéos, questions-réponses temporelles et détection de scènes, transcription avec contexte visuel, conseils sur les tokens et les coûts, et modèles d'optimisation et de bonnes pratiques. |
| Génération de vidéos | references/video-generation.md | Matrice des modèles Veo, démarrage rapide texte-vers-vidéo et image-vers-vidéo, flux multi-référence et extension, contrôle de la caméra et du timing, configuration (résolution, format, audio, sécurité), modèles de conception d'invites, conseils de performance, limitations, dépannage et estimations de coûts. |
Limites
Formats : Audio (WAV/MP3/AAC, 9,5h), Images (PNG/JPEG/WEBP, 3,6k), Vidéo (MP4/MOV, 6h), PDF (1k pages) Taille : 20 Mo en ligne, 2 Go via API File Important :
- Si vous allez générer une transcription de l'audio et que la durée de l'audio dépasse 15 minutes, la transcription est souvent tronquée en raison des limites de tokens de sortie dans la réponse de l'API Gemini. Pour obtenir la transcription complète, vous devez diviser l'audio en segments plus petits (maximum 15 minutes par segment) et transcrire chaque segment pour une transcription complète.
- Si vous allez générer une transcription de la vidéo et que la durée de la vidéo dépasse 15 minutes, utilisez ffmpeg pour extraire l'audio de la vidéo, tronquez l'audio à 15 minutes, transcrivez tous les segments audio, puis combinez les transcriptions en une seule transcription. Exigences de sortie de transcription :
- Format : Markdown
- Métadonnées : Durée, taille du fichier, date de génération, description, nom du fichier, sujets abordés, etc.
- Parties : de-à (ex. 00:00-00:15), nom du segment audio, transcription, statut, etc.
- Format de transcription :
[HH:MM:SS -> HH:MM:SS] contenu de la transcription [HH:MM:SS -> HH:MM:SS] contenu de la transcription ...