IA Multimodal
Procesa audio, imágenes, videos, documentos y genera imágenes/videos utilizando la API multimodal de Google Gemini.
Configuración
export GEMINI_API_KEY="tu-clave" # Obténla en https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow
Rotación de Claves API (Opcional)
Para uso de alto volumen o cuando se alcanzan los límites de tasa, configura múltiples claves API:
# Clave principal (obligatoria)
export GEMINI_API_KEY="clave1"
# Claves adicionales para rotación (opcional)
export GEMINI_API_KEY_2="clave2"
export GEMINI_API_KEY_3="clave3"
O en tu archivo .env:
GEMINI_API_KEY=clave1
GEMINI_API_KEY_2=clave2
GEMINI_API_KEY_3=clave3
Características:
- Rotación automática en errores de límite de tasa (429/RESOURCE_EXHAUSTED)
- Enfriamiento de 60 segundos por clave después de un límite de tasa
- Registra eventos de rotación con la bandera
--verbose - Compatible hacia atrás: una sola clave sigue funcionando
Inicio Rápido
Verificar configuración: python scripts/check_setup.py
Analizar medios: python scripts/gemini_batch_process.py --files <archivo> --task <analyze|transcribe|extract>
- CONSEJO: Cuando te pidan analizar una imagen, verifica si el comando
geminiestá disponible, luego usaecho "<prompt para analizar la imagen>" | gemini -y -m <gemini.model>(lee el modelo de.opencode/.ck.json:gemini.model). Si el comandogeminino está disponible, usapython scripts/gemini_batch_process.py --files <archivo> --task analyze. Generar contenido:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "descripción"
Soporte de stdin: Puedes canalizar archivos directamente desde stdin (detecta automáticamente PNG/JPG/PDF/WAV/MP3).
cat imagen.png | python scripts/gemini_batch_process.py --task analyze --prompt "Describe esto"python scripts/gemini_batch_process.py --files imagen.png --task analyze(tradicional)
Modelos
- Generación de imágenes:
imagen-4.0-generate-001(estándar),imagen-4.0-ultra-generate-001(calidad),imagen-4.0-fast-generate-001(velocidad) - Generación de videos:
veo-3.1-generate-preview(clips de 8s con audio) - Análisis:
gemini-2.5-flash(recomendado),gemini-2.5-pro(avanzado)
Scripts
gemini_batch_process.py: Orquestador CLI paratranscribe|analyze|extract|generate|generate-videoque resuelve automáticamente las claves API, elige modelos predeterminados sensatos por tarea, transmite archivos en línea vs API de archivos, y guarda salidas estructuradas (texto/JSON/CSV/markdown más activos generados) para flujos de trabajo Imagen 4 + Veo.media_optimizer.py: Herramienta de verificación previa basada en ffmpeg/Pillow que comprime/redimensiona/convierte entradas de audio, imagen y video, aplica tamaños/tasas de bits objetivo, divide clips largos en fragmentos de una hora, y procesa directorios por lote para que los medios se mantengan dentro de los límites de Gemini.document_converter.py: Convertidor impulsado por Gemini que sube PDFs/imágenes/documentos de Office, aplica un prompt que preserva el markdown, procesa múltiples archivos por lotes, nombra las salidas automáticamente bajodocs/assets, y expone banderas CLI para modelo, prompt, nombrado automático de archivos y registro detallado.check_setup.py: Verificador interactivo de preparación que comprueba el diseño del directorio, el resolvedor centralizado de variables de entorno, las dependencias de Python requeridas y la disponibilidad/formato de GEMINI_API_KEY, luego realiza una llamada en vivo a la API de Gemini e imprime instrucciones de corrección si algo falla.
Usa --help para ver las opciones.
Referencias
Carga para obtener una guía detallada:
| Tema | Archivo | Descripción |
|---|---|---|
| Música | references/music-generation.md | API Lyria RealTime para generación de música de fondo, prompts de estilo, control en tiempo real, integración con producción de video. |
| Audio | references/audio-processing.md | Formatos y límites de audio, transcripción (marcas de tiempo, hablantes, segmentos), análisis sin voz, API de archivos vs entrada en línea, modelos TTS, mejores prácticas, costos y matemáticas de tokens, y recetas concretas para reuniones/podcasts/entrevistas. |
| Imágenes | references/vision-understanding.md | Resumen de capacidades de visión, formatos y modelos compatibles, subtitulado/clasificación/VQA, detección y segmentación, OCR y lectura de documentos, flujos de trabajo con múltiples imágenes, salida JSON estructurada, costos de tokens, mejores prácticas y casos de uso comunes de productos/capturas de pantalla/gráficos/escenas. |
| Generación de imágenes | references/image-generation.md | Resumen de modelos de imagen Imagen 4 y Gemini, APIs generate_images vs generate_content, relaciones de aspecto y costos, modalidades de texto/imagen/ambos, edición y composición, control de estilo y calidad, configuraciones de seguridad, mejores prácticas, resolución de problemas y escenarios comunes de marketing/arte conceptual/UI. |
| Video | references/video-analysis.md | Capacidades de análisis de video y formatos compatibles, elecciones de modelo/contexto, entradas locales/en línea/YouTube, control de recorte y FPS, comparación de múltiples videos, preguntas y respuestas temporales y detección de escenas, transcripción con contexto visual, guía de tokens y costos, y patrones de optimización y mejores prácticas. |
| Generación de video | references/video-generation.md | Matriz de modelos Veo, inicio rápido de texto a video e imagen a video, flujos de múltiples referencias y extensión, control de cámara y tiempo, configuración (resolución, relación de aspecto, audio, seguridad), patrones de diseño de prompts, consejos de rendimiento, limitaciones, resolución de problemas y estimaciones de costos. |
Límites
Formatos: Audio (WAV/MP3/AAC, 9.5h), Imágenes (PNG/JPEG/WEBP, 3.6k), Video (MP4/MOV, 6h), PDF (1000 páginas) Tamaño: 20 MB en línea, 2 GB API de archivos Importante:
- Si vas a generar una transcripción del audio y la duración del audio es mayor a 15 minutos, la transcripción a menudo se trunca debido a los límites de tokens de salida en la respuesta de la API de Gemini. Para obtener la transcripción completa, debes dividir el audio en fragmentos más pequeños (máximo 15 minutos por fragmento) y transcribir cada segmento para obtener una transcripción completa.
- Si vas a generar una transcripción del video y la duración del video es mayor a 15 minutos, usa ffmpeg para extraer el audio del video, truncar el audio a 15 minutos, transcribir todos los segmentos de audio y luego combinar las transcripciones en una sola. Requisitos de salida de transcripción:
- Formato: Markdown
- Metadatos: Duración, tamaño del archivo, fecha de generación, descripción, nombre del archivo, temas tratados, etc.
- Partes: de-a (ej., 00:00-00:15), nombre del fragmento de audio, transcripción, estado, etc.
- Formato de la transcripción:
[HH:MM:SS -> HH:MM:SS] contenido de la transcripción [HH:MM:SS -> HH:MM:SS] contenido de la transcripción ...