IA Multimodal
Procesa audio, imágenes, videos, documentos y genera imágenes/videos usando la API multimodal de Google Gemini.
Configuración
export GEMINI_API_KEY="tu-clave" # Obténla en https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow
Rotación de Claves API (Opcional)
Para uso de alto volumen o cuando se alcanzan límites de tasa, configura múltiples claves API:
# Clave principal (obligatoria)
export GEMINI_API_KEY="clave1"
# Claves adicionales para rotación (opcional)
export GEMINI_API_KEY_2="clave2"
export GEMINI_API_KEY_3="clave3"
O en tu archivo .env:
GEMINI_API_KEY=clave1
GEMINI_API_KEY_2=clave2
GEMINI_API_KEY_3=clave3
Características:
- Rota automáticamente en errores de límite de tasa (429/RESOURCE_EXHAUSTED)
- Enfriamiento de 60 segundos por clave después de un límite de tasa
- Registra eventos de rotación con la bandera
--verbose - Compatible hacia atrás: una sola clave sigue funcionando
Inicio Rápido
Verificar configuración: python scripts/check_setup.py
Analizar medios: python scripts/gemini_batch_process.py --files <archivo> --task analyze|transcribe|extract
- CONSEJO: Cuando te pidan analizar una imagen, verifica si el comando
geminiestá disponible, luego usaecho "<instrucción para analizar imagen>" | gemini -y -m <gemini.model>(lee el modelo de.claude/.ck.json:gemini.model). Si el comandogeminino está disponible, usapython scripts/gemini_batch_process.py --files <archivo> --task analyze. Generar contenido:python scripts/gemini_batch_process.py --task generate|generate-video --prompt "descripción"
Soporte para stdin: Puedes canalizar archivos directamente a través de stdin (detecta automáticamente PNG/JPG/PDF/WAV/MP3).
cat imagen.png | python scripts/gemini_batch_process.py --task analyze --prompt "Describe esto"python scripts/gemini_batch_process.py --files imagen.png --task analyze(tradicional)
Modelos
- Generación de imágenes:
imagen-4.0-generate-001(estándar),imagen-4.0-ultra-generate-001(calidad),imagen-4.0-fast-generate-001(velocidad) - Generación de video:
veo-3.1-generate-preview(clips de 8s con audio) - Análisis:
gemini-2.5-flash(recomendado),gemini-2.5-pro(avanzado)
Scripts
gemini_batch_process.py: Orquestador CLI paratranscribe|analyze|extract|generate|generate-videoque resuelve automáticamente las claves API, elige modelos predeterminados sensatos por tarea, transmite archivos en línea vs. API de archivos, y guarda resultados estructurados (texto/JSON/CSV/markdown más activos generados) para flujos de trabajo de Imagen 4 + Veo.media_optimizer.py: Herramienta de verificación previa basada en ffmpeg/Pillow que comprime/redimensiona/convierte entradas de audio, imagen y video, aplica tamaños/tasas de bits objetivo, divide clips largos en fragmentos de una hora y procesa directorios por lotes para que los medios se mantengan dentro de los límites de Gemini.document_converter.py: Conversor impulsado por Gemini que sube PDFs/imágenes/documentos de Office, aplica un prompt que preserva el markdown, procesa múltiples archivos por lotes, nombra automáticamente las salidas endocs/assets, y expone banderas CLI para modelo, prompt, nombre de archivo automático y registro detallado.check_setup.py: Verificador interactivo de preparación que comprueba la estructura de directorios, el resolvedor de entorno centralizado, las dependencias de Python requeridas y la disponibilidad/formato de GEMINI_API_KEY, luego realiza una llamada en vivo a la API de Gemini e imprime instrucciones de corrección si algo falla.
Usa --help para opciones.
Referencias
Carga para obtener orientación detallada:
| Tema | Archivo | Descripción |
|---|---|---|
| Música | references/music-generation.md | API Lyria RealTime para generación de música de fondo, prompts de estilo, control en tiempo real, integración con producción de video. |
| Audio | references/audio-processing.md | Formatos de audio y límites, transcripción (marcas de tiempo, hablantes, segmentos), análisis sin voz, API de archivos vs. entrada en línea, modelos TTS, mejores prácticas, costos y matemática de tokens, y recetas concretas para reuniones/podcasts/entrevistas. |
| Imágenes | references/vision-understanding.md | Resumen de capacidades de visión, formatos y modelos compatibles, subtitulado/clasificación/VQA, detección y segmentación, OCR y lectura de documentos, flujos de trabajo con múltiples imágenes, salida JSON estructurada, costos de tokens, mejores prácticas y casos de uso comunes de productos/capturas de pantalla/gráficos/escenas. |
| Generación de Imágenes | references/image-generation.md | Resumen de modelos de imagen Imagen 4 y Gemini, APIs generate_images vs generate_content, relaciones de aspecto y costos, modalidades de texto/imagen/ambos, edición y composición, control de estilo y calidad, configuraciones de seguridad, mejores prácticas, solución de problemas y escenarios comunes de marketing/arte conceptual/UI. |
| Video | references/video-analysis.md | Capacidades de análisis de video y formatos compatibles, elección de modelo/contexto, entradas locales/en línea/YouTube, recorte y control de FPS, comparación de múltiples videos, preguntas y respuestas temporales y detección de escenas, transcripción con contexto visual, guía de tokens y costos, y patrones de optimización/mejores prácticas. |
| Generación de Video | references/video-generation.md | Matriz de modelos Veo, inicio rápido de texto a video e imagen a video, flujos de múltiples referencias y extensión, control de cámara y temporización, configuración (resolución, aspecto, audio, seguridad), patrones de diseño de prompts, consejos de rendimiento, limitaciones, solución de problemas y estimaciones de costos. |
Límites
Formatos: Audio (WAV/MP3/AAC, 9.5h), Imágenes (PNG/JPEG/WEBP, 3.6k), Video (MP4/MOV, 6h), PDF (1000 páginas) Tamaño: 20MB en línea, 2GB API de archivos Importante:
- Si vas a generar una transcripción del audio y la duración del audio es mayor a 15 minutos, la transcripción a menudo se trunca debido a los límites de tokens de salida en la respuesta de la API de Gemini. Para obtener la transcripción completa, debes dividir el audio en fragmentos más pequeños (máximo 15 minutos por fragmento) y transcribir cada segmento para obtener una transcripción completa.
- Si vas a generar una transcripción del video y la duración del video es mayor a 15 minutos, usa ffmpeg para extraer el audio del video, truncar el audio a 15 minutos, transcribir todos los segmentos de audio y luego combinar las transcripciones en una sola transcripción. Requisitos de salida de transcripción:
- Formato: Markdown
- Metadatos: Duración, tamaño de archivo, fecha de generación, descripción, nombre de archivo, temas cubiertos, etc.
- Partes: desde-hasta (ej., 00:00-00:15), nombre del fragmento de audio, transcripción, estado, etc.
- Formato de transcripción:
[HH:MM:SS -> HH:MM:SS] contenido de la transcripción [HH:MM:SS -> HH:MM:SS] contenido de la transcripción ...