IA Multimodal
Processe áudio, imagens, vídeos, documentos e gere imagens/vídeos usando a API multimodal do Google Gemini.
Configuração
export GEMINI_API_KEY="sua-chave" # Obtenha em https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow
Rotação de Chave de API (Opcional)
Para uso de alto volume ou quando atingir limites de taxa, configure múltiplas chaves de API:
# Chave primária (obrigatória)
export GEMINI_API_KEY="chave1"
# Chaves adicionais para rotação (opcionais)
export GEMINI_API_KEY_2="chave2"
export GEMINI_API_KEY_3="chave3"
Ou no seu arquivo .env:
GEMINI_API_KEY=chave1
GEMINI_API_KEY_2=chave2
GEMINI_API_KEY_3=chave3
Funcionalidades:
- Rotação automática em erros de limite de taxa (429/RESOURCE_EXHAUSTED)
- 60 segundos de pausa por chave após limite de taxa
- Registra eventos de rotação com a flag
--verbose - Compatível com versões anteriores: chave única ainda funciona
Início Rápido
Verificar configuração: python scripts/check_setup.py
Analisar mídia: python scripts/gemini_batch_process.py --files <arquivo> --task <analyze|transcribe|extract>
- DICA: Quando solicitado a analisar uma imagem, verifique se o comando
geminiestá disponível, então useecho "<prompt para analisar imagem>" | gemini -y -m <gemini.model>(leia o modelo de.opencode/.ck.json:gemini.model). Se o comandogemininão estiver disponível, usepython scripts/gemini_batch_process.py --files <arquivo> --task analyze. Gerar conteúdo:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "descrição"
Suporte a stdin: Você pode canalizar arquivos diretamente via stdin (detecta automaticamente PNG/JPG/PDF/WAV/MP3).
cat imagem.png | python scripts/gemini_batch_process.py --task analyze --prompt "Descreva isto"python scripts/gemini_batch_process.py --files imagem.png --task analyze(tradicional)
Modelos
- Geração de imagem:
imagen-4.0-generate-001(padrão),imagen-4.0-ultra-generate-001(qualidade),imagen-4.0-fast-generate-001(velocidade) - Geração de vídeo:
veo-3.1-generate-preview(clipes de 8s com áudio) - Análise:
gemini-2.5-flash(recomendado),gemini-2.5-pro(avançado)
Scripts
gemini_batch_process.py: Orquestrador CLI paratranscribe|analyze|extract|generate|generate-videoque resolve automaticamente chaves de API, escolhe modelos padrão sensatos por tarefa, transmite arquivos inline vs File API, e salva saídas estruturadas (texto/JSON/CSV/markdown mais ativos gerados) para workflows Imagen 4 + Veo.media_optimizer.py: Ferramenta de pré-verificação baseada em ffmpeg/Pillow que comprime/redimensiona/converte entradas de áudio, imagem e vídeo, impõe tamanhos/taxas de bits alvo, divide clipes longos em partes de uma hora e processa diretórios em lote para que a mídia permaneça dentro dos limites do Gemini.document_converter.py: Conversor baseado no Gemini que envia PDFs/imagens/documentos do Office, aplica um prompt de preservação de markdown, processa múltiplos arquivos em lote, nomeia saídas automaticamente emdocs/assets, e expõe flags CLI para modelo, prompt, nomeação automática de arquivos e registro detalhado.check_setup.py: Verificador de prontidão interativo que verifica a estrutura de diretórios, resolvedor de env centralizado, dependências Python necessárias e disponibilidade/formato de GEMINI_API_KEY, então realiza uma chamada de API Gemini ao vivo e imprime instruções de correção se algo falhar.
Use --help para opções.
Referências
Carregue para orientação detalhada:
| Tópico | Arquivo | Descrição |
|---|---|---|
| Música | references/music-generation.md | API Lyria RealTime para geração de música de fundo, prompts de estilo, controle em tempo real, integração com produção de vídeo. |
| Áudio | references/audio-processing.md | Formatos e limites de áudio, transcrição (carimbos de tempo, falantes, segmentos), análise não-fala, API File vs entrada inline, modelos TTS, melhores práticas, custo e matemática de tokens, e receitas concretas de reuniões/podcasts/entrevistas. |
| Imagens | references/vision-understanding.md | Visão geral das capacidades de visão, formatos e modelos suportados, legendagem/classificação/VQA, detecção e segmentação, OCR e leitura de documentos, workflows de múltiplas imagens, saída JSON estruturada, custos de token, melhores práticas e casos de uso comuns de produtos/screenshots/gráficos/cenas. |
| Geração de Imagem | references/image-generation.md | Visão geral do Imagen 4 e modelos de imagem Gemini, APIs generate_images vs generate_content, proporções de aspecto e custos, modalidades texto/imagem/ambos, edição e composição, controle de estilo e qualidade, configurações de segurança, melhores práticas, solução de problemas e cenários comuns de marketing/arte conceitual/UI. |
| Vídeo | references/video-analysis.md | Capacidades de análise de vídeo e formatos suportados, escolhas de modelo/contexto, entradas local/inline/YouTube, controle de clipping e FPS, comparação de múltiplos vídeos, Q&A temporal e detecção de cenas, transcrição com contexto visual, orientação de token e custo, e padrões de otimização/melhores práticas. |
| Geração de Vídeo | references/video-generation.md | Matriz de modelos Veo, início rápido de texto-para-vídeo e imagem-para-vídeo, fluxos de múltiplas referências e extensão, controle de câmera e temporização, configuração (resolução, aspecto, áudio, segurança), padrões de design de prompt, dicas de desempenho, limitações, solução de problemas e estimativas de custo. |
Limites
Formatos: Áudio (WAV/MP3/AAC, 9,5h), Imagens (PNG/JPEG/WEBP, 3,6k), Vídeo (MP4/MOV, 6h), PDF (1k páginas) Tamanho: 20MB inline, 2GB File API Importante:
- Se você for gerar uma transcrição do áudio e a duração do áudio for maior que 15 minutos, a transcrição geralmente é truncada devido aos limites de tokens de saída na resposta da API Gemini. Para obter a transcrição completa, você precisa dividir o áudio em partes menores (máx. 15 minutos por parte) e transcrever cada segmento para uma transcrição completa.
- Se você for gerar uma transcrição do vídeo e a duração do vídeo for maior que 15 minutos, use ffmpeg para extrair o áudio do vídeo, truncar o áudio para 15 minutos, transcrever todos os segmentos de áudio e então combinar as transcrições em uma única transcrição. Requisitos de Saída da Transcrição:
- Formato: Markdown
- Metadados: Duração, tamanho do arquivo, data de geração, descrição, nome do arquivo, tópicos abordados, etc.
- Partes: de-para (ex.: 00:00-00:15), nome da parte de áudio, transcrição, status, etc.
- Formato da transcrição:
[HH:MM:SS -> HH:MM:SS] conteúdo da transcrição [HH:MM:SS -> HH:MM:SS] conteúdo da transcrição ...