Communitygithub.com

IA Multimodal Gemini

Analise imagens/áudio/vídeo com API Gemini (melhor visão que Claude). Gere imagens (Imagen 4), vídeos (Veo 3). Use para análise visual, transcrição, OCR, extração de design, IA multimodal.

O que é IA Multimodal Gemini?

Esta skill capacita agentes de IA a processar e gerar conteúdo multimodal usando a API do Google Gemini, oferecendo capacidade de análise visual superior à do Claude (para imagens, áudio, vídeo e documentos) e geração de imagens (Imagen 4) e vídeos (Veo 3). Ela é útil para tarefas como transcrição de áudio/vídeo, OCR, extração de design, descrição de cenas e criação de conteúdo multimídia. A skill suporta Claude Code, Cursor, Codex e outros agentes baseados em terminal/CLI. Ela funciona através de scripts Python que orquestram chamadas à API Gemini, com recursos como rotação automática de chaves de API, otimização de mídia (compressão, redimensionamento), conversão de documentos e verificação de configuração. A skill gerencia automaticamente limites de tamanho e formato de arquivos, e pode processar arquivos inline (até 20MB) ou via File API da Gemini (até 2GB). Para transcrições longas (acima de 15 minutos), ela recomenda dividir o áudio ou vídeo em partes menores para evitar truncamento.

Funciona com✓Claude Code~Codex CLI~Cursor✓Gemini CLI✓OpenCode
npx skills add https://github.com/majiayu000/claude-skill-registry-data/tree/HEAD/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien-2

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

IA Multimodal

Processe áudio, imagens, vídeos, documentos e gere imagens/vídeos usando a API multimodal do Google Gemini.

Configuração

export GEMINI_API_KEY="sua-chave"  # Obtenha em https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow

Rotação de Chave de API (Opcional)

Para uso de alto volume ou quando atingir limites de taxa, configure múltiplas chaves de API:

# Chave primária (obrigatória)
export GEMINI_API_KEY="chave1"

# Chaves adicionais para rotação (opcionais)
export GEMINI_API_KEY_2="chave2"
export GEMINI_API_KEY_3="chave3"

Ou no seu arquivo .env:

GEMINI_API_KEY=chave1
GEMINI_API_KEY_2=chave2
GEMINI_API_KEY_3=chave3

Funcionalidades:

  • Rotação automática em erros de limite de taxa (429/RESOURCE_EXHAUSTED)
  • 60 segundos de pausa por chave após limite de taxa
  • Registra eventos de rotação com a flag --verbose
  • Compatível com versões anteriores: chave única ainda funciona

Início Rápido

Verificar configuração: python scripts/check_setup.py Analisar mídia: python scripts/gemini_batch_process.py --files <arquivo> --task <analyze|transcribe|extract>

  • DICA: Quando solicitado a analisar uma imagem, verifique se o comando gemini está disponível, então use echo "<prompt para analisar imagem>" | gemini -y -m <gemini.model> (leia o modelo de .opencode/.ck.json: gemini.model). Se o comando gemini não estiver disponível, use python scripts/gemini_batch_process.py --files <arquivo> --task analyze. Gerar conteúdo: python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "descrição"

Suporte a stdin: Você pode canalizar arquivos diretamente via stdin (detecta automaticamente PNG/JPG/PDF/WAV/MP3).

  • cat imagem.png | python scripts/gemini_batch_process.py --task analyze --prompt "Descreva isto"
  • python scripts/gemini_batch_process.py --files imagem.png --task analyze (tradicional)

Modelos

  • Geração de imagem: imagen-4.0-generate-001 (padrão), imagen-4.0-ultra-generate-001 (qualidade), imagen-4.0-fast-generate-001 (velocidade)
  • Geração de vídeo: veo-3.1-generate-preview (clipes de 8s com áudio)
  • Análise: gemini-2.5-flash (recomendado), gemini-2.5-pro (avançado)

Scripts

  • gemini_batch_process.py: Orquestrador CLI para transcribe|analyze|extract|generate|generate-video que resolve automaticamente chaves de API, escolhe modelos padrão sensatos por tarefa, transmite arquivos inline vs File API, e salva saídas estruturadas (texto/JSON/CSV/markdown mais ativos gerados) para workflows Imagen 4 + Veo.
  • media_optimizer.py: Ferramenta de pré-verificação baseada em ffmpeg/Pillow que comprime/redimensiona/converte entradas de áudio, imagem e vídeo, impõe tamanhos/taxas de bits alvo, divide clipes longos em partes de uma hora e processa diretórios em lote para que a mídia permaneça dentro dos limites do Gemini.
  • document_converter.py: Conversor baseado no Gemini que envia PDFs/imagens/documentos do Office, aplica um prompt de preservação de markdown, processa múltiplos arquivos em lote, nomeia saídas automaticamente em docs/assets, e expõe flags CLI para modelo, prompt, nomeação automática de arquivos e registro detalhado.
  • check_setup.py: Verificador de prontidão interativo que verifica a estrutura de diretórios, resolvedor de env centralizado, dependências Python necessárias e disponibilidade/formato de GEMINI_API_KEY, então realiza uma chamada de API Gemini ao vivo e imprime instruções de correção se algo falhar.

Use --help para opções.

Referências

Carregue para orientação detalhada:

TópicoArquivoDescrição
Músicareferences/music-generation.mdAPI Lyria RealTime para geração de música de fundo, prompts de estilo, controle em tempo real, integração com produção de vídeo.
Áudioreferences/audio-processing.mdFormatos e limites de áudio, transcrição (carimbos de tempo, falantes, segmentos), análise não-fala, API File vs entrada inline, modelos TTS, melhores práticas, custo e matemática de tokens, e receitas concretas de reuniões/podcasts/entrevistas.
Imagensreferences/vision-understanding.mdVisão geral das capacidades de visão, formatos e modelos suportados, legendagem/classificação/VQA, detecção e segmentação, OCR e leitura de documentos, workflows de múltiplas imagens, saída JSON estruturada, custos de token, melhores práticas e casos de uso comuns de produtos/screenshots/gráficos/cenas.
Geração de Imagemreferences/image-generation.mdVisão geral do Imagen 4 e modelos de imagem Gemini, APIs generate_images vs generate_content, proporções de aspecto e custos, modalidades texto/imagem/ambos, edição e composição, controle de estilo e qualidade, configurações de segurança, melhores práticas, solução de problemas e cenários comuns de marketing/arte conceitual/UI.
Vídeoreferences/video-analysis.mdCapacidades de análise de vídeo e formatos suportados, escolhas de modelo/contexto, entradas local/inline/YouTube, controle de clipping e FPS, comparação de múltiplos vídeos, Q&A temporal e detecção de cenas, transcrição com contexto visual, orientação de token e custo, e padrões de otimização/melhores práticas.
Geração de Vídeoreferences/video-generation.mdMatriz de modelos Veo, início rápido de texto-para-vídeo e imagem-para-vídeo, fluxos de múltiplas referências e extensão, controle de câmera e temporização, configuração (resolução, aspecto, áudio, segurança), padrões de design de prompt, dicas de desempenho, limitações, solução de problemas e estimativas de custo.

Limites

Formatos: Áudio (WAV/MP3/AAC, 9,5h), Imagens (PNG/JPEG/WEBP, 3,6k), Vídeo (MP4/MOV, 6h), PDF (1k páginas) Tamanho: 20MB inline, 2GB File API Importante:

  • Se você for gerar uma transcrição do áudio e a duração do áudio for maior que 15 minutos, a transcrição geralmente é truncada devido aos limites de tokens de saída na resposta da API Gemini. Para obter a transcrição completa, você precisa dividir o áudio em partes menores (máx. 15 minutos por parte) e transcrever cada segmento para uma transcrição completa.
  • Se você for gerar uma transcrição do vídeo e a duração do vídeo for maior que 15 minutos, use ffmpeg para extrair o áudio do vídeo, truncar o áudio para 15 minutos, transcrever todos os segmentos de áudio e então combinar as transcrições em uma única transcrição. Requisitos de Saída da Transcrição:
  • Formato: Markdown
  • Metadados: Duração, tamanho do arquivo, data de geração, descrição, nome do arquivo, tópicos abordados, etc.
  • Partes: de-para (ex.: 00:00-00:15), nome da parte de áudio, transcrição, status, etc.
  • Formato da transcrição:
    [HH:MM:SS -> HH:MM:SS] conteúdo da transcrição
    [HH:MM:SS -> HH:MM:SS] conteúdo da transcrição
    ...
    

Recursos

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry-data

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry-data

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry-data

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry-data

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry-data

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry-data

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry-data

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

majiayu000/claude-skill-registry-data

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry-data

Conduct market research on competition and customers. Use when the user says "create a market research report about [business idea]".

majiayu000/claude-skill-registry-data

Conduct technical research on technologies and architecture. Use when the user says "create a technical research report on [topic]".

majiayu000/claude-skill-registry-data

Understand an existing codebase through systematic exploration

majiayu000/claude-skill-registry-data

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

Habilidades Relacionadas