Communitygithub.com

IA Multimodal

Analise imagens/áudio/vídeo com a API Gemini (visão superior à do Claude). Gere imagens (Imagen 4), vídeos (Veo 3). Use para análise de visão, transcrição, OCR, extração de design, IA multimodal.

O que é IA Multimodal?

Esta skill capacita agentes de IA (como o Claude Code) a processar e gerar mídia multimodal usando a API Gemini do Google. Ela permite analisar imagens, áudio, vídeo e documentos, além de gerar novas imagens com Imagen 4 e vídeos com Veo 3. Os principais casos de uso incluem análise de visão computacional, transcrição de áudio com carimbo de data/hora, extração de texto/OCR, e análise de design a partir de capturas de tela. A skill suporta rotação automática de chaves de API para lidar com limites de taxa e inclui scripts utilitários para otimização de mídia, conversão de documentos e verificação de configuração. É particularmente útil quando as capacidades de visão nativas do Claude são insuficientes ou quando é necessária geração de mídia.

Funciona com✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/majiayu000/claude-skill-registry-data/tree/HEAD/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que IA Multimodal faz?

Processe áudio, imagens, vídeos, documentos e gere imagens/vídeos usando a API multimodal do Google Gemini.

Configuração

export GEMINI_API_KEY="sua-chave"  # Obtenha em https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow

Rotação de Chave de API (Opcional)

Para uso de alto volume ou ao atingir limites de taxa, configure múltiplas chaves de API:

# Chave primária (obrigatória)
export GEMINI_API_KEY="chave1"

# Chaves adicionais para rotação (opcionais)
export GEMINI_API_KEY_2="chave2"
export GEMINI_API_KEY_3="chave3"

Ou no seu arquivo .env:

GEMINI_API_KEY=chave1
GEMINI_API_KEY_2=chave2
GEMINI_API_KEY_3=chave3

Funcionalidades:

  • Rotação automática em erros de limite de taxa (429/RESOURCE_EXHAUSTED)
  • Período de espera de 60 segundos por chave após limite de taxa
  • Registra eventos de rotação com a flag --verbose
  • Compatível com versões anteriores: uma única chave ainda funciona

Início Rápido

Verificar configuração: python scripts/check_setup.py Analisar mídia: python scripts/gemini_batch_process.py --files <arquivo> --task <analyze|transcribe|extract>

  • DICA: Quando for solicitado a analisar uma imagem, verifique se o comando gemini está disponível. Se estiver, use echo "<instrução para analisar imagem>" | gemini -y -m <gemini.model> (leia o modelo de .claude/.ck.json: gemini.model). Se o comando gemini não estiver disponível, use o comando python scripts/gemini_batch_process.py --files <arquivo> --task analyze. Gerar conteúdo: python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "descrição"

Suporte a stdin: Você pode pipe arquivos diretamente via stdin (detecta automaticamente PNG/JPG/PDF/WAV/MP3).

  • cat imagem.png | python scripts/gemini_batch_process.py --task analyze --prompt "Descreva isto"
  • python scripts/gemini_batch_process.py --files imagem.png --task analyze (tradicional)

Modelos

  • Geração de imagens: imagen-4.0-generate-001 (padrão), imagen-4.0-ultra-generate-001 (qualidade), imagen-4.0-fast-generate-001 (velocidade)
  • Geração de vídeos: veo-3.1-generate-preview (clipes de 8s com áudio)
  • Análise: gemini-2.5-flash (recomendado), gemini-2.5-pro (avançado)

Scripts

  • gemini_batch_process.py: Orquestrador CLI para transcribe|analyze|extract|generate|generate-video que resolve automaticamente chaves de API, escolhe modelos padrão sensatos por tarefa, transmite arquivos inline vs API de Arquivos, e salva saídas estruturadas (texto/JSON/CSV/markdown além de ativos gerados) para fluxos de trabalho Imagen 4 + Veo.
  • media_optimizer.py: Ferramenta de pré-verificação baseada em ffmpeg/Pillow que compacta/redimensiona/converte entradas de áudio, imagem e vídeo, impõe tamanhos/taxas de bits alvo, divide clipes longos em partes de uma hora, e processa diretórios em lote para que a mídia permaneça dentro dos limites do Gemini.
  • document_converter.py: Conversor baseado no Gemini que envia PDFs/imagens/documentos do Office, aplica uma instrução de preservação de markdown, processa múltiplos arquivos em lote, nomeia automaticamente as saídas em docs/assets, e expõe flags CLI para modelo, instrução, nomeação automática de arquivos e registro verboso.
  • check_setup.py: Verificador de prontidão interativo que verifica a estrutura de diretórios, resolvedor de env centralizado, dependências Python necessárias, e disponibilidade/formato de GEMINI_API_KEY, então realiza uma chamada de API Gemini ao vivo e imprime instruções de correção se algo falhar.

Use --help para opções.

Referências

Carregue para orientação detalhada:

TópicoArquivoDescrição
Músicareferences/music-generation.mdAPI Lyria RealTime para geração de música de fundo, instruções de estilo, controle em tempo real, integração com produção de vídeo.
Áudioreferences/audio-processing.mdFormatos e limites de áudio, transcrição (carimbos de data/hora, falantes, segmentos), análise de não fala, API de Arquivos vs entrada inline, modelos TTS, melhores práticas, custo e matemática de tokens, e receitas concretas para reuniões/podcasts/entrevistas.
Imagensreferences/vision-understanding.mdVisão geral das capacidades de visão, formatos e modelos suportados, legendagem/classificação/VQA, detecção e segmentação, OCR e leitura de documentos, fluxos de trabalho de múltiplas imagens, saída JSON estruturada, custos de tokens, melhores práticas, e casos de uso comuns para produtos/capturas de tela/gráficos/cenas.
Geração de Imagemreferences/image-generation.mdVisão geral do Imagen 4 e dos modelos de imagem do Gemini, APIs generate_images vs generate_content, proporções de aspecto e custos, modalidades texto/imagem/ambos, edição e composição, controle de estilo e qualidade, configurações de segurança, melhores práticas, solução de problemas, e cenários comuns de marketing/arte conceitual/UI.
Vídeoreferences/video-analysis.mdCapacidades de análise de vídeo e formatos suportados, escolhas de modelo/contexto, entradas local/inline/YouTube, recorte e controle de FPS, comparação de múltiplos vídeos, perguntas e respostas temporais e detecção de cenas, transcrição com contexto visual, orientação de tokens e custos, e padrões de otimização/melhores práticas.
Geração de Vídeoreferences/video-generation.mdMatriz de modelos Veo, início rápido de texto-para-vídeo e imagem-para-vídeo, fluxos de referência múltipla e extensão, controle de câmera e tempo, configuração (resolução, aspecto, áudio, segurança), padrões de design de instruções, dicas de desempenho, limitações, solução de problemas, e estimativas de custo.

Limites

Formatos: Áudio (WAV/MP3/AAC, 9,5h), Imagens (PNG/JPEG/WEBP, 3,6k), Vídeo (MP4/MOV, 6h), PDF (1k páginas) Tamanho: 20MB inline, 2GB API de Arquivos Importante:

  • Se você for gerar uma transcrição do áudio e a duração do áudio for maior que 15 minutos, a transcrição geralmente é truncada devido aos limites de tokens de saída na resposta da API Gemini. Para obter a transcrição completa, você precisa dividir o áudio em partes menores (máximo 15 minutos por parte) e transcrever cada segmento para uma transcrição completa.
  • Se você for gerar uma transcrição do vídeo e a duração do vídeo for maior que 15 minutos, use ffmpeg para extrair o áudio do vídeo, truncar o áudio para 15 minutos, transcrever todos os segmentos de áudio e depois combinar as transcrições em uma única transcrição. Requisitos de Saída da Transcrição:
  • Formato: Markdown
  • Metadados: Duração, tamanho do arquivo, data de geração, descrição, nome do arquivo, tópicos abordados, etc.
  • Partes: de-para (ex., 00:00-00:15), nome do pedaço de áudio, transcrição, status, etc.
  • Formato da transcrição:
    [HH:MM:SS -> HH:MM:SS] conteúdo da transcrição
    [HH:MM:SS -> HH:MM:SS] conteúdo da transcrição
    ...
    

Recursos

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry-data

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry-data

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry-data

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry-data

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry-data

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry-data

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry-data

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

majiayu000/claude-skill-registry-data

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry-data

Conduct market research on competition and customers. Use when the user says "create a market research report about [business idea]".

majiayu000/claude-skill-registry-data

Conduct technical research on technologies and architecture. Use when the user says "create a technical research report on [topic]".

majiayu000/claude-skill-registry-data

Understand an existing codebase through systematic exploration

majiayu000/claude-skill-registry-data

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

Habilidades Relacionadas