Communitygithub.com

IA Multimodal

Analiza imágenes, audio y video con la API de Gemini (mejor visión que Claude). Genera imágenes (Imagen 4) y videos (Veo 3). Ideal para análisis visual, transcripción, OCR, extracción de diseño e IA multimodal.

¿Qué es IA Multimodal?

Esta habilidad habilita a agentes de IA (como Claude Code, Cursor, Codex, etc.) para procesar y generar contenido multimodal utilizando las APIs de Google Gemini. Soporta análisis de imágenes, transcripción de audio/video, OCR, extracción de diseño, y generación de imágenes (Imagen 4) y videos (Veo 3). El agente puede usar un script de Python (`gemini_batch_process.py`) o un comando CLI (`gemini`) para interactuar con la API. Incluye funciones avanzadas como rotación automática de claves API, optimización de medios (redimensionamiento, compresión, división de clips largos) y generación de texto a partir de documentos PDF/Office, manteniendo el formato Markdown. Está diseñada para desarrolladores que necesitan capacidades multimodales avanzadas que van más allá de las capacidades nativas de Claude en visión y generación de contenido.

Compatible con✓Claude Code~Codex CLI~Cursor✓Gemini CLI✓OpenCode
npx skills add https://github.com/majiayu000/claude-skill-registry-data/tree/HEAD/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien-2

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace IA Multimodal?

Procesa audio, imágenes, videos, documentos y genera imágenes/videos usando la API multimodal de Google Gemini.

Configuración

export GEMINI_API_KEY="tu-clave"  # Obténla en https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow

Rotación de Clave API (Opcional)

Para uso de alto volumen o cuando se alcanzan límites de tasa, configura múltiples claves API:

# Clave primaria (requerida)
export GEMINI_API_KEY="key1"

# Claves adicionales para rotación (opcional)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

O en tu archivo .env:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

Características:

  • Rotación automática en errores de límite de tasa (429/RESOURCE_EXHAUSTED)
  • Tiempo de espera de 60 segundos por clave después de alcanzar el límite
  • Registra eventos de rotación con la bandera --verbose
  • Compatible hacia atrás: una sola clave sigue funcionando

Inicio Rápido

Verificar configuración: python scripts/check_setup.py Analizar medios: python scripts/gemini_batch_process.py --files <archivo> --task <analyze|transcribe|extract>

  • TIP: Cuando se te pida analizar una imagen, verifica si el comando gemini está disponible, luego usa echo "<prompt para analizar imagen>" | gemini -y -m <gemini.model> (lee el modelo de .opencode/.ck.json: gemini.model). Si el comando gemini no está disponible, usa python scripts/gemini_batch_process.py --files <archivo> --task analyze. Generar contenido: python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "descripción"

Soporte stdin: Puedes canalizar archivos directamente mediante stdin (detecta automáticamente PNG/JPG/PDF/WAV/MP3).

  • cat imagen.png | python scripts/gemini_batch_process.py --task analyze --prompt "Describe esto"
  • python scripts/gemini_batch_process.py --files imagen.png --task analyze (tradicional)

Modelos

  • Generación de imágenes: imagen-4.0-generate-001 (estándar), imagen-4.0-ultra-generate-001 (calidad), imagen-4.0-fast-generate-001 (velocidad)
  • Generación de video: veo-3.1-generate-preview (clips de 8s con audio)
  • Análisis: gemini-2.5-flash (recomendado), gemini-2.5-pro (avanzado)

Scripts

  • gemini_batch_process.py: Orquestador CLI para transcribe|analyze|extract|generate|generate-video que resuelve automáticamente las claves API, elige modelos predeterminados sensatos por tarea, transmite archivos en línea vs. API de archivos, y guarda salidas estructuradas (texto/JSON/CSV/markdown más activos generados) para flujos de trabajo con Imagen 4 + Veo.
  • media_optimizer.py: Herramienta de pre-vuelo basada en ffmpeg/Pillow que comprime/redimensiona/convierte entradas de audio, imagen y video, impone tamaños/tasas de bits objetivo, divide clips largos en fragmentos de una hora y procesa directorios por lotes para que los medios se mantengan dentro de los límites de Gemini.
  • document_converter.py: Convertidor impulsado por Gemini que carga PDFs/imágenes/documentos de Office, aplica un prompt que preserva Markdown, procesa múltiples archivos por lotes, nombra automáticamente las salidas bajo docs/assets, y expone banderas CLI para modelo, prompt, nombrado automático de archivos y registro detallado.
  • check_setup.py: Verificador interactivo de preparación que verifica la estructura del directorio, el solucionador de entorno centralizado, las dependencias de Python requeridas y la disponibilidad/formato de GEMINI_API_KEY, luego realiza una llamada en vivo a la API de Gemini e imprime instrucciones de corrección si algo falla.

Usa --help para opciones.

Referencias

Carga para obtener orientación detallada:

TemaArchivoDescripción
Músicareferences/music-generation.mdAPI Lyria RealTime para generación de música de fondo, prompts de estilo, control en tiempo real, integración con producción de video.
Audioreferences/audio-processing.mdFormatos y límites de audio, transcripción (marcas de tiempo, hablantes, segmentos), análisis no verbal, API de archivos vs. entrada en línea, modelos TTS, mejores prácticas, costos y matemáticas de tokens, y recetas concretas para reuniones/podcasts/entrevistas.
Imágenesreferences/vision-understanding.mdResumen de capacidades de visión, formatos y modelos compatibles, subtitulado/clasificación/VQA, detección y segmentación, OCR y lectura de documentos, flujos de trabajo multi-imagen, salida JSON estructurada, costos de tokens, mejores prácticas y casos de uso comunes para productos/capturas de pantalla/gráficos/escenas.
Generación de Imágenesreferences/image-generation.mdResumen de modelos de imagen de Imagen 4 y Gemini, APIs generate_images vs generate_content, relaciones de aspecto y costos, modalidades texto/imagen/ambos, edición y composición, control de estilo y calidad, configuraciones de seguridad, mejores prácticas, solución de problemas y escenarios comunes de marketing/arte conceptual/UI.
Videoreferences/video-analysis.mdCapacidades de análisis de video y formatos compatibles, elecciones de modelo/contexto, entradas local/en línea/YouTube, control de recorte y FPS, comparación de múltiples videos, preguntas y respuestas temporales y detección de escenas, transcripción con contexto visual, guía de tokens y costos, y patrones de optimización/mejores prácticas.
Generación de Videoreferences/video-generation.mdMatriz de modelos Veo, inicio rápido de texto a video e imagen a video, flujos de referencia múltiple y extensión, control de cámara y tiempo, configuración (resolución, aspecto, audio, seguridad), patrones de diseño de prompts, consejos de rendimiento, limitaciones, solución de problemas y estimaciones de costos.

Límites

Formatos: Audio (WAV/MP3/AAC, 9.5h), Imágenes (PNG/JPEG/WEBP, 3.6k), Video (MP4/MOV, 6h), PDF (1000 páginas) Tamaño: 20MB en línea, 2GB API de archivos Importante:

  • Si vas a generar una transcripción del audio y la duración del audio es mayor a 15 minutos, la transcripción a menudo se trunca debido a los límites de tokens de salida en la respuesta de la API de Gemini. Para obtener la transcripción completa, debes dividir el audio en fragmentos más pequeños (máximo 15 minutos por fragmento) y transcribir cada segmento para obtener una transcripción completa.
  • Si vas a generar una transcripción del video y la duración del video es mayor a 15 minutos, usa ffmpeg para extraer el audio del video, truncar el audio a 15 minutos, transcribir todos los segmentos de audio y luego combinar las transcripciones en una sola. Requisitos de salida de transcripción:
  • Formato: Markdown
  • Metadatos: Duración, tamaño de archivo, fecha de generación, descripción, nombre de archivo, temas cubiertos, etc.
  • Partes: de-a (ej., 00:00-00:15), nombre del fragmento de audio, transcripción, estado, etc.
  • Formato de transcripción:
    [HH:MM:SS -> HH:MM:SS] contenido de la transcripción
    [HH:MM:SS -> HH:MM:SS] contenido de la transcripción
    ...
    

Recursos

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry-data

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry-data

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry-data

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry-data

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry-data

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry-data

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry-data

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

majiayu000/claude-skill-registry-data

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry-data

Conduct market research on competition and customers. Use when the user says "create a market research report about [business idea]".

majiayu000/claude-skill-registry-data

Conduct technical research on technologies and architecture. Use when the user says "create a technical research report on [topic]".

majiayu000/claude-skill-registry-data

Understand an existing codebase through systematic exploration

majiayu000/claude-skill-registry-data

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

Skills relacionados