Communitygithub.com

AI Multimodal - Gemini

Analyse d'images/audio/vidéo avec l'API Gemini (meilleure vision que Claude). Génération d'images (Imagen 4), vidéos (Veo 3). Utilisation pour l'analyse visuelle, la transcription, l'OCR, l'extraction de design, l'IA multimodale.

Qu'est-ce que AI Multimodal - Gemini ?

Ce skill offre une passerelle complète vers l'API multimodale Google Gemini, dépassant les capacités natives de Claude pour les tâches de vision et de génération de contenu. Il permet d'analyser des images, de l'audio et des vidéos, de transcrire des fichiers longs (en les découpant pour éviter les limites de tokens), et d'extraire du texte ou du design. De plus, il intègre la génération d'images avec Imagen 4 (standard, ultra ou rapide) et la génération de vidéos avec Veo 3 (clips de 8 secondes avec audio). Le package inclut des scripts Python dédiés (gemini_batch_process.py, media_optimizer.py, document_converter.py) pour automatiser les traitements batch, optimiser les médias, et gérer la rotation des clés API en cas de limite de débit. Idéal pour les développeurs qui ont besoin d'analyser des documents, de générer des assets visuels ou d'effectuer de la transcription avancée, le tout depuis la ligne de commande ou intégré dans un flux de travail.

Compatible avec✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/majiayu000/claude-skill-registry-data/tree/HEAD/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

AI Multimodal

Traitez l'audio, les images, les vidéos, les documents et générez des images/vidéos en utilisant l'API multimodale de Google Gemini.

Configuration

export GEMINI_API_KEY="votre-clé"  # Obtenez-la sur https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow

Rotation de clé API (Optionnel)

Pour une utilisation intensive ou en cas de limites de débit, configurez plusieurs clés API :

# Clé primaire (requise)
export GEMINI_API_KEY="key1"

# Clés supplémentaires pour la rotation (optionnelles)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

Ou dans votre fichier .env :

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

Fonctionnalités :

  • Rotation automatique en cas d'erreur de limite de débit (429/RESOURCE_EXHAUSTED)
  • Temps d'attente de 60 secondes par clé après une limite de débit
  • Journalisation des événements de rotation avec le flag --verbose
  • Rétrocompatible : une seule clé fonctionne toujours

Démarrage rapide

Vérifier la configuration : python scripts/check_setup.py Analyser un média : python scripts/gemini_batch_process.py --files <fichier> --task <analyze|transcribe|extract>

  • ASTUCE : Lorsqu'on vous demande d'analyser une image, vérifiez si la commande gemini est disponible, puis utilisez echo "<invite à analyser l'image>" | gemini -y -m <modèle.gemini> (lisez le modèle depuis .claude/.ck.json : gemini.model). Si la commande gemini n'est pas disponible, utilisez la commande python scripts/gemini_batch_process.py --files <fichier> --task analyze. Générer du contenu : python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"

Support stdin : Vous pouvez envoyer des fichiers directement via stdin (détection automatique de PNG/JPG/PDF/WAV/MP3).

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Décris ceci"
  • python scripts/gemini_batch_process.py --files image.png --task analyze (traditionnel)

Modèles

  • Génération d'images : imagen-4.0-generate-001 (standard), imagen-4.0-ultra-generate-001 (qualité), imagen-4.0-fast-generate-001 (vitesse)
  • Génération vidéo : veo-3.1-generate-preview (clips de 8s avec audio)
  • Analyse : gemini-2.5-flash (recommandé), gemini-2.5-pro (avancé)

Scripts

  • gemini_batch_process.py : Orchestrateur CLI pour transcribe|analyze|extract|generate|generate-video qui résout automatiquement les clés API, choisit des modèles par défaut pertinents par tâche, diffuse les fichiers en ligne vs API File, et sauvegarde les sorties structurées (texte/JSON/CSV/markdown plus les assets générés) pour les workflows Imagen 4 + Veo.
  • media_optimizer.py : Outil de pré-vérification basé sur ffmpeg/Pillow qui compresse/redimensionne/convertit les entrées audio, image et vidéo, applique des tailles/débits cibles, divise les longs clips en segments d'une heure, et traite par lots les répertoires pour que les médias restent dans les limites de Gemini.
  • document_converter.py : Convertisseur alimenté par Gemini qui télécharge des PDFs/images/documents Office, applique une invite préservant le markdown, traite plusieurs fichiers par lots, nomme automatiquement les sorties sous docs/assets, et expose des flags CLI pour le modèle, l'invite, la nomination automatique des fichiers et la journalisation verbeuse.
  • check_setup.py : Vérificateur de préparation interactif qui valide la structure des répertoires, le résolveur d'environnement centralisé, les dépendances Python requises, et la disponibilité/format de GEMINI_API_KEY, puis effectue un appel API Gemini en direct et affiche des instructions correctives si quelque chose échoue.

Utilisez --help pour les options.

Références

Chargez pour des conseils détaillés :

SujetFichierDescription
Musiquereferences/music-generation.mdAPI Lyria RealTime pour la génération de musique de fond, invites de style, contrôle en temps réel, intégration avec la production vidéo.
Audioreferences/audio-processing.mdFormats et limites audio, transcription (horodatages, locuteurs, segments), analyse non vocale, API File vs entrée en ligne, modèles TTS, bonnes pratiques, coûts et calcul des tokens, et recettes concrètes pour réunions/podcasts/interviews.
Imagesreferences/vision-understanding.mdAperçu des capacités visuelles, formats et modèles pris en charge, légendage/classification/VQA, détection et segmentation, OCR et lecture de documents, workflows multi-images, sortie JSON structurée, coûts en tokens, bonnes pratiques, et cas d'usage courants (produits, captures d'écran, graphiques, scènes).
Génération d'imagesreferences/image-generation.mdAperçu des modèles Imagen 4 et Gemini, API generate_images vs generate_content, ratios d'aspect et coûts, modalités texte/image/les deux, édition et composition, contrôle du style et de la qualité, paramètres de sécurité, bonnes pratiques, dépannage, et scénarios courants (marketing, concept art, UI).
Vidéoreferences/video-analysis.mdCapacités d'analyse vidéo et formats pris en charge, choix de modèle/contexte, entrées locales/en ligne/YouTube, découpage et contrôle FPS, comparaison multi-vidéo, Q&A temporelle et détection de scènes, transcription avec contexte visuel, conseils sur les tokens et coûts, et schémas d'optimisation/bonnes pratiques.
Génération vidéoreferences/video-generation.mdMatrice de modèles Veo, démarrage rapide texte-à-vidéo et image-à-vidéo, flux multi-référence et extension, contrôle de la caméra et du timing, configuration (résolution, aspect, audio, sécurité), schémas de conception d'invites, conseils de performance, limitations, dépannage, et estimations de coûts.

Limites

Formats : Audio (WAV/MP3/AAC, 9,5h), Images (PNG/JPEG/WEBP, 3,6k), Vidéo (MP4/MOV, 6h), PDF (1000 pages) Taille : 20 Mo en ligne, 2 Go via API File Important :

  • Si vous devez générer une transcription de l'audio et que la durée audio dépasse 15 minutes, la transcription est souvent tronquée en raison des limites de tokens de sortie de l'API Gemini. Pour obtenir la transcription complète, vous devez diviser l'audio en segments plus petits (max 15 minutes par segment) et transcrire chaque segment pour une transcription complète.
  • Si vous devez générer une transcription de la vidéo et que la durée vidéo dépasse 15 minutes, utilisez ffmpeg pour extraire l'audio de la vidéo, tronquez l'audio à 15 minutes, transcrivez tous les segments audio, puis combinez les transcriptions en une seule transcription. Exigences de sortie pour les transcriptions :
  • Format : Markdown
  • Métadonnées : Durée, taille du fichier, date de génération, description, nom du fichier, sujets abordés, etc.
  • Parties : de-à (par exemple, 00:00-00:15), nom du segment audio, transcription, statut, etc.
  • Format de transcription :
    [HH:MM:SS -> HH:MM:SS] contenu de la transcription
    [HH:MM:SS -> HH:MM:SS] contenu de la transcription
    ...
    

Ressources

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry-data

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry-data

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry-data

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry-data

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry-data

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry-data

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry-data

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

majiayu000/claude-skill-registry-data

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry-data

Conduct market research on competition and customers. Use when the user says "create a market research report about [business idea]".

majiayu000/claude-skill-registry-data

Conduct technical research on technologies and architecture. Use when the user says "create a technical research report on [topic]".

majiayu000/claude-skill-registry-data

Understand an existing codebase through systematic exploration

majiayu000/claude-skill-registry-data

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

Skills associés