Communitygithub.com

AIマルチモーダル (Gemini API)

Gemini APIを使用して画像、音声、動画の分析、文字起こし、OCR、デザイン抽出を行い、Imagen 9で画像、Veo 5.3で動画を生成します。

AIマルチモーダル (Gemini API) とは?

このスキルは、Google GeminiのマルチモーダルAPIを活用し、画像・音声・動画・ドキュメントの分析から、Imagen 4による画像生成、Veo 3による動画生成までをカバーする総合的なAI機能を提供します。主なユースケースとして、画像や動画の高度な分析(Claudeの視覚能力を補完)、音声の文字起こし、OCRによるテキスト抽出、デザイン要素の抽出などが含まれます。複数のGeminiモデル(gemini-2.5-flash推奨、gemini-2.5-pro上級)に対応し、imagen-4.0-generate-001(標準)、imagen-4.0-ultra-generate-001(高品質)、imagen-4.0-fast-generate-001(高速)の画像生成モデル、veo-3.1-generate-preview(最大8秒・音声付き)の動画生成モデルをサポートします。スクリプト群(gemini_batch_process.py, media_optimizer.py, document_converter.py, check_setup.py)により、ファイルの前処理・最適化、バッチ処理、APIキーの自動ローテーション、構造化出力(テキスト/JSON/CSV/マークダウン)をシームレスに実現。オーディオは9.5時間、画像は3,600枚、動画は6時間まで対応し、File APIを使えば2GBまでのファイルを扱えます。15分超の音声・動画文字起こしでは自動分割と結合機能を提供し、タイムスタンプ付きの完全な文字起こしを出力します。

対応✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/majiayu000/claude-skill-registry/tree/HEAD/skills/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

AIマルチモーダル

Google GeminiのマルチモーダルAPIを使用して、音声、画像、動画、ドキュメントを処理し、画像/動画を生成します。

セットアップ

export GEMINI_API_KEY="your-key"  # https://aistudio.google.com/apikey から取得
pip install google-genai python-dotenv pillow

APIキーローテーション(オプション)

大量使用時やレート制限に達した場合に備え、複数のAPIキーを設定できます:

# プライマリキー(必須)
export GEMINI_API_KEY="key1"

# 追加キー(オプション)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

または .env ファイル内:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

機能:

  • レート制限エラー(429/RESOURCE_EXHAUSTED)時に自動ローテーション
  • レート制限後、キーごとに60秒のクールダウン
  • --verbose フラグでローテーションイベントを記録
  • 下位互換性あり:単一キーでも動作

クイックスタート

セットアップ確認:python scripts/check_setup.py メディア分析:python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>

  • ヒント:画像分析を求められた場合、gemini コマンドが利用可能か確認し、可能なら echo "<プロンプト>" | gemini -y -m <gemini.model> を使用してください(モデルは .claude/.ck.json の gemini.model から読み取ります)。gemini コマンドが利用できない場合は、python scripts/gemini_batch_process.py --files <file> --task analyze を使用してください。 コンテンツ生成:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"

標準入力対応:ファイルを標準入力から直接パイプできます(PNG/JPG/PDF/WAV/MP3を自動検出)。

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "これを説明して"
  • python scripts/gemini_batch_process.py --files image.png --task analyze(従来の方法)

モデル

  • 画像生成:imagen-4.0-generate-001(標準)、imagen-4.0-ultra-generate-001(高品質)、imagen-4.0-fast-generate-001(高速)
  • 動画生成:veo-3.1-generate-preview(音声付き8秒クリップ)
  • 分析:gemini-2.5-flash(推奨)、gemini-2.5-pro(上級)

スクリプト

  • gemini_batch_process.py:transcribe|analyze|extract|generate|generate-video タスクのCLIオーケストレーター。APIキーを自動解決し、タスクごとに適切なデフォルトモデルを選択し、ファイルをインラインまたはFile APIでストリーミングし、構造化出力(テキスト/JSON/CSV/マークダウン)と生成アセットをImagen 4 + Veoワークフロー用に保存します。
  • media_optimizer.py:ffmpeg/Pillowベースの前処理ツール。音声、画像、動画の入力を圧縮・リサイズ・変換し、ターゲットサイズ/ビットレートを強制し、長いクリップを1時間単位に分割し、ディレクトリをバッチ処理してメディアがGeminiの制限内に収まるようにします。
  • document_converter.py:Gemini搭載のコンバーター。PDF/画像/Officeドキュメントをアップロードし、マークダウン保存プロンプトを適用し、複数ファイルをバッチ処理し、出力を docs/assets 以下に自動命名し、モデル、プロンプト、自動ファイル命名、冗長ログのCLIフラグを公開します。
  • check_setup.py:インタラクティブな準備チェッカー。ディレクトリレイアウト、集中envリゾルバー、必要なPython依存関係、GEMINI_API_KEYの可用性/形式を検証し、ライブGemini API呼び出しを実行し、問題があれば修正手順を出力します。

オプションについては --help を参照してください。

リファレンス

詳細ガイダンスはこちらを参照:

トピックファイル説明
音楽references/music-generation.mdLyria RealTime APIによるBGM生成、スタイルプロンプト、リアルタイム制御、動画制作との統合。
音声references/audio-processing.md音声フォーマットと制限、文字起こし(タイムスタンプ、話者、セグメント)、非音声分析、File APIとインライン入力、TTSモデル、ベストプラクティス、コストとトークンの計算、具体的な会議/ポッドキャスト/インタビューのレシピ。
画像references/vision-understanding.md視覚機能の概要、対応フォーマットとモデル、キャプション生成/分類/VQA、検出とセグメンテーション、OCRとドキュメント読み取り、複数画像ワークフロー、構造化JSON出力、トークンコスト、ベストプラクティス、一般的な製品/スクリーンショット/チャート/シーンのユースケース。
画像生成references/image-generation.mdImagen 4とGemini画像モデルの概要、generate_imagesとgenerate_content API、アスペクト比とコスト、テキスト/画像/両方のモダリティ、編集と合成、スタイルと品質制御、安全設定、ベストプラクティス、トラブルシューティング、一般的なマーケティング/コンセプトアート/UIシナリオ。
動画references/video-analysis.md動画分析機能と対応フォーマット、モデル/コンテキストの選択、ローカル/インライン/YouTube入力、クリッピングとFPS制御、複数動画比較、時間的Q&Aとシーン検出、視覚コンテキスト付き文字起こし、トークンとコストのガイダンス、最適化/ベストプラクティスのパターン。
動画生成references/video-generation.mdVeoモデルマトリックス、テキストから動画/画像から動画へのクイックスタート、マルチリファレンスと拡張フロー、カメラとタイミング制御、設定(解像度、アスペクト、音声、安全)、プロンプトデザインパターン、パフォーマンスのヒント、制限、トラブルシューティング、コスト見積もり。

制限

フォーマット:音声(WAV/MP3/AAC、最大9.5時間)、画像(PNG/JPEG/WEBP、最大3,600枚)、動画(MP4/MOV、最大6時間)、PDF(最大1,000ページ) サイズ:インライン20MB、File APIで2GB 重要事項:

  • 音声の文字起こしを行う場合、音声の長さが15分を超えると、Gemini APIの出力トークン制限により文字起こしが途中で切れることがよくあります。完全な文字起こしを得るには、音声を小さなチャンク(最大15分)に分割し、各セグメントを個別に文字起こしする必要があります。
  • 動画の文字起こしを行う場合、動画の長さが15分を超える場合は、ffmpegを使用して動画から音声を抽出し、音声を15分に分割して全セグメントを文字起こしし、その後すべての文字起こしを結合して1つの文字起こしにします。 文字起こし出力要件:
  • フォーマット:マークダウン
  • メタデータ:長さ、ファイルサイズ、生成日、説明、ファイル名、カバーするトピックなど
  • パーツ:開始-終了(例:00:00-00:15)、音声チャンク名、文字起こし、ステータスなど
  • 文字起こしフォーマット:
    [HH:MM:SS -> HH:MM:SS] 文字起こし内容
    [HH:MM:SS -> HH:MM:SS] 文字起こし内容
    ...
    

リソース

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry

BlockRun works with Claude Code and Google Antigravity.

majiayu000/claude-skill-registry

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry

CRITICAL: Use for MolyKit AI chat toolkit. Triggers on: BotClient, OpenAI, SSE streaming, AI chat, molykit, PlatformSend, spawn(), ThreadToken, cross-platform async, Chat widget, Messages, PromptInput, Avatar, LLM

majiayu000/claude-skill-registry

AI and machine learning workflow covering LLM application development, RAG implementation, agent architecture, ML pipelines, and AI-powered features.

majiayu000/claude-skill-registry

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

関連スキル