AIマルチモーダル
Google GeminiのマルチモーダルAPIを使用して、音声、画像、動画、ドキュメントを処理し、画像/動画を生成します。
セットアップ
export GEMINI_API_KEY="your-key" # https://aistudio.google.com/apikey から取得
pip install google-genai python-dotenv pillow
APIキーローテーション(オプション)
高負荷使用時やレート制限に達した場合、複数のAPIキーを設定できます:
# プライマリキー(必須)
export GEMINI_API_KEY="key1"
# ローテーション用の追加キー(オプション)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
または .env ファイルに:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
機能:
- レート制限エラー(429/RESOURCE_EXHAUSTED)発生時に自動ローテーション
- レート制限後、キーごとに60秒のクールダウン
--verboseフラグでローテーションイベントをログ出力- 下位互換性あり:単一キーでも動作
クイックスタート
セットアップ確認: python scripts/check_setup.py
メディア分析: python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>
- ヒント: 画像を分析するよう指示された場合、
geminiコマンドが利用可能か確認し、利用可能ならecho "<画像を分析するプロンプト>" | gemini -y -m <gemini.model>コマンドを使用してください(モデルは.opencode/.ck.jsonから読み取ります:gemini.model)。geminiコマンドが利用できない場合は、python scripts/gemini_batch_process.py --files <file> --task analyzeコマンドを使用してください。 コンテンツ生成:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"
標準入力対応: ファイルを標準入力から直接パイプできます(PNG/JPG/PDF/WAV/MP3を自動検出)。
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "これを説明して"python scripts/gemini_batch_process.py --files image.png --task analyze(従来の方法)
モデル
- 画像生成:
imagen-4.0-generate-001(標準)、imagen-4.0-ultra-generate-001(高品質)、imagen-4.0-fast-generate-001(高速) - 動画生成:
veo-3.1-generate-preview(オーディオ付き8秒クリップ) - 分析:
gemini-2.5-flash(推奨)、gemini-2.5-pro(高度)
スクリプト
gemini_batch_process.py:transcribe|analyze|extract|generate|generate-videoタスクのCLIオーケストレーター。APIキーを自動解決し、タスクごとに適切なデフォルトモデルを選択し、ファイルをインライン vs File APIでストリーミングし、構造化出力(テキスト/JSON/CSV/マークダウンおよび生成アセット)をImagen 4 + Veoワークフロー用に保存します。media_optimizer.py: ffmpeg/Pillowベースのプリフライトツール。音声、画像、動画の入力を圧縮/リサイズ/変換し、ターゲットサイズ/ビットレートを適用し、長いクリップを1時間単位に分割し、ディレクトリをバッチ処理してメディアがGeminiの制限内に収まるようにします。document_converter.py: Gemini搭載コンバーター。PDF/画像/Officeドキュメントをアップロードし、マークダウン保持プロンプトを適用し、複数ファイルをバッチ処理し、出力をdocs/assets配下に自動命名し、モデル、プロンプト、自動ファイル命名、詳細ログ出力のCLIフラグを公開します。check_setup.py: インタラクティブな準備確認ツール。ディレクトリ構造、集中envリゾルバー、必要なPython依存関係、GEMINI_API_KEYの有無と形式を検証し、ライブGemini API呼び出しを実行し、何か問題があれば修正手順を表示します。
各スクリプトのオプションは --help で確認してください。
リファレンス
詳細なガイダンスは以下を参照:
| トピック | ファイル | 説明 |
|---|---|---|
| 音楽 | references/music-generation.md | バックグラウンド音楽生成のLyria RealTime API、スタイルプロンプト、リアルタイム制御、動画制作との統合。 |
| 音声 | references/audio-processing.md | 音声フォーマットと制限、文字起こし(タイムスタンプ、話者、セグメント)、非音声分析、File API vs インライン入力、TTSモデル、ベストプラクティス、コストとトークンの計算、具体的な会議/ポッドキャスト/インタビューレシピ。 |
| 画像 | references/vision-understanding.md | 視覚機能の概要、サポートされるフォーマットとモデル、キャプショニング/分類/VQA、検出とセグメンテーション、OCRとドキュメント読み取り、マルチイメージワークフロー、構造化JSON出力、トークンコスト、ベストプラクティス、一般的な商品/スクリーンショット/チャート/シーンのユースケース。 |
| 画像生成 | references/image-generation.md | Imagen 4とGemini画像モデルの概要、generate_images vs generate_content API、アスペクト比とコスト、テキスト/画像/両方のモダリティ、編集と構成、スタイルと品質管理、安全性設定、ベストプラクティス、トラブルシューティング、一般的なマーケティング/コンセプトアート/UIシナリオ。 |
| 動画 | references/video-analysis.md | 動画分析機能とサポートされるフォーマット、モデル/コンテキストの選択、ローカル/インライン/YouTube入力、クリッピングとFPS制御、マルチビデオ比較、時間的Q&Aとシーン検出、視覚コンテキスト付き文字起こし、トークンとコストのガイダンス、最適化/ベストプラクティスパターン。 |
| 動画生成 | references/video-generation.md | Veoモデルマトリックス、テキストから動画、画像から動画のクイックスタート、マルチリファレンスと拡張フロー、カメラとタイミング制御、設定(解像度、アスペクト、オーディオ、安全性)、プロンプトデザインパターン、パフォーマンスのヒント、制限、トラブルシューティング、コスト見積もり。 |
制限
フォーマット: 音声(WAV/MP3/AAC、9.5時間)、画像(PNG/JPEG/WEBP、3,600枚)、動画(MP4/MOV、6時間)、PDF(1,000ページ) サイズ: インライン20MB、File API 2GB 重要:
- 音声の文字起こしを生成する際、音声の長さが15分を超える場合、Gemini APIの出力トークン制限により文字起こしが途中で切れることがよくあります。完全な文字起こしを得るには、音声を小さなチャンク(最大15分)に分割し、各セグメントを文字起こしして完全な文字起こしを生成する必要があります。
- 動画の文字起こしを生成する際、動画の長さが15分を超える場合は、ffmpegを使用して動画から音声を抽出し、音声を15分に分割し、すべての音声セグメントを文字起こしてから、単一の文字起こしに結合してください。 文字起こし出力要件:
- フォーマット:マークダウン
- メタデータ:時間、ファイルサイズ、生成日、説明、ファイル名、トピックなど
- パーツ:from-to(例:00:00-00:15)、音声チャンク名、文字起こし、ステータスなど
- 文字起こしフォーマット:
[HH:MM:SS -> HH:MM:SS] 文字起こし内容 [HH:MM:SS -> HH:MM:SS] 文字起こし内容 ...