AIマルチモーダル
Google GeminiのマルチモーダルAPIを使用して、音声、画像、動画、ドキュメントを処理し、画像/動画を生成します。
セットアップ
export GEMINI_API_KEY="your-key" # https://aistudio.google.com/apikey から取得
pip install google-genai python-dotenv pillow
APIキーのローテーション(オプション)
大量使用時やレート制限に達した場合に、複数のAPIキーを設定できます:
# プライマリキー(必須)
export GEMINI_API_KEY="key1"
# ローテーション用の追加キー(オプション)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
または .env ファイルで:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
機能:
- レート制限(429/RESOURCE_EXHAUSTED)エラー時に自動ローテーション
- レート制限後、キーごとに60秒のクールダウン
--verboseフラグでローテーションイベントを記録- 下位互換性あり:単一キーでも動作
クイックスタート
セットアップ確認: python scripts/check_setup.py
メディア分析: python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>
- ヒント: 画像分析を求められたときは、まず
geminiコマンドが利用可能か確認し、利用可能ならecho "<画像分析のプロンプト>" | gemini -y -m <gemini.model>コマンドを使用してください(モデルは.opencode/.ck.jsonのgemini.modelから読み取ってください)。geminiコマンドが利用できない場合は、python scripts/gemini_batch_process.py --files <file> --task analyzeコマンドを使用してください。 コンテンツ生成:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "説明"
標準入力対応: 標準入力から直接ファイルをパイプできます(PNG/JPG/PDF/WAV/MP3を自動検出)。
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "これを説明してください"python scripts/gemini_batch_process.py --files image.png --task analyze(従来の方法)
モデル
- 画像生成:
imagen-4.0-generate-001(標準)、imagen-4.0-ultra-generate-001(高品質)、imagen-4.0-fast-generate-001(高速) - 動画生成:
veo-3.1-generate-preview(8秒クリップ、音声付き) - 分析:
gemini-2.5-flash(推奨)、gemini-2.5-pro(高度)
スクリプト
gemini_batch_process.py:transcribe|analyze|extract|generate|generate-videoタスクのCLIオーケストレーター。APIキーを自動解決し、タスクごとに適切なデフォルトモデルを選択し、ファイルをインラインまたはFile APIでストリーミングし、構造化された出力(テキスト/JSON/CSV/markdown、および生成されたアセット)を保存します。Imagen 4 + Veoワークフローに対応。media_optimizer.py: ffmpeg/Pillowベースのプリフライトツール。音声、画像、動画の入力を圧縮/リサイズ/変換し、ターゲットサイズ/ビットレートを適用し、長いクリップを1時間のチャンクに分割し、ディレクトリをバッチ処理することで、メディアがGeminiの制限内に収まるようにします。document_converter.py: Gemini搭載のコンバーター。PDF/画像/Office文書をアップロードし、マークダウン保持プロンプトを適用し、複数ファイルをバッチ処理し、docs/assets下に自動命名で出力します。モデル、プロンプト、自動ファイル命名、詳細ログ出力のCLIフラグを公開。check_setup.py: インタラクティブな準備状態チェッカー。ディレクトリレイアウト、一元化された環境変数リゾルバー、必要なPython依存関係、GEMINI_API_KEYの利用可能性/形式を検証し、ライブのGemini API呼び出しを実行し、問題があれば修復手順を表示します。
各スクリプトのオプションは --help で確認してください。
リファレンス
詳細なガイダンスについては以下を参照してください:
| トピック | ファイル | 説明 |
|---|---|---|
| 音楽 | references/music-generation.md | 背景音楽生成、スタイルプロンプト、リアルタイム制御、動画制作との統合のためのLyria RealTime API。 |
| 音声 | references/audio-processing.md | 音声フォーマットと制限、文字起こし(タイムスタンプ、話者、セグメント)、非音声分析、File API vs インライン入力、TTSモデル、ベストプラクティス、コストとトークンの計算、具体的なミーティング/ポッドキャスト/インタビューのレシピ。 |
| 画像 | references/vision-understanding.md | ビジョン機能の概要、サポートされているフォーマットとモデル、キャプション生成/分類/VQA、検出とセグメンテーション、OCRとドキュメント読み取り、マルチイメージワークフロー、構造化JSON出力、トークンコスト、ベストプラクティス、および一般的な製品/スクリーンショット/チャート/シーンのユースケース。 |
| 画像生成 | references/image-generation.md | Imagen 4とGemini画像モデルの概要、generate_images vs generate_content API、アスペクト比とコスト、テキスト/画像/両方のモダリティ、編集と合成、スタイルと品質の制御、安全設定、ベストプラクティス、トラブルシューティング、および一般的なマーケティング/コンセプトアート/UIシナリオ。 |
| 動画 | references/video-analysis.md | 動画分析機能とサポートされているフォーマット、モデル/コンテキストの選択、ローカル/インライン/YouTube入力、クリッピングとFPS制御、複数動画比較、時間的Q&Aとシーン検出、視覚コンテキストによる文字起こし、トークンとコストのガイダンス、および最適化/ベストプラクティスパターン。 |
| 動画生成 | references/video-generation.md | Veoモデルマトリックス、テキストから動画および画像から動画へのクイックスタート、マルチリファレンスと拡張フロー、カメラとタイミング制御、設定(解像度、アスペクト、音声、安全)、プロンプトデザインパターン、パフォーマンスのヒント、制限、トラブルシューティング、およびコスト見積もり。 |
制限
フォーマット: 音声(WAV/MP3/AAC、9.5時間)、画像(PNG/JPEG/WEBP、3,600枚)、動画(MP4/MOV、6時間)、PDF(1,000ページ) サイズ: インライン20MB、File API 2GB 重要:
- 音声の文字起こしを行う場合、音声の長さが15分を超えると、Gemini APIの出力トークン制限により文字起こしが途中で切れることがよくあります。完全な文字起こしを取得するには、音声をより小さなチャンク(最大15分)に分割し、各セグメントを文字起こししてから結合してください。
- 動画の文字起こしを行う場合、動画の長さが15分を超える場合は、ffmpegを使用して動画から音声を抽出し、音声を15分に分割し、すべての音声セグメントを文字起こししてから、単一の文字起こしに結合してください。 文字起こし出力要件:
- 形式: Markdown
- メタデータ: 再生時間、ファイルサイズ、生成日、説明、ファイル名、カバーされているトピックなど
- パーツ: from-to(例:00:00-00:15)、音声チャンク名、文字起こし、ステータスなど
- 文字起こし形式:
[HH:MM:SS -> HH:MM:SS] 文字起こし内容 [HH:MM:SS -> HH:MM:SS] 文字起こし内容 ...