AIマルチモーダル
Google GeminiのマルチモーダルAPIを使用して、音声、画像、動画、ドキュメントを処理し、画像や動画を生成します。
セットアップ
export GEMINI_API_KEY="your-key" # https://aistudio.google.com/apikey から取得
pip install google-genai python-dotenv pillow
APIキーのローテーション(オプション)
大量使用時やレート制限に達した場合に備えて、複数のAPIキーを設定できます:
# プライマリキー(必須)
export GEMINI_API_KEY="key1"
# 追加キー(オプション)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
または .env ファイルに:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
機能:
- レート制限エラー(429/RESOURCE_EXHAUSTED)時に自動ローテーション
- レート制限後、キーごとに60秒のクールダウン
--verboseフラグでローテーションイベントをログ出力- 後方互換性あり:単一キーでも動作
クイックスタート
セットアップ確認:python scripts/check_setup.py
メディア分析:python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>
- ヒント:画像分析を依頼された場合、
geminiコマンドが利用可能か確認し、利用可能ならecho "<画像分析のプロンプト>" | gemini -y -m <gemini.model>コマンドを使用してください(モデルは.claude/.ck.jsonのgemini.modelから読み取ってください)。geminiコマンドが利用できない場合は、python scripts/gemini_batch_process.py --files <file> --task analyzeコマンドを使用してください。 コンテンツ生成:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"
標準入力対応:ファイルを標準入力から直接パイプできます(PNG/JPG/PDF/WAV/MP3を自動検出)。
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "これを説明して"python scripts/gemini_batch_process.py --files image.png --task analyze(従来の方法)
モデル
- 画像生成:
imagen-4.0-generate-001(標準)、imagen-4.0-ultra-generate-001(高品質)、imagen-4.0-fast-generate-001(高速) - 動画生成:
veo-3.1-generate-preview(音声付き8秒クリップ) - 分析:
gemini-2.5-flash(推奨)、gemini-2.5-pro(高度)
スクリプト
gemini_batch_process.py:transcribe|analyze|extract|generate|generate-videoタスク用のCLIオーケストレーター。APIキーを自動解決し、タスクごとに適切なデフォルトモデルを選択し、ファイルをインラインまたはFile APIでストリーミングし、構造化された出力(テキスト/JSON/CSV/markdown、および生成されたアセット)を保存します。Imagen 4 + Veoワークフローに対応。media_optimizer.py:ffmpeg/Pillowベースの事前処理ツール。音声、画像、動画の入力を圧縮/リサイズ/変換し、ターゲットサイズ/ビットレートを適用し、長いクリップを1時間ごとのチャンクに分割し、ディレクトリをバッチ処理します。メディアがGeminiの制限内に収まるようにします。document_converter.py:Geminiを利用したコンバーター。PDF/画像/Officeドキュメントをアップロードし、マークダウン保持プロンプトを適用し、複数ファイルをバッチ処理し、docs/assets下に自動命名で出力します。モデル、プロンプト、自動ファイル命名、詳細ログ出力のためのCLIフラグを公開。check_setup.py:インタラクティブな準備確認ツール。ディレクトリ構造、集中環境変数リゾルバー、必要なPython依存関係、GEMINI_API_KEY の有無と形式を検証し、ライブのGemini API呼び出しを実行後、問題があれば修正手順を表示します。
--help でオプションを確認できます。
リファレンス
詳細なガイダンスについては以下を参照してください:
| トピック | ファイル | 説明 |
|---|---|---|
| 音楽 | references/music-generation.md | Lyria RealTime APIを使用したBGM生成、スタイルプロンプト、リアルタイム制御、動画制作との統合。 |
| 音声 | references/audio-processing.md | 音声フォーマットと制限、文字起こし(タイムスタンプ、話者、セグメント)、非発話分析、File APIとインライン入力、TTSモデル、ベストプラクティス、コストとトークンの計算、具体的な会議/ポッドキャスト/インタビューのレシピ。 |
| 画像 | references/vision-understanding.md | 視覚機能の概要、対応フォーマットとモデル、キャプション/分類/VQA、検出とセグメンテーション、OCRとドキュメント読み取り、マルチ画像ワークフロー、構造化JSON出力、トークンコスト、ベストプラクティス、一般的な製品/スクリーンショット/チャート/シーンのユースケース。 |
| 画像生成 | references/image-generation.md | Imagen 4とGemini画像モデルの概要、generate_imagesとgenerate_content API、アスペクト比とコスト、テキスト/画像/両方のモダリティ、編集と合成、スタイルと品質制御、安全設定、ベストプラクティス、トラブルシューティング、一般的なマーケティング/コンセプトアート/UIのシナリオ。 |
| 動画 | references/video-analysis.md | 動画分析機能と対応フォーマット、モデル/コンテキストの選択、ローカル/インライン/YouTube入力、クリッピングとFPS制御、マルチ動画比較、時間的Q&Aとシーン検出、視覚コンテキスト付き文字起こし、トークンとコストのガイダンス、最適化/ベストプラクティスのパターン。 |
| 動画生成 | references/video-generation.md | Veoモデルマトリックス、テキストから動画と画像から動画のクイックスタート、マルチリファレンスと拡張フロー、カメラとタイミング制御、設定(解像度、アスペクト、音声、安全性)、プロンプトデザインパターン、パフォーマンスのヒント、制限事項、トラブルシューティング、コスト見積もり。 |
制限
フォーマット:音声(WAV/MP3/AAC、最大9.5時間)、画像(PNG/JPEG/WEBP、最大3,600枚)、動画(MP4/MOV、最長6時間)、PDF(最大1,000ページ) サイズ:インラインで20MB、File APIで2GB 重要:
- 音声の文字起こしを行う場合、音声の長さが15分を超えると、Gemini APIの出力トークン制限により文字起こしが途切れることがよくあります。完全な文字起こしを取得するには、音声をより小さなチャンク(1チャンク最大15分)に分割し、各セグメントを個別に文字起こししてください。
- 動画の文字起こしを行い、動画の長さが15分を超える場合は、ffmpegを使用して動画から音声を抽出し、音声を15分に分割し、すべての音声セグメントを文字起こしし、それらを1つの文字起こしに結合してください。 文字起こし出力要件:
- フォーマット:マークダウン
- メタデータ:長さ、ファイルサイズ、生成日、説明、ファイル名、対象トピックなど
- パート:開始-終了(例:00:00-00:15)、音声チャンク名、文字起こし、ステータスなど
- 文字起こしフォーマット:
[HH:MM:SS -> HH:MM:SS] 文字起こし内容 [HH:MM:SS -> HH:MM:SS] 文字起こし内容 ...