AIマルチモーダル
Google GeminiのマルチモーダルAPIを使用して、音声、画像、動画、ドキュメントを処理し、画像/動画を生成します。
セットアップ
export GEMINI_API_KEY="your-key" # https://aistudio.google.com/apikey から取得
pip install google-genai python-dotenv pillow
APIキーローテーション(オプション)
大量使用時やレート制限に達した場合に備え、複数のAPIキーを設定できます:
# プライマリキー(必須)
export GEMINI_API_KEY="key1"
# 追加キー(オプション)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
または .env ファイル内:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
機能:
- レート制限エラー(429/RESOURCE_EXHAUSTED)時に自動ローテーション
- レート制限後、キーごとに60秒のクールダウン
--verboseフラグでローテーションイベントを記録- 下位互換性あり:単一キーでも動作
クイックスタート
セットアップ確認:python scripts/check_setup.py
メディア分析:python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>
- ヒント:画像分析を求められた場合、
geminiコマンドが利用可能か確認し、可能ならecho "<プロンプト>" | gemini -y -m <gemini.model>を使用してください(モデルは.claude/.ck.jsonのgemini.modelから読み取ります)。geminiコマンドが利用できない場合は、python scripts/gemini_batch_process.py --files <file> --task analyzeを使用してください。 コンテンツ生成:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"
標準入力対応:ファイルを標準入力から直接パイプできます(PNG/JPG/PDF/WAV/MP3を自動検出)。
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "これを説明して"python scripts/gemini_batch_process.py --files image.png --task analyze(従来の方法)
モデル
- 画像生成:
imagen-4.0-generate-001(標準)、imagen-4.0-ultra-generate-001(高品質)、imagen-4.0-fast-generate-001(高速) - 動画生成:
veo-3.1-generate-preview(音声付き8秒クリップ) - 分析:
gemini-2.5-flash(推奨)、gemini-2.5-pro(上級)
スクリプト
gemini_batch_process.py:transcribe|analyze|extract|generate|generate-videoタスクのCLIオーケストレーター。APIキーを自動解決し、タスクごとに適切なデフォルトモデルを選択し、ファイルをインラインまたはFile APIでストリーミングし、構造化出力(テキスト/JSON/CSV/マークダウン)と生成アセットをImagen 4 + Veoワークフロー用に保存します。media_optimizer.py:ffmpeg/Pillowベースの前処理ツール。音声、画像、動画の入力を圧縮・リサイズ・変換し、ターゲットサイズ/ビットレートを強制し、長いクリップを1時間単位に分割し、ディレクトリをバッチ処理してメディアがGeminiの制限内に収まるようにします。document_converter.py:Gemini搭載のコンバーター。PDF/画像/Officeドキュメントをアップロードし、マークダウン保存プロンプトを適用し、複数ファイルをバッチ処理し、出力をdocs/assets以下に自動命名し、モデル、プロンプト、自動ファイル命名、冗長ログのCLIフラグを公開します。check_setup.py:インタラクティブな準備チェッカー。ディレクトリレイアウト、集中envリゾルバー、必要なPython依存関係、GEMINI_API_KEYの可用性/形式を検証し、ライブGemini API呼び出しを実行し、問題があれば修正手順を出力します。
オプションについては --help を参照してください。
リファレンス
詳細ガイダンスはこちらを参照:
| トピック | ファイル | 説明 |
|---|---|---|
| 音楽 | references/music-generation.md | Lyria RealTime APIによるBGM生成、スタイルプロンプト、リアルタイム制御、動画制作との統合。 |
| 音声 | references/audio-processing.md | 音声フォーマットと制限、文字起こし(タイムスタンプ、話者、セグメント)、非音声分析、File APIとインライン入力、TTSモデル、ベストプラクティス、コストとトークンの計算、具体的な会議/ポッドキャスト/インタビューのレシピ。 |
| 画像 | references/vision-understanding.md | 視覚機能の概要、対応フォーマットとモデル、キャプション生成/分類/VQA、検出とセグメンテーション、OCRとドキュメント読み取り、複数画像ワークフロー、構造化JSON出力、トークンコスト、ベストプラクティス、一般的な製品/スクリーンショット/チャート/シーンのユースケース。 |
| 画像生成 | references/image-generation.md | Imagen 4とGemini画像モデルの概要、generate_imagesとgenerate_content API、アスペクト比とコスト、テキスト/画像/両方のモダリティ、編集と合成、スタイルと品質制御、安全設定、ベストプラクティス、トラブルシューティング、一般的なマーケティング/コンセプトアート/UIシナリオ。 |
| 動画 | references/video-analysis.md | 動画分析機能と対応フォーマット、モデル/コンテキストの選択、ローカル/インライン/YouTube入力、クリッピングとFPS制御、複数動画比較、時間的Q&Aとシーン検出、視覚コンテキスト付き文字起こし、トークンとコストのガイダンス、最適化/ベストプラクティスのパターン。 |
| 動画生成 | references/video-generation.md | Veoモデルマトリックス、テキストから動画/画像から動画へのクイックスタート、マルチリファレンスと拡張フロー、カメラとタイミング制御、設定(解像度、アスペクト、音声、安全)、プロンプトデザインパターン、パフォーマンスのヒント、制限、トラブルシューティング、コスト見積もり。 |
制限
フォーマット:音声(WAV/MP3/AAC、最大9.5時間)、画像(PNG/JPEG/WEBP、最大3,600枚)、動画(MP4/MOV、最大6時間)、PDF(最大1,000ページ) サイズ:インライン20MB、File APIで2GB 重要事項:
- 音声の文字起こしを行う場合、音声の長さが15分を超えると、Gemini APIの出力トークン制限により文字起こしが途中で切れることがよくあります。完全な文字起こしを得るには、音声を小さなチャンク(最大15分)に分割し、各セグメントを個別に文字起こしする必要があります。
- 動画の文字起こしを行う場合、動画の長さが15分を超える場合は、ffmpegを使用して動画から音声を抽出し、音声を15分に分割して全セグメントを文字起こしし、その後すべての文字起こしを結合して1つの文字起こしにします。 文字起こし出力要件:
- フォーマット:マークダウン
- メタデータ:長さ、ファイルサイズ、生成日、説明、ファイル名、カバーするトピックなど
- パーツ:開始-終了(例:00:00-00:15)、音声チャンク名、文字起こし、ステータスなど
- 文字起こしフォーマット:
[HH:MM:SS -> HH:MM:SS] 文字起こし内容 [HH:MM:SS -> HH:MM:SS] 文字起こし内容 ...