AI 多模态
使用 Google Gemini 的多模态 API 处理音频、图像、视频、文档,并生成图像/视频。
设置
export GEMINI_API_KEY="your-key" # 从 https://aistudio.google.com/apikey 获取
pip install google-genai python-dotenv pillow
API 密钥轮换(可选)
对于高用量或遇到速率限制时,可配置多个 API 密钥:
# 主密钥(必需)
export GEMINI_API_KEY="key1"
# 用于轮换的附加密钥(可选)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
或在您的 .env 文件中:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
特性:
- 在遇到速率限制(429/RESOURCE_EXHAUSTED)错误时自动轮换
- 每个密钥在速率限制后有 60 秒冷却时间
- 使用
--verbose参数记录轮换事件 - 向后兼容:单个密钥仍然有效
快速入门
验证设置:python scripts/check_setup.py
分析媒体:python scripts/gemini_batch_process.py --files <文件> --task <analyze|transcribe|extract>
- 提示:当要求分析图像时,检查
gemini命令是否可用,然后使用echo "<分析图像的提示>" | gemini -y -m <gemini.model>命令(模型从.opencode/.ck.json中读取:gemini.model)。如果gemini命令不可用,则使用python scripts/gemini_batch_process.py --files <文件> --task analyze命令。 生成内容:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "描述"
标准输入支持:您可以通过标准输入直接管道文件(自动检测 PNG/JPG/PDF/WAV/MP3)。
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "描述一下"python scripts/gemini_batch_process.py --files image.png --task analyze(传统方式)
模型
- 图像生成:
imagen-4.0-generate-001(标准),imagen-4.0-ultra-generate-001(质量),imagen-4.0-fast-generate-001(速度) - 视频生成:
veo-3.1-generate-preview(8 秒片段含音频) - 分析:
gemini-2.5-flash(推荐),gemini-2.5-pro(高级)
脚本
gemini_batch_process.py:CLI 编排器,用于transcribe|analyze|extract|generate|generate-video任务。可自动解析 API 密钥,为每个任务选择合理的默认模型,流式内联文件或使用 File API,并保存结构化输出(文本/JSON/CSV/Markdown 及生成的素材),适用于 Imagen 4 和 Veo 工作流。media_optimizer.py:基于 ffmpeg/Pillow 的预处理工具,用于压缩/调整大小/转换音频、图像和视频输入,强制目标大小/比特率,将长片段分割为小时级块,并批量处理目录,确保媒体保持在 Gemini 限制内。document_converter.py:由 Gemini 驱动的转换器,可上传 PDF/图像/Office 文档,应用保留 Markdown 的提示,批量处理多个文件,在docs/assets下自动命名输出,并提供 CLI 参数用于模型、提示、自动文件命名和详细日志记录。check_setup.py:交互式就绪性检查器,用于验证目录结构、集中式环境变量解析器、所需的 Python 依赖以及 GEMINI_API_KEY 的可用性/格式,然后执行一次实时 Gemini API 调用,并在出现问题时打印修复说明。
使用 --help 获取选项。
参考资料
加载以获取详细指导:
| 主题 | 文件 | 描述 |
|---|---|---|
| 音乐 | references/music-generation.md | Lyria RealTime API,用于背景音乐生成、风格提示、实时控制、与视频制作集成。 |
| 音频 | references/audio-processing.md | 音频格式和限制、转录(时间戳、说话人、片段)、非语音分析、File API 与内联输入、TTS 模型、最佳实践、成本与 Token 计算,以及具体的会议/播客/面试方案。 |
| 图像 | references/vision-understanding.md | 视觉能力概述、支持的格式和模型、字幕/分类/VQA、检测和分割、OCR 和文档阅读、多图像工作流、结构化 JSON 输出、Token 成本、最佳实践,以及常见的产品/截图/图表/场景用例。 |
| 图像生成 | references/image-generation.md | Imagen 4 和 Gemini 图像模型概述、generate_images 与 generate_content API、宽高比和成本、文本/图像/双模态、编辑和合成、风格和质量控制、安全设置、最佳实践、故障排除,以及常见的营销/概念艺术/UI 场景。 |
| 视频 | references/video-analysis.md | 视频分析能力和支持的格式、模型/上下文选择、本地/内联/YouTube 输入、剪辑和 FPS 控制、多视频对比、时间性 Q&A 和场景检测、带视觉上下文的转录、Token 和成本指导,以及优化/最佳实践模式。 |
| 视频生成 | references/video-generation.md | Veo 模型矩阵、文本到视频和图像到视频快速入门、多参考和扩展流程、相机和时间控制、配置(分辨率、宽高比、音频、安全)、提示设计模式、性能技巧、限制、故障排除和成本估算。 |
限制
格式:音频(WAV/MP3/AAC,9.5 小时),图像(PNG/JPEG/WEBP,3.6k),视频(MP4/MOV,6 小时),PDF(1k 页) 大小:内联 20MB,File API 2GB 重要:
- 如果您要生成音频的转录,且音频时长超过 15 分钟,由于 Gemini API 响应的输出 Token 限制,转录内容通常会被截断。要获取完整的转录,您需要将音频分割成更小的块(每个块最多 15 分钟),并对每个片段进行转录以获得完整的转录。
- 如果您要生成视频的转录,且视频时长超过 15 分钟,请使用 ffmpeg 从视频中提取音频,将音频截断为 15 分钟,转录所有音频片段,然后将转录合并为单个转录。 转录输出要求:
- 格式:Markdown
- 元数据:时长、文件大小、生成日期、描述、文件名、涵盖的主题等。
- 部分:从-到(例如 00:00-00:15)、音频块名称、转录、状态等。
- 转录格式:
[HH:MM:SS -> HH:MM:SS] 转录内容 [HH:MM:SS -> HH:MM:SS] 转录内容 ...