AI 多模态 是做什么的?
使用 Google Gemini 的多模态 API 处理音频、图像、视频、文档,并生成图像/视频。
设置
export GEMINI_API_KEY="your-key" # 从 https://aistudio.google.com/apikey 获取
pip install google-genai python-dotenv pillow
API 密钥轮换(可选)
针对高使用量或遇到速率限制时,可配置多个 API 密钥:
# 主密钥(必需)
export GEMINI_API_KEY="key1"
# 额外密钥用于轮换(可选)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
或者在 .env 文件中:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
特性:
- 遇到速率限制错误(429/RESOURCE_EXHAUSTED)时自动轮换
- 每个密钥在速率限制后有 60 秒冷却时间
- 使用
--verbose标志记录轮换事件 - 向后兼容:单个密钥仍然有效
快速开始
验证设置:python scripts/check_setup.py
分析媒体:python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>
- 提示:当您被要求分析图像时,先检查
gemini命令是否可用,如果可用,则使用echo "<分析图像的提示>" | gemini -y -m <gemini.model>命令(从.opencode/.ck.json读取模型:gemini.model)。如果gemini命令不可用,则使用python scripts/gemini_batch_process.py --files <file> --task analyze命令。 生成内容:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "描述"
标准输入支持:您可以通过标准输入直接管道传输文件(自动检测 PNG/JPG/PDF/WAV/MP3)。
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "描述这张图片"python scripts/gemini_batch_process.py --files image.png --task analyze(传统方式)
模型
- 图像生成:
imagen-4.0-generate-001(标准),imagen-4.0-ultra-generate-001(高质量),imagen-4.0-fast-generate-001(快速) - 视频生成:
veo-3.1-generate-preview(8 秒片段,含音频) - 分析:
gemini-2.5-flash(推荐),gemini-2.5-pro(高级)
脚本
gemini_batch_process.py:用于transcribe|analyze|extract|generate|generate-video的 CLI 编排器,自动解析 API 密钥,为每个任务选择合理的默认模型,流式传输文件(内联 vs File API),并保存结构化输出(文本/JSON/CSV/Markdown 以及生成的资产),适用于 Imagen 4 + Veo 工作流。media_optimizer.py:基于 ffmpeg/Pillow 的预处理工具,用于压缩/调整大小/转换音频、图像和视频输入,强制执行目标大小/比特率,将长片段分割为按小时划分的块,并批量处理目录,以确保媒体文件符合 Gemini 限制。document_converter.py:基于 Gemini 的转换器,上传 PDF/图像/Office 文档,应用保留 Markdown 格式的提示,批量处理多个文件,在docs/assets下自动命名输出,并提供 CLI 标志用于模型、提示、自动文件命名和详细日志记录。check_setup.py:交互式就绪检查器,验证目录结构、中央环境解析器、所需的 Python 依赖项以及 GEMINI_API_KEY 的可用性/格式,然后执行一次实际的 Gemini API 调用,并在出现问题时打印修复说明。
使用 --help 查看选项。
参考文档
加载以获取详细指导:
| 主题 | 文件 | 描述 |
|---|---|---|
| 音乐 | references/music-generation.md | 使用 Lyria RealTime API 生成背景音乐、样式提示、实时控制、与视频制作集成。 |
| 音频 | references/audio-processing.md | 音频格式和限制、转录(时间戳、说话人、片段)、非语音分析、File API 与内联输入、TTS 模型、最佳实践、成本和 Token 计算,以及具体的会议/播客/访谈方案。 |
| 图像 | references/vision-understanding.md | 视觉能力概述、支持的格式和模型、图像描述/分类/VQA、检测和分割、OCR 和文档阅读、多图像工作流、结构化 JSON 输出、Token 成本、最佳实践,以及常见的产品/截图/图表/场景用例。 |
| 图像生成 | references/image-generation.md | Imagen 4 和 Gemini 图像模型概述、generate_images 与 generate_content API、宽高比和成本、文本/图像/双模态、编辑和合成、样式和质量控制、安全设置、最佳实践、故障排除,以及常见的营销/概念艺术/UI 场景。 |
| 视频 | references/video-analysis.md | 视频分析能力和支持的格式、模型/上下文选择、本地/内联/YouTube 输入、剪辑和帧率控制、多视频比较、时序问答和场景检测、带视觉背景的转录、Token 和成本指导,以及优化/最佳实践模式。 |
| 视频生成 | references/video-generation.md | Veo 模型矩阵、文本转视频和图像转视频快速入门、多参考和扩展流程、相机和时间控制、配置(分辨率、宽高比、音频、安全)、提示设计模式、性能提示、限制、故障排除和成本估算。 |
限制
格式:音频(WAV/MP3/AAC,9.5 小时)、图像(PNG/JPEG/WEBP,3.6k)、视频(MP4/MOV,6 小时)、PDF(1000 页) 大小:内联 20MB,File API 2GB 重要提示:
- 如果您要生成音频文字稿,且音频长度超过 15 分钟,由于 Gemini API 响应的输出 token 限制,文字稿常会被截断。要获取完整的文字稿,您需要将音频分割成更小的片段(每个片段最多 15 分钟),并转录每个片段以得到完整的文字稿。
- 如果您要生成视频文字稿,且视频长度超过 15 分钟,请使用 ffmpeg 从视频中提取音频,将音频截取为 15 分钟片段,转录所有音频片段,然后将所有文字稿合并为一个完整的文字稿。 转录输出要求:
- 格式:Markdown
- 元数据:时长、文件大小、生成日期、描述、文件名、涵盖的主题等。
- 部分:起止时间(例如 00:00-00:15)、音频片段名称、转录文本、状态等。
- 转录文本格式:
[HH:MM:SS -> HH:MM:SS] 转录内容 [HH:MM:SS -> HH:MM:SS] 转录内容 ...