AI 多模态处理
使用 Google Gemini 多模态 API 处理音频、图像、视频、文档,并生成图像和视频。
设置
export GEMINI_API_KEY="your-key" # 从 https://aistudio.google.com/apikey 获取
pip install google-genai python-dotenv pillow
API 密钥轮换(可选)
适用于高使用量或遇到速率限制时,配置多个 API 密钥:
# 主密钥(必需)
export GEMINI_API_KEY="key1"
# 额外密钥用于轮换(可选)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"
或者在 .env 文件中:
GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3
功能:
- 遇到速率限制错误(429/RESOURCE_EXHAUSTED)时自动轮换密钥
- 每个密钥在速率限制后有 60 秒冷却期
- 使用
--verbose标志记录轮换事件 - 向后兼容:单个密钥仍可正常工作
快速开始
验证设置:python scripts/check_setup.py
分析媒体:python scripts/gemini_batch_process.py --files <文件> --task <analyze|transcribe|extract>
- 提示:当您被要求分析图像时,检查
gemini命令是否可用,如果可用,使用echo "<分析图像的提示>" | gemini -y -m <gemini.model>命令(从.claude/.ck.json读取模型:gemini.model)。如果gemini命令不可用,请使用python scripts/gemini_batch_process.py --files <文件> --task analyze命令。 生成内容:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "描述"
标准输入支持:您可以通过标准输入直接管道传输文件(自动检测 PNG/JPG/PDF/WAV/MP3)。
cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "描述这个"python scripts/gemini_batch_process.py --files image.png --task analyze(传统方式)
模型
- 图像生成:
imagen-4.0-generate-001(标准)、imagen-4.0-ultra-generate-001(质量)、imagen-4.0-fast-generate-001(速度) - 视频生成:
veo-3.1-generate-preview(8 秒片段,含音频) - 分析:
gemini-2.5-flash(推荐)、gemini-2.5-pro(高级)
脚本
gemini_batch_process.py:CLI 编排器,用于transcribe|analyze|extract|generate|generate-video,自动解析 API 密钥、为每个任务选择合理的默认模型、流式传输内联文件与 File API,并保存结构化输出(文本/JSON/CSV/markdown 以及生成的资产),适用于 Imagen 4 + Veo 工作流。media_optimizer.py:基于 ffmpeg/Pillow 的预处理工具,压缩/调整大小/转换音频、图像和视频输入,强制执行目标大小/比特率,将长片段分割为小时块,并批量处理目录,使媒体保持在 Gemini 限制内。document_converter.py:基于 Gemini 的转换器,上传 PDF/图像/Office 文档,应用保持 markdown 格式的提示,批量处理多个文件,在docs/assets下自动命名输出,并提供 CLI 标志用于模型、提示、自动文件命名和详细日志记录。check_setup.py:交互式就绪检查器,验证目录结构、集中式环境变量解析器、所需的 Python 依赖项以及 GEMINI_API_KEY 的可用性/格式,然后执行一个实时的 Gemini API 调用,并打印修复指南(如果任何步骤失败)。
使用 --help 查看选项。
参考资料
加载以获取详细指导:
| 主题 | 文件 | 描述 |
|---|---|---|
| 音乐 | references/music-generation.md | Lyria RealTime API 用于背景音乐生成、风格提示、实时控制、与视频制作集成。 |
| 音频 | references/audio-processing.md | 音频格式和限制、转录(时间戳、说话人、片段)、非语音分析、File API 与内联输入、TTS 模型、最佳实践、成本和 Token 计算,以及具体的会议/播客/采访场景。 |
| 图像 | references/vision-understanding.md | 视觉能力概述、支持的格式和模型、字幕/分类/VQA、检测和分割、OCR 和文档读取、多图像工作流、结构化 JSON 输出、Token 成本、最佳实践,以及常见的产品/截图/图表/场景用例。 |
| 图像生成 | references/image-generation.md | Imagen 4 和 Gemini 图像模型概述、generate_images 与 generate_content API、宽高比和成本、文本/图像/混合模态、编辑和构图、样式和质量控制、安全设置、最佳实践、故障排除,以及常见的营销/概念艺术/UI 场景。 |
| 视频 | references/video-analysis.md | 视频分析能力和支持的格式、模型/上下文选择、本地/内联/YouTube 输入、剪辑和 FPS 控制、多视频比较、时序问答和场景检测、带视觉上下文的转录、Token 和成本指导,以及优化/最佳实践模式。 |
| 视频生成 | references/video-generation.md | Veo 模型矩阵、文本到视频和图像到视频快速入门、多参考和扩展流程、摄像头和时间控制、配置(分辨率、宽高比、音频、安全)、提示设计模式、性能提示、限制、故障排除和成本估算。 |
限制
格式:音频(WAV/MP3/AAC,9.5小时)、图像(PNG/JPEG/WEBP,3.6k)、视频(MP4/MOV,6小时)、PDF(1000页) 大小:20MB 内联,2GB File API 重要提示:
- 如果要生成音频的转录,且音频长度超过 15 分钟,由于 Gemini API 响应中的输出 Token 限制,转录通常会被截断。要获取完整的转录,您需要将音频分割成较小的块(每块最多 15 分钟)并转录每个片段,以获得完整的转录。
- 如果要生成视频的转录,且视频长度超过 15 分钟,请使用 ffmpeg 从视频中提取音频,将音频截断为 15 分钟,转录所有音频片段,然后将转录合并为一个完整的转录。 转录输出要求:
- 格式:Markdown
- 元数据:持续时间、文件大小、生成日期、描述、文件名、涵盖的主题等。
- 部分:从-到(例如 00:00-00:15)、音频块名称、转录文本、状态等。
- 转录格式:
[HH:MM:SS -> HH:MM:SS] 转录内容 [HH:MM:SS -> HH:MM:SS] 转录内容 ...