Communitygithub.com

AI 多模态 (Gemini API)

使用 Gemini API 分析图像、音频和视频,并生成图像 (Imagen 4) 和视频 (Veo 3)。适用于视觉分析、转录、OCR、设计提取和多模态 AI 任务。

AI 多模态 (Gemini API) 是什么?

该技能利用 Google Gemini 多模态 API,为开发者提供了一个功能全面的命令行工具集。它支持对图像、音频、视频和文档进行分析(如内容描述、转录、OCR),并能够使用 Imagen 4 模型生成图像或使用 Veo 3 模型生成带有音频的视频。其核心脚本 `gemini_batch_process.py` 可作为 CLI 编排器,自动处理 API 密钥和任务特定模型选择。此外,配套的 `media_optimizer.py` 和 `document_converter.py` 可确保输入文件符合 Gemini 的大小和格式限制。该技能特别适用于需要在 Claude Code、Cursor 或 Codex 等 AI 代理环境中直接集成 Google 多模态能力的场景,例如批量处理媒体文件、生成结构化输出(文本/JSON/CSV/Markdown)以及支持高并发请求的 API 密钥轮换功能。

兼容平台✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/majiayu000/claude-skill-registry-data/tree/HEAD/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

AI 多模态

使用 Google Gemini 多模态 API 处理音频、图像、视频、文档,并生成图像/视频。

设置

export GEMINI_API_KEY="your-key"  # 从 https://aistudio.google.com/apikey 获取
pip install google-genai python-dotenv pillow

API 密钥轮换 (可选)

对于高使用量场景或遇到速率限制时,可配置多个 API 密钥:

# 主密钥 (必需)
export GEMINI_API_KEY="key1"

# 附加密钥用于轮换 (可选)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

或者在 .env 文件中配置:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

功能特点:

  • 在遇到速率限制错误 (429/RESOURCE_EXHAUSTED) 时自动轮换密钥
  • 每个密钥在达到速率限制后冷却 60 秒
  • 使用 --verbose 标志记录轮换事件
  • 向后兼容:单个密钥仍然有效

快速开始

验证设置:python scripts/check_setup.py 分析媒体:python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>

  • 提示:当要求分析图像时,请检查 gemini 命令是否可用。如果可用,使用 echo "<用于分析图像的提示词>" | gemini -y -m <gemini.model> 命令(从 .claude/.ck.json 文件中读取 model:gemini.model)。如果 gemini 命令不可用,则使用 python scripts/gemini_batch_process.py --files <file> --task analyze 命令。 生成内容:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "描述"

标准输入支持:您可以通过标准输入直接传输文件(自动检测 PNG/JPG/PDF/WAV/MP3)。

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "描述这个"
  • python scripts/gemini_batch_process.py --files image.png --task analyze (传统方式)

模型

  • 图像生成:imagen-4.0-generate-001 (标准), imagen-4.0-ultra-generate-001 (质量优先), imagen-4.0-fast-generate-001 (速度优先)
  • 视频生成:veo-3.1-generate-preview (8秒片段,带音频)
  • 分析:gemini-2.5-flash (推荐), gemini-2.5-pro (高级)

脚本

  • gemini_batch_process.py:用于 transcribe|analyze|extract|generate|generate-video 任务的 CLI 编排器,可自动解析 API 密钥、为每个任务选择合理的默认模型、流式传输文件(内联 vs File API),并保存结构化输出(文本/JSON/CSV/markdown 以及生成的资产),适用于 Imagen 4 和 Veo 工作流。
  • media_optimizer.py:基于 ffmpeg/Pillow 的预处理工具,用于压缩/调整大小/转换音频、图像和视频输入,强制执行目标大小/比特率,将长片段分割成一小时的块,并批量处理目录,确保媒体内容在 Gemini 限制之内。
  • document_converter.py:由 Gemini 驱动的转换器,上传 PDF/图像/Office 文档,应用保留 Markdown 的提示词,批量处理多个文件,在 docs/assets 下自动命名输出,并提供 CLI 标志用于模型、提示词、自动文件命名和详细日志记录。
  • check_setup.py:交互式就绪检查器,验证目录结构、集中式环境变量解析器、必需的 Python 依赖项以及 GEMINI_API_KEY 的可用性/格式,然后执行一次实时的 Gemini API 调用,并在出现问题时打印修复说明。

使用 --help 查看选项。

参考资料

加载以获取详细指导:

主题文件描述
音乐references/music-generation.mdLyria RealTime API 用于背景音乐生成、风格提示、实时控制、与视频制作集成。
音频references/audio-processing.md音频格式和限制、转录(时间戳、说话人、片段)、非语音分析、File API vs 内联输入、TTS 模型、最佳实践、成本和 Token 计算,以及具体的会议/播客/访谈方案。
图像references/vision-understanding.md视觉能力概述、支持的格式和模型、字幕/分类/视觉问答、检测和分割、OCR 和文档阅读、多图像工作流、结构化 JSON 输出、Token 成本、最佳实践,以及常见的产品/截图/图表/场景用例。
图像生成references/image-generation.mdImagen 4 和 Gemini 图像模型概述、generate_images 与 generate_content API、宽高比和成本、文本/图像/两者模态、编辑和合成、风格和质量控制、安全设置、最佳实践、故障排除,以及常见的营销/概念艺术/UI 场景。
视频references/video-analysis.md视频分析能力和支持的格式、模型/上下文选择、本地/内联/YouTube 输入、剪辑和帧率控制、多视频比较、时序问答和场景检测、带视觉上下文的转录、Token 和成本指导,以及优化/最佳实践模式。
视频生成references/video-generation.mdVeo 模型矩阵、文本到视频和图像到视频快速开始、多参考和扩展流程、相机和时间控制、配置(分辨率、宽高比、音频、安全)、提示设计模式、性能提示、限制、故障排除和成本估算。

限制

格式:音频 (WAV/MP3/AAC, 9.5小时), 图像 (PNG/JPEG/WEBP, 3600张), 视频 (MP4/MOV, 6小时), PDF (1000页) 大小:内联 20MB, File API 2GB 重要说明:

  • 如果要生成音频的转录,且音频长度超过 15 分钟,由于 Gemini API 响应的输出 Token 限制,转录常常会被截断。要获取完整的转录,需要将音频分割成较小的片段(每个片段最多 15 分钟),然后转录每个片段以获得完整的转录。
  • 如果要生成视频的转录,且视频长度超过 15 分钟,请使用 ffmpeg 从视频中提取音频,将音频截断为 15 分钟,转录所有音频片段,然后将这些转录合并为一个完整的转录。 转录输出要求:
  • 格式:Markdown
  • 元数据:时长、文件大小、生成日期、描述、文件名、涵盖的主题等。
  • 部分:起始-结束时间(例如,00:00-00:15)、音频片段名称、转录、状态等。
  • 转录格式:
    [HH:MM:SS -> HH:MM:SS] 转录内容
    [HH:MM:SS -> HH:MM:SS] 转录内容
    ...
    

资源

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry-data

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry-data

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry-data

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry-data

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry-data

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry-data

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry-data

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

majiayu000/claude-skill-registry-data

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry-data

Conduct market research on competition and customers. Use when the user says "create a market research report about [business idea]".

majiayu000/claude-skill-registry-data

Conduct technical research on technologies and architecture. Use when the user says "create a technical research report on [topic]".

majiayu000/claude-skill-registry-data

Understand an existing codebase through systematic exploration

majiayu000/claude-skill-registry-data

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

相关技能