Communitygithub.com

AI 多模态

使用 Google Gemini 的多模态 API 处理音频、图像、视频、文档,并生成图像和视频。

AI 多模态 是什么?

这是一个用于 Claude Code / Cursor / Codex 等 AI 代理的技能,它通过集成 Google Gemini 的多模态 API,赋予代理处理和理解音频、图像、视频及文档的能力,并支持生成图像(Imagen 4)和视频(Veo 3)。该技能特别适用于需要视觉理解、音频转录、OCR、设计提取以及多模态 AI 应用的场景。其核心功能由多个 Python 脚本驱动:`gemini_batch_process.py` 作为 CLI 编排器,负责执行转录、分析、提取和生成任务;`media_optimizer.py` 则利用 ffmpeg/Pillow 对媒体文件进行预处理,确保其符合 Gemini 的输入限制。技能支持 macOS 和 Linux,通过简单的环境变量(GEMINI_API_KEY)配置即可使用,并且提供了可选的 API Key 轮换机制以应对高并发或速率限制。它还内建了转录优化策略:对于超过 15 分钟的音频或视频,会自动建议拆分处理以避免输出截断,并严格按照 Markdown 格式输出带时间戳的完整转录结果。

兼容平台✓Claude Code~Codex CLI~Cursor✓Gemini CLI✓OpenCode
npx skills add https://github.com/majiayu000/claude-skill-registry-data/tree/HEAD/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien-2

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

AI 多模态 是做什么的?

使用 Google Gemini 的多模态 API 处理音频、图像、视频、文档,并生成图像/视频。

设置

export GEMINI_API_KEY="your-key"  # 从 https://aistudio.google.com/apikey 获取
pip install google-genai python-dotenv pillow

API 密钥轮换(可选)

针对高使用量或遇到速率限制时,可配置多个 API 密钥:

# 主密钥(必需)
export GEMINI_API_KEY="key1"

# 额外密钥用于轮换(可选)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

或者在 .env 文件中:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

特性:

  • 遇到速率限制错误(429/RESOURCE_EXHAUSTED)时自动轮换
  • 每个密钥在速率限制后有 60 秒冷却时间
  • 使用 --verbose 标志记录轮换事件
  • 向后兼容:单个密钥仍然有效

快速开始

验证设置:python scripts/check_setup.py 分析媒体:python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>

  • 提示:当您被要求分析图像时,先检查 gemini 命令是否可用,如果可用,则使用 echo "<分析图像的提示>" | gemini -y -m <gemini.model> 命令(从 .opencode/.ck.json 读取模型:gemini.model)。如果 gemini 命令不可用,则使用 python scripts/gemini_batch_process.py --files <file> --task analyze 命令。 生成内容:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "描述"

标准输入支持:您可以通过标准输入直接管道传输文件(自动检测 PNG/JPG/PDF/WAV/MP3)。

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "描述这张图片"
  • python scripts/gemini_batch_process.py --files image.png --task analyze(传统方式)

模型

  • 图像生成:imagen-4.0-generate-001(标准),imagen-4.0-ultra-generate-001(高质量),imagen-4.0-fast-generate-001(快速)
  • 视频生成:veo-3.1-generate-preview(8 秒片段,含音频)
  • 分析:gemini-2.5-flash(推荐),gemini-2.5-pro(高级)

脚本

  • gemini_batch_process.py:用于 transcribe|analyze|extract|generate|generate-video 的 CLI 编排器,自动解析 API 密钥,为每个任务选择合理的默认模型,流式传输文件(内联 vs File API),并保存结构化输出(文本/JSON/CSV/Markdown 以及生成的资产),适用于 Imagen 4 + Veo 工作流。
  • media_optimizer.py:基于 ffmpeg/Pillow 的预处理工具,用于压缩/调整大小/转换音频、图像和视频输入,强制执行目标大小/比特率,将长片段分割为按小时划分的块,并批量处理目录,以确保媒体文件符合 Gemini 限制。
  • document_converter.py:基于 Gemini 的转换器,上传 PDF/图像/Office 文档,应用保留 Markdown 格式的提示,批量处理多个文件,在 docs/assets 下自动命名输出,并提供 CLI 标志用于模型、提示、自动文件命名和详细日志记录。
  • check_setup.py:交互式就绪检查器,验证目录结构、中央环境解析器、所需的 Python 依赖项以及 GEMINI_API_KEY 的可用性/格式,然后执行一次实际的 Gemini API 调用,并在出现问题时打印修复说明。

使用 --help 查看选项。

参考文档

加载以获取详细指导:

主题文件描述
音乐references/music-generation.md使用 Lyria RealTime API 生成背景音乐、样式提示、实时控制、与视频制作集成。
音频references/audio-processing.md音频格式和限制、转录(时间戳、说话人、片段)、非语音分析、File API 与内联输入、TTS 模型、最佳实践、成本和 Token 计算,以及具体的会议/播客/访谈方案。
图像references/vision-understanding.md视觉能力概述、支持的格式和模型、图像描述/分类/VQA、检测和分割、OCR 和文档阅读、多图像工作流、结构化 JSON 输出、Token 成本、最佳实践,以及常见的产品/截图/图表/场景用例。
图像生成references/image-generation.mdImagen 4 和 Gemini 图像模型概述、generate_images 与 generate_content API、宽高比和成本、文本/图像/双模态、编辑和合成、样式和质量控制、安全设置、最佳实践、故障排除,以及常见的营销/概念艺术/UI 场景。
视频references/video-analysis.md视频分析能力和支持的格式、模型/上下文选择、本地/内联/YouTube 输入、剪辑和帧率控制、多视频比较、时序问答和场景检测、带视觉背景的转录、Token 和成本指导,以及优化/最佳实践模式。
视频生成references/video-generation.mdVeo 模型矩阵、文本转视频和图像转视频快速入门、多参考和扩展流程、相机和时间控制、配置(分辨率、宽高比、音频、安全)、提示设计模式、性能提示、限制、故障排除和成本估算。

限制

格式:音频(WAV/MP3/AAC,9.5 小时)、图像(PNG/JPEG/WEBP,3.6k)、视频(MP4/MOV,6 小时)、PDF(1000 页) 大小:内联 20MB,File API 2GB 重要提示:

  • 如果您要生成音频文字稿,且音频长度超过 15 分钟,由于 Gemini API 响应的输出 token 限制,文字稿常会被截断。要获取完整的文字稿,您需要将音频分割成更小的片段(每个片段最多 15 分钟),并转录每个片段以得到完整的文字稿。
  • 如果您要生成视频文字稿,且视频长度超过 15 分钟,请使用 ffmpeg 从视频中提取音频,将音频截取为 15 分钟片段,转录所有音频片段,然后将所有文字稿合并为一个完整的文字稿。 转录输出要求:
  • 格式:Markdown
  • 元数据:时长、文件大小、生成日期、描述、文件名、涵盖的主题等。
  • 部分:起止时间(例如 00:00-00:15)、音频片段名称、转录文本、状态等。
  • 转录文本格式:
    [HH:MM:SS -> HH:MM:SS] 转录内容
    [HH:MM:SS -> HH:MM:SS] 转录内容
    ...
    

资源

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry-data

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry-data

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry-data

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry-data

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry-data

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry-data

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry-data

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

majiayu000/claude-skill-registry-data

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry-data

Conduct market research on competition and customers. Use when the user says "create a market research report about [business idea]".

majiayu000/claude-skill-registry-data

Conduct technical research on technologies and architecture. Use when the user says "create a technical research report on [topic]".

majiayu000/claude-skill-registry-data

Understand an existing codebase through systematic exploration

majiayu000/claude-skill-registry-data

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

相关技能