Communitygithub.com

AI 多模态 (majiayu000/claude-skill-registry)

使用 Gemini API 分析图像/音频/视频(视觉能力优于 Claude),并生成图像(Imagen 4)和视频(Veo 3)。适用于视觉分析、转录、OCR、设计提取及多模态 AI。

claude-skill-registry) 是什么?

AI 多模态技能是一个面向开发者的强大工具,通过集成 Google Gemini 的多模态 API,实现对音频、图像、视频和文档的全面分析,并能利用 Imagen 4 和 Veo 3 模型生成高质量的图像与视频。该技能的核心价值在于弥补了 Claude 在视觉理解方面的短板,支持图像描述、OCR、音频转录、视频内容分析等任务,同时提供生成式 AI 能力。它主要通过 Python 脚本实现,支持命令行操作,并提供了 API 密钥自动轮换机制,以应对高并发或速率限制场景。技能还包含了多个辅助脚本用于媒体优化、文档转换和环境检查,确保用户能高效、稳定地处理多模态数据,并输出结构化的文本、JSON 或 Markdown 结果。

兼容平台✓Claude Code~Codex CLI~Cursor✓Gemini CLI✓OpenCode
npx skills add https://github.com/majiayu000/claude-skill-registry/tree/HEAD/skills/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien-2

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

AI 多模态

使用 Google Gemini 的多模态 API 处理音频、图像、视频、文档,并生成图像/视频。

设置

export GEMINI_API_KEY="your-key"  # 从 https://aistudio.google.com/apikey 获取
pip install google-genai python-dotenv pillow

API 密钥轮换(可选)

对于高用量或遇到速率限制时,可配置多个 API 密钥:

# 主密钥(必需)
export GEMINI_API_KEY="key1"

# 用于轮换的附加密钥(可选)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

或在您的 .env 文件中:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

特性:

  • 在遇到速率限制(429/RESOURCE_EXHAUSTED)错误时自动轮换
  • 每个密钥在速率限制后有 60 秒冷却时间
  • 使用 --verbose 参数记录轮换事件
  • 向后兼容:单个密钥仍然有效

快速入门

验证设置:python scripts/check_setup.py
分析媒体:python scripts/gemini_batch_process.py --files <文件> --task <analyze|transcribe|extract>

  • 提示:当要求分析图像时,检查 gemini 命令是否可用,然后使用 echo "<分析图像的提示>" | gemini -y -m <gemini.model> 命令(模型从 .opencode/.ck.json 中读取:gemini.model)。如果 gemini 命令不可用,则使用 python scripts/gemini_batch_process.py --files <文件> --task analyze 命令。 生成内容:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "描述"

标准输入支持:您可以通过标准输入直接管道文件(自动检测 PNG/JPG/PDF/WAV/MP3)。

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "描述一下"
  • python scripts/gemini_batch_process.py --files image.png --task analyze(传统方式)

模型

  • 图像生成:imagen-4.0-generate-001(标准),imagen-4.0-ultra-generate-001(质量),imagen-4.0-fast-generate-001(速度)
  • 视频生成:veo-3.1-generate-preview(8 秒片段含音频)
  • 分析:gemini-2.5-flash(推荐),gemini-2.5-pro(高级)

脚本

  • gemini_batch_process.py:CLI 编排器,用于 transcribe|analyze|extract|generate|generate-video 任务。可自动解析 API 密钥,为每个任务选择合理的默认模型,流式内联文件或使用 File API,并保存结构化输出(文本/JSON/CSV/Markdown 及生成的素材),适用于 Imagen 4 和 Veo 工作流。
  • media_optimizer.py:基于 ffmpeg/Pillow 的预处理工具,用于压缩/调整大小/转换音频、图像和视频输入,强制目标大小/比特率,将长片段分割为小时级块,并批量处理目录,确保媒体保持在 Gemini 限制内。
  • document_converter.py:由 Gemini 驱动的转换器,可上传 PDF/图像/Office 文档,应用保留 Markdown 的提示,批量处理多个文件,在 docs/assets 下自动命名输出,并提供 CLI 参数用于模型、提示、自动文件命名和详细日志记录。
  • check_setup.py:交互式就绪性检查器,用于验证目录结构、集中式环境变量解析器、所需的 Python 依赖以及 GEMINI_API_KEY 的可用性/格式,然后执行一次实时 Gemini API 调用,并在出现问题时打印修复说明。

使用 --help 获取选项。

参考资料

加载以获取详细指导:

主题文件描述
音乐references/music-generation.mdLyria RealTime API,用于背景音乐生成、风格提示、实时控制、与视频制作集成。
音频references/audio-processing.md音频格式和限制、转录(时间戳、说话人、片段)、非语音分析、File API 与内联输入、TTS 模型、最佳实践、成本与 Token 计算,以及具体的会议/播客/面试方案。
图像references/vision-understanding.md视觉能力概述、支持的格式和模型、字幕/分类/VQA、检测和分割、OCR 和文档阅读、多图像工作流、结构化 JSON 输出、Token 成本、最佳实践,以及常见的产品/截图/图表/场景用例。
图像生成references/image-generation.mdImagen 4 和 Gemini 图像模型概述、generate_images 与 generate_content API、宽高比和成本、文本/图像/双模态、编辑和合成、风格和质量控制、安全设置、最佳实践、故障排除,以及常见的营销/概念艺术/UI 场景。
视频references/video-analysis.md视频分析能力和支持的格式、模型/上下文选择、本地/内联/YouTube 输入、剪辑和 FPS 控制、多视频对比、时间性 Q&A 和场景检测、带视觉上下文的转录、Token 和成本指导,以及优化/最佳实践模式。
视频生成references/video-generation.mdVeo 模型矩阵、文本到视频和图像到视频快速入门、多参考和扩展流程、相机和时间控制、配置(分辨率、宽高比、音频、安全)、提示设计模式、性能技巧、限制、故障排除和成本估算。

限制

格式:音频(WAV/MP3/AAC,9.5 小时),图像(PNG/JPEG/WEBP,3.6k),视频(MP4/MOV,6 小时),PDF(1k 页) 大小:内联 20MB,File API 2GB 重要:

  • 如果您要生成音频的转录,且音频时长超过 15 分钟,由于 Gemini API 响应的输出 Token 限制,转录内容通常会被截断。要获取完整的转录,您需要将音频分割成更小的块(每个块最多 15 分钟),并对每个片段进行转录以获得完整的转录。
  • 如果您要生成视频的转录,且视频时长超过 15 分钟,请使用 ffmpeg 从视频中提取音频,将音频截断为 15 分钟,转录所有音频片段,然后将转录合并为单个转录。 转录输出要求:
  • 格式:Markdown
  • 元数据:时长、文件大小、生成日期、描述、文件名、涵盖的主题等。
  • 部分:从-到(例如 00:00-00:15)、音频块名称、转录、状态等。
  • 转录格式:
    [HH:MM:SS -> HH:MM:SS] 转录内容
    [HH:MM:SS -> HH:MM:SS] 转录内容
    ...
    

资源

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry

BlockRun works with Claude Code and Google Antigravity.

majiayu000/claude-skill-registry

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry

CRITICAL: Use for MolyKit AI chat toolkit. Triggers on: BotClient, OpenAI, SSE streaming, AI chat, molykit, PlatformSend, spawn(), ThreadToken, cross-platform async, Chat widget, Messages, PromptInput, Avatar, LLM

majiayu000/claude-skill-registry

AI and machine learning workflow covering LLM application development, RAG implementation, agent architecture, ML pipelines, and AI-powered features.

majiayu000/claude-skill-registry

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

相关技能