Communitygithub.com

majiayu000/claude-skill-registry

使用 Gemini API 分析图像/音频/视频(视觉能力优于 Claude)。生成图像(Imagen 4)、视频(Veo 3)。适用于视觉分析、转录、OCR、设计提取、多模态 AI。

claude-skill-registry 是什么?

该技能是一个基于 Google Gemini 多模态 API 的 AI 助手,能够处理音频、图像、视频和文档,并生成图像(Imagen 4)和视频(Veo 3)。它支持多种任务,包括媒体分析、转录、提取、图像生成和视频生成。技能提供了多个实用脚本,如 gemini_batch_process.py 作为 CLI 编排器,负责 API 密钥管理、任务模型选择、流式文件处理以及结构化输出保存;media_optimizer.py 用于媒体文件优化以符合 Gemini 限制;document_converter.py 用于文档转换。特别值得注意的是,技能内置了 API 密钥轮换机制,可在遇到速率限制时自动切换密钥(支持最多 3 个密钥),每个密钥有 60 秒冷却期。它可以与 Claude Code 等 AI Agent 工具集成,通过命令行调用实现多模态处理能力。对于长篇音频或视频的转录,技能明确建议将内容分割为不超过 15 分钟的片段进行处理,并提供完整的 Markdown 格式输出要求,包括时间戳和元数据。

兼容平台✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/majiayu000/claude-skill-registry/tree/HEAD/skills/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

AI 多模态处理

使用 Google Gemini 多模态 API 处理音频、图像、视频、文档,并生成图像和视频。

设置

export GEMINI_API_KEY="your-key"  # 从 https://aistudio.google.com/apikey 获取
pip install google-genai python-dotenv pillow

API 密钥轮换(可选)

适用于高使用量或遇到速率限制时,配置多个 API 密钥:

# 主密钥(必需)
export GEMINI_API_KEY="key1"

# 额外密钥用于轮换(可选)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

或者在 .env 文件中:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

功能:

  • 遇到速率限制错误(429/RESOURCE_EXHAUSTED)时自动轮换密钥
  • 每个密钥在速率限制后有 60 秒冷却期
  • 使用 --verbose 标志记录轮换事件
  • 向后兼容:单个密钥仍可正常工作

快速开始

验证设置:python scripts/check_setup.py 分析媒体:python scripts/gemini_batch_process.py --files <文件> --task <analyze|transcribe|extract>

  • 提示:当您被要求分析图像时,检查 gemini 命令是否可用,如果可用,使用 echo "<分析图像的提示>" | gemini -y -m <gemini.model> 命令(从 .claude/.ck.json 读取模型:gemini.model)。如果 gemini 命令不可用,请使用 python scripts/gemini_batch_process.py --files <文件> --task analyze 命令。 生成内容:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "描述"

标准输入支持:您可以通过标准输入直接管道传输文件(自动检测 PNG/JPG/PDF/WAV/MP3)。

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "描述这个"
  • python scripts/gemini_batch_process.py --files image.png --task analyze(传统方式)

模型

  • 图像生成:imagen-4.0-generate-001(标准)、imagen-4.0-ultra-generate-001(质量)、imagen-4.0-fast-generate-001(速度)
  • 视频生成:veo-3.1-generate-preview(8 秒片段,含音频)
  • 分析:gemini-2.5-flash(推荐)、gemini-2.5-pro(高级)

脚本

  • gemini_batch_process.py:CLI 编排器,用于 transcribe|analyze|extract|generate|generate-video,自动解析 API 密钥、为每个任务选择合理的默认模型、流式传输内联文件与 File API,并保存结构化输出(文本/JSON/CSV/markdown 以及生成的资产),适用于 Imagen 4 + Veo 工作流。
  • media_optimizer.py:基于 ffmpeg/Pillow 的预处理工具,压缩/调整大小/转换音频、图像和视频输入,强制执行目标大小/比特率,将长片段分割为小时块,并批量处理目录,使媒体保持在 Gemini 限制内。
  • document_converter.py:基于 Gemini 的转换器,上传 PDF/图像/Office 文档,应用保持 markdown 格式的提示,批量处理多个文件,在 docs/assets 下自动命名输出,并提供 CLI 标志用于模型、提示、自动文件命名和详细日志记录。
  • check_setup.py:交互式就绪检查器,验证目录结构、集中式环境变量解析器、所需的 Python 依赖项以及 GEMINI_API_KEY 的可用性/格式,然后执行一个实时的 Gemini API 调用,并打印修复指南(如果任何步骤失败)。

使用 --help 查看选项。

参考资料

加载以获取详细指导:

主题文件描述
音乐references/music-generation.mdLyria RealTime API 用于背景音乐生成、风格提示、实时控制、与视频制作集成。
音频references/audio-processing.md音频格式和限制、转录(时间戳、说话人、片段)、非语音分析、File API 与内联输入、TTS 模型、最佳实践、成本和 Token 计算,以及具体的会议/播客/采访场景。
图像references/vision-understanding.md视觉能力概述、支持的格式和模型、字幕/分类/VQA、检测和分割、OCR 和文档读取、多图像工作流、结构化 JSON 输出、Token 成本、最佳实践,以及常见的产品/截图/图表/场景用例。
图像生成references/image-generation.mdImagen 4 和 Gemini 图像模型概述、generate_images 与 generate_content API、宽高比和成本、文本/图像/混合模态、编辑和构图、样式和质量控制、安全设置、最佳实践、故障排除,以及常见的营销/概念艺术/UI 场景。
视频references/video-analysis.md视频分析能力和支持的格式、模型/上下文选择、本地/内联/YouTube 输入、剪辑和 FPS 控制、多视频比较、时序问答和场景检测、带视觉上下文的转录、Token 和成本指导,以及优化/最佳实践模式。
视频生成references/video-generation.mdVeo 模型矩阵、文本到视频和图像到视频快速入门、多参考和扩展流程、摄像头和时间控制、配置(分辨率、宽高比、音频、安全)、提示设计模式、性能提示、限制、故障排除和成本估算。

限制

格式:音频(WAV/MP3/AAC,9.5小时)、图像(PNG/JPEG/WEBP,3.6k)、视频(MP4/MOV,6小时)、PDF(1000页) 大小:20MB 内联,2GB File API 重要提示:

  • 如果要生成音频的转录,且音频长度超过 15 分钟,由于 Gemini API 响应中的输出 Token 限制,转录通常会被截断。要获取完整的转录,您需要将音频分割成较小的块(每块最多 15 分钟)并转录每个片段,以获得完整的转录。
  • 如果要生成视频的转录,且视频长度超过 15 分钟,请使用 ffmpeg 从视频中提取音频,将音频截断为 15 分钟,转录所有音频片段,然后将转录合并为一个完整的转录。 转录输出要求:
  • 格式:Markdown
  • 元数据:持续时间、文件大小、生成日期、描述、文件名、涵盖的主题等。
  • 部分:从-到(例如 00:00-00:15)、音频块名称、转录文本、状态等。
  • 转录格式:
    [HH:MM:SS -> HH:MM:SS] 转录内容
    [HH:MM:SS -> HH:MM:SS] 转录内容
    ...
    

资源

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry

BlockRun works with Claude Code and Google Antigravity.

majiayu000/claude-skill-registry

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry

CRITICAL: Use for MolyKit AI chat toolkit. Triggers on: BotClient, OpenAI, SSE streaming, AI chat, molykit, PlatformSend, spawn(), ThreadToken, cross-platform async, Chat widget, Messages, PromptInput, Avatar, LLM

majiayu000/claude-skill-registry

AI and machine learning workflow covering LLM application development, RAG implementation, agent architecture, ML pipelines, and AI-powered features.

majiayu000/claude-skill-registry

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

相关技能