Communitygithub.com

AI 멀티모달 (Google Gemini)

Gemini API를 사용하여 이미지/오디오/비디오를 분석하고, Imagen 4로 이미지, Veo 3로 비디오를 생성합니다. 비전 분석, 텍스트 추출(OCR), 디자인 분석 등 다양한 멀티모달 AI 작업에 활용할 수 있습니다.

AI 멀티모달 (Google Gemini)란 무엇인가요?

이 스킬은 Google Gemini의 강력한 멀티모달 API를 에이전트 내에서 직접 활용할 수 있게 해줍니다. Claude의 고유한 비전 기능보다 더 넓은 범위의 미디어 형식(이미지, 오디오, 비디오, PDF 등)을 분석하고, 최신 이미지 생성 모델(Imagen 4)과 비디오 생성 모델(Veo 3)을 사용하여 콘텐츠를 제작할 수 있습니다. 주요 기능으로는 미디어 분석(analyze), 오디오/비디오 텍스트 변환(transcribe), 이미지 내 텍스트 추출(extract), 이미지 생성(generate), 비디오 생성(generate-video) 등이 있으며, `gemini_batch_process.py` 스크립트 하나로 모든 작업을 처리합니다. 또한 다중 API 키 자동 로테이션을 지원하여 대량 사용 시 발생할 수 있는 속도 제한 문제를 우회할 수 있습니다. 명령줄 인터페이스와 표준 입력(stdin) 파이핑을 모두 지원하므로 다양한 워크플로우에 쉽게 통합할 수 있습니다.

지원 대상✓Claude Code~Codex CLI~Cursor✓Gemini CLI✓OpenCode
npx skills add https://github.com/majiayu000/claude-skill-registry/tree/HEAD/skills/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien-2

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

AI 멀티모달

Google Gemini의 멀티모달 API를 사용하여 오디오, 이미지, 비디오, 문서를 처리하고 이미지/비디오를 생성합니다.

설정

export GEMINI_API_KEY="your-key"  # https://aistudio.google.com/apikey 에서 발급
pip install google-genai python-dotenv pillow

API 키 로테이션 (선택 사항)

대량 사용 시 또는 속도 제한에 도달했을 때 여러 API 키를 구성할 수 있습니다:

# 기본 키 (필수)
export GEMINI_API_KEY="key1"

# 로테이션용 추가 키 (선택 사항)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

또는 .env 파일에 설정:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

기능:

  • 속도 제한(429/RESOURCE_EXHAUSTED) 오류 발생 시 자동 로테이션
  • 속도 제한 후 키당 60초 대기
  • --verbose 플래그로 로테이션 이벤트 로깅
  • 하위 호환성: 단일 키도 정상 작동

빠른 시작

설정 확인: python scripts/check_setup.py 미디어 분석: python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>

  • 팁: 이미지 분석을 요청받으면 gemini 명령어가 사용 가능한지 확인하고, 가능하다면 echo "<image 분석 프롬프트>" | gemini -y -m <gemini.model> 명령어를 사용하세요 (모델은 .opencode/.ck.json 파일의 gemini.model에서 읽어옵니다). gemini 명령어를 사용할 수 없다면 python scripts/gemini_batch_process.py --files <file> --task analyze 명령어를 사용하세요. 콘텐츠 생성: python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "설명"

stdin 지원: 파일을 stdin으로 직접 파이핑할 수 있습니다 (PNG/JPG/PDF/WAV/MP3 자동 감지).

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "설명해줘"
  • python scripts/gemini_batch_process.py --files image.png --task analyze (전통적인 방식)

모델

  • 이미지 생성: imagen-4.0-generate-001 (표준), imagen-4.0-ultra-generate-001 (고품질), imagen-4.0-fast-generate-001 (속도)
  • 비디오 생성: veo-3.1-generate-preview (오디오 포함 8초 클립)
  • 분석: gemini-2.5-flash (권장), gemini-2.5-pro (고급)

스크립트

  • gemini_batch_process.py: transcribe|analyze|extract|generate|generate-video 작업을 위한 CLI 오케스트레이터입니다. API 키를 자동으로 확인하고, 작업별로 적절한 기본 모델을 선택하며, 파일을 인라인 또는 File API로 스트리밍하고, 구조화된 결과(텍스트/JSON/CSV/markdown 및 생성된 에셋)를 저장합니다. Imagen 4 및 Veo 워크플로우에 사용됩니다.
  • media_optimizer.py: ffmpeg/Pillow 기반 사전 점검 도구로, 오디오, 이미지, 비디오 입력을 압축/크기 조정/변환하고, 대상 크기/비트레이트를 적용하며, 긴 클립을 1시간 단위로 분할하고, 디렉토리 단위로 일괄 처리하여 미디어가 Gemini 제한 내에 있도록 합니다.
  • document_converter.py: Gemini 기반 변환기로 PDF/이미지/Office 문서를 업로드하고, 마크다운 보존 프롬프트를 적용하며, 여러 파일을 일괄 처리하고, docs/assets 아래에 자동으로 이름을 지정하여 출력합니다. 모델, 프롬프트, 자동 파일명 지정, 상세 로깅을 위한 CLI 플래그를 제공합니다.
  • check_setup.py: 대화형 준비 상태 확인 도구로, 디렉토리 구조, 중앙 집중식 환경 변수 확인, 필수 Python 종속성, GEMINI_API_KEY 가용성/형식을 검사한 후 실제 Gemini API 호출을 수행하고, 문제 발생 시 해결 방법을 출력합니다.

각 스크립트에 대한 자세한 옵션은 --help를 사용하세요.

참고 자료

자세한 내용은 다음 파일을 참조하세요:

주제파일설명
음악references/music-generation.mdLyria RealTime API를 이용한 배경 음악 생성, 스타일 프롬프트, 실시간 제어, 비디오 제작과의 통합.
오디오references/audio-processing.md오디오 형식 및 제한, 텍스트 변환(타임스탬프, 화자, 세그먼트), 비음성 분석, File API vs 인라인 입력, TTS 모델, 모범 사례, 비용 및 토큰 계산, 회의/팟캐스트/인터뷰 레시피.
이미지references/vision-understanding.md비전 기능 개요, 지원 형식 및 모델, 캡셔닝/분류/VQA, 감지 및 분할, OCR 및 문서 판독, 다중 이미지 워크플로우, 구조화된 JSON 출력, 토큰 비용, 모범 사례, 제품/스크린샷/차트/장면 사용 사례.
이미지 생성references/image-generation.mdImagen 4 및 Gemini 이미지 모델 개요, generate_images와 generate_content API, 종횡비 및 비용, 텍스트/이미지/둘 다 모달리티, 편집 및 합성, 스타일 및 품질 제어, 안전 설정, 모범 사례, 문제 해결, 마케팅/컨셉 아트/UI 시나리오.
비디오references/video-analysis.md비디오 분석 기능 및 지원 형식, 모델/컨텍스트 선택, 로컬/인라인/YouTube 입력, 클리핑 및 FPS 제어, 다중 비디오 비교, 시간별 Q&A 및 장면 감지, 시각적 컨텍스트를 포함한 텍스트 변환, 토큰 및 비용 가이드, 최적화/모범 사례 패턴.
비디오 생성references/video-generation.mdVeo 모델 매트릭스, 텍스트-비디오 및 이미지-비디오 빠른 시작, 다중 참조 및 확장 흐름, 카메라 및 타이밍 제어, 설정(해상도, 종횡비, 오디오, 안전), 프롬프트 디자인 패턴, 성능 팁, 제한 사항, 문제 해결, 비용 추정.

제한 사항

형식: 오디오 (WAV/MP3/AAC, 9.5시간), 이미지 (PNG/JPEG/WEBP, 3,600개), 비디오 (MP4/MOV, 6시간), PDF (1,000페이지) 크기: 인라인 20MB, File API 2GB 중요:

  • 오디오 길이가 15분을 초과하는 경우, Gemini API 응답의 출력 토큰 제한으로 인해 텍스트 변환 결과가 종종 잘립니다. 전체 텍스트를 얻으려면 오디오를 더 작은 청크(청크당 최대 15분)로 나누어 각 세그먼트를 따로 변환해야 합니다.
  • 비디오 길이가 15분을 초과하는 경우, ffmpeg를 사용하여 비디오에서 오디오를 추출하고, 오디오를 15분 단위로 자른 다음 모든 오디오 세그먼트를 변환하고, 변환된 텍스트를 하나로 결합하세요. 텍스트 변환 출력 요구 사항:
  • 형식: Markdown
  • 메타데이터: 길이, 파일 크기, 생성 날짜, 설명, 파일 이름, 다루는 주제 등
  • 파트: 시작-끝 (예: 00:00-00:15), 오디오 청크 이름, 변환 내용, 상태 등
  • 변환 형식:
    [HH:MM:SS -> HH:MM:SS] 변환 내용
    [HH:MM:SS -> HH:MM:SS] 변환 내용
    ...
    

리소스

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry

BlockRun works with Claude Code and Google Antigravity.

majiayu000/claude-skill-registry

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry

CRITICAL: Use for MolyKit AI chat toolkit. Triggers on: BotClient, OpenAI, SSE streaming, AI chat, molykit, PlatformSend, spawn(), ThreadToken, cross-platform async, Chat widget, Messages, PromptInput, Avatar, LLM

majiayu000/claude-skill-registry

AI and machine learning workflow covering LLM application development, RAG implementation, agent architecture, ML pipelines, and AI-powered features.

majiayu000/claude-skill-registry

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

관련 스킬