Communitygithub.com

AI 멀티모달 처리 및 생성

Gemini API를 이용한 이미지/오디오/비디오 분석 (Claude보다 뛰어난 비전), 이미지(Imagen 4) 및 비디오(Veo 3) 생성. 비전 분석, 전사, OCR, 디자인 추출, 멀티모달 AI에 활용하세요.

AI 멀티모달 처리 및 생성란 무엇인가요?

이 스킬은 Google Gemini의 멀티모달 API를 활용하여 오디오, 이미지, 비디오, 문서를 처리하고 이미지 및 비디오를 생성하는 강력한 도구입니다. Claude의 기본 비전 기능보다 뛰어난 성능을 제공하며, 분석, 전사(transcription), OCR, 디자인 추출 등 다양한 멀티모달 AI 작업을 지원합니다. 주요 지원 플랫폼은 명령줄 인터페이스(CLI)이며, `gemini_batch_process.py` 스크립트를 통해 `transcribe`, `analyze`, `extract`, `generate`, `generate-video` 작업을 수행할 수 있습니다. 또한, `media_optimizer.py`로 미디어 파일을 최적화하고, `document_converter.py`로 문서를 변환하는 등의 유틸리티 스크립트를 제공합니다. API 키 자동 순환, 표준 입력(stdin) 지원, 상세 로깅 등 개발자 친화적인 기능을 갖추고 있어 생산성을 높여줍니다.

지원 대상✓Claude Code~Codex CLI~Cursor✓Gemini CLI✓OpenCode
npx skills add https://github.com/majiayu000/claude-skill-registry-data/tree/HEAD/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien-2

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

AI 멀티모달

Google Gemini의 멀티모달 API를 사용하여 오디오, 이미지, 비디오, 문서를 처리하고 이미지/비디오를 생성합니다.

설정

export GEMINI_API_KEY="your-key"  # https://aistudio.google.com/apikey 에서 발급
pip install google-genai python-dotenv pillow

API 키 순환 (선택 사항)

대량 사용 시 또는 속도 제한에 도달했을 때 여러 API 키를 구성할 수 있습니다:

# 기본 키 (필수)
export GEMINI_API_KEY="key1"

# 순환용 추가 키 (선택 사항)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

또는 .env 파일에:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

기능:

  • 속도 제한(429/RESOURCE_EXHAUSTED) 오류 발생 시 자동 순환
  • 속도 제한 후 키당 60초 대기 시간
  • --verbose 플래그로 순환 이벤트 로깅
  • 이전 버전과 호환: 단일 키도 정상 작동

빠른 시작

설정 확인: python scripts/check_setup.py 미디어 분석: python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>

  • 팁: 이미지 분석을 요청받으면 gemini 명령어가 있는지 확인하고, 있다면 echo "<이미지 분석 프롬프트>" | gemini -y -m <gemini.model> 명령어를 사용하세요 (모델은 .opencode/.ck.json 파일의 gemini.model에서 읽어옴). gemini 명령어가 없으면 python scripts/gemini_batch_process.py --files <file> --task analyze 명령어를 사용하세요. 콘텐츠 생성: python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "설명"

표준 입력 지원: 파일을 표준 입력으로 직접 파이프할 수 있습니다 (PNG/JPG/PDF/WAV/MP3 자동 감지).

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "이것을 설명해줘"
  • python scripts/gemini_batch_process.py --files image.png --task analyze (전통적인 방식)

모델

  • 이미지 생성: imagen-4.0-generate-001 (표준), imagen-4.0-ultra-generate-001 (고품질), imagen-4.0-fast-generate-001 (속도)
  • 비디오 생성: veo-3.1-generate-preview (오디오 포함 8초 클립)
  • 분석: gemini-2.5-flash (권장), gemini-2.5-pro (고급)

스크립트

  • gemini_batch_process.py: transcribe|analyze|extract|generate|generate-video 작업을 위한 CLI 오케스트레이터로, API 키를 자동으로 확인하고 작업별 적절한 기본 모델을 선택하며, 파일을 인라인 또는 File API로 스트리밍하고, 구조화된 출력(텍스트/JSON/CSV/마크다운 및 생성된 자산)을 Imagen 4 + Veo 워크플로우에 저장합니다.
  • media_optimizer.py: ffmpeg/Pillow 기반 사전 처리 도구로, 오디오, 이미지 및 비디오 입력을 압축/크기 조정/변환하고, 대상 크기/비트레이트를 적용하며, 긴 클립을 1시간 단위로 분할하고, 디렉토리를 일괄 처리하여 미디어가 Gemini 제한 내에 유지되도록 합니다.
  • document_converter.py: Gemini 기반 변환기로, PDF/이미지/Office 문서를 업로드하고, 마크다운을 유지하는 프롬프트를 적용하며, 여러 파일을 일괄 처리하고, docs/assets 아래에 자동으로 출력 파일 이름을 지정하며, 모델, 프롬프트, 자동 파일 이름 지정 및 상세 로깅을 위한 CLI 플래그를 제공합니다.
  • check_setup.py: 대화형 준비 상태 확인기로, 디렉토리 구조, 중앙 집중식 환경 변수 확인기, 필수 Python 종속성 및 GEMINI_API_KEY 가용성/형식을 확인한 후, 실제 Gemini API 호출을 수행하고 문제가 있을 경우 수정 지침을 출력합니다.

--help를 사용하여 옵션을 확인하세요.

참고 자료

자세한 안내는 다음을 참조하세요:

주제파일설명
음악references/music-generation.md배경 음악 생성을 위한 Lyria RealTime API, 스타일 프롬프트, 실시간 제어, 비디오 제작 통합.
오디오references/audio-processing.md오디오 형식 및 제한, 전사(타임스탬프, 화자, 세그먼트), 비음성 분석, File API vs 인라인 입력, TTS 모델, 모범 사례, 비용 및 토큰 계산, 구체적인 회의/팟캐스트/인터뷰 레시피.
이미지references/vision-understanding.md비전 기능 개요, 지원 형식 및 모델, 캡셔닝/분류/VQA, 감지 및 분할, OCR 및 문서 판독, 다중 이미지 워크플로우, 구조화된 JSON 출력, 토큰 비용, 모범 사례, 일반적인 제품/스크린샷/차트/장면 사용 사례.
이미지 생성references/image-generation.mdImagen 4 및 Gemini 이미지 모델 개요, generate_images vs generate_content API, 종횡비 및 비용, 텍스트/이미지/둘 다 모달, 편집 및 구성, 스타일 및 품질 제어, 안전 설정, 모범 사례, 문제 해결, 일반적인 마케팅/컨셉 아트/UI 시나리오.
비디오references/video-analysis.md비디오 분석 기능 및 지원 형식, 모델/컨텍스트 선택, 로컬/인라인/YouTube 입력, 클리핑 및 FPS 제어, 다중 비디오 비교, 시간적 Q&A 및 장면 감지, 시각적 컨텍스트를 포함한 전사, 토큰 및 비용 안내, 최적화/모범 사례 패턴.
비디오 생성references/video-generation.mdVeo 모델 매트릭스, 텍스트-투-비디오 및 이미지-투-비디오 빠른 시작, 다중 참조 및 확장 흐름, 카메라 및 타이밍 제어, 구성(해상도, 종횡비, 오디오, 안전), 프롬프트 디자인 패턴, 성능 팁, 제한 사항, 문제 해결, 비용 추정.

제한 사항

형식: 오디오(WAV/MP3/AAC, 9.5시간), 이미지(PNG/JPEG/WEBP, 3600개), 비디오(MP4/MOV, 6시간), PDF(1000페이지) 크기: 인라인 20MB, File API 2GB 중요:

  • 오디오 길이가 15분을 초과하는 경우, Gemini API 응답의 출력 토큰 제한으로 인해 전사가 종종 잘립니다. 전체 전사를 얻으려면 오디오를 더 작은 청크(청크당 최대 15분)로 분할하고 각 세그먼트를 전사해야 합니다.
  • 비디오 길이가 15분을 초과하는 경우, ffmpeg를 사용하여 비디오에서 오디오를 추출하고, 오디오를 15분으로 자르고, 모든 오디오 세그먼트를 전사한 다음 전사를 단일 전사로 결합하세요. 전사 출력 요구 사항:
  • 형식: 마크다운
  • 메타데이터: 길이, 파일 크기, 생성 날짜, 설명, 파일 이름, 다루는 주제 등
  • 부분: from-to (예: 00:00-00:15), 오디오 청크 이름, 전사, 상태 등
  • 전사 형식:
    [HH:MM:SS -> HH:MM:SS] 전사 내용
    [HH:MM:SS -> HH:MM:SS] 전사 내용
    ...
    

리소스

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry-data

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry-data

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry-data

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry-data

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry-data

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry-data

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry-data

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

majiayu000/claude-skill-registry-data

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry-data

Conduct market research on competition and customers. Use when the user says "create a market research report about [business idea]".

majiayu000/claude-skill-registry-data

Conduct technical research on technologies and architecture. Use when the user says "create a technical research report on [topic]".

majiayu000/claude-skill-registry-data

Understand an existing codebase through systematic exploration

majiayu000/claude-skill-registry-data

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

관련 스킬