Communitygithub.com

AI Multimodal

Analysiere Bilder/Audio/Video mit der Gemini-API (bessere Bilderkennung als Claude). Generiere Bilder (Imagen 4), Videos (Veo 3). Nutzbar für Bildanalyse, Transkription, OCR, Designextraktion und multimodale KI.

Was ist AI Multimodal?

Dieses Skill bietet einen umfassenden Zugang zu Googles multimodaler Gemini-API direkt aus der Kommandozeile oder dem AI-Agenten heraus. Es ermöglicht die Analyse von Audio, Bildern, Videos und Dokumenten sowie die Generierung von Bildern (Imagen 4) und Videos (Veo 3). Der Hauptvorteil liegt in der besseren visuellen Wahrnehmung im Vergleich zu Claude und der Fähigkeit, Medieninhalte zu transkribieren, zu analysieren und zu extrahieren. Das Skill unterstützt verschiedene Plattformen wie Claude Code, Cursor und Codex und stellt eine Reihe von Python-Skripten bereit, die Aufgaben wie das Batch-Verarbeiten von Dateien, das Optimieren von Medien und das Konvertieren von Dokumenten automatisieren. Es verwaltet API-Keys mit Rotation, bietet voreingestellte Modelle für verschiedene Aufgaben und erzeugt strukturierte Ausgaben (Text, JSON, CSV, Markdown). Die Nutzung ist einfach über den Befehl `gemini` oder direkt über die bereitgestellten Skripte möglich.

Funktioniert mit✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/majiayu000/claude-skill-registry/tree/HEAD/skills/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht AI Multimodal?

Verarbeite Audio, Bilder, Videos und Dokumente und generiere Bilder/Videos mit der multimodalen API von Google Gemini.

Einrichtung

export GEMINI_API_KEY="dein-schlüssel"  # Holen unter https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow

API-Key-Rotation (Optional)

Für hohe Nutzung oder bei Erreichen von Ratenlimits können mehrere API-Keys konfiguriert werden:

# Primärer Schlüssel (erforderlich)
export GEMINI_API_KEY="key1"

# Zusätzliche Schlüssel für Rotation (optional)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

Oder in deiner .env-Datei:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

Funktionen:

  • Automatische Rotation bei Ratenlimit-Fehlern (429/RESOURCE_EXHAUSTED)
  • 60-Sekunden-Abkühlung pro Schlüssel nach Erreichen des Limits
  • Protokollierung von Rotationsereignissen mit --verbose-Flag
  • Abwärtskompatibel: Ein einzelner Schlüssel funktioniert weiterhin

Schnellstart

Einrichtung überprüfen: python scripts/check_setup.py Medien analysieren: python scripts/gemini_batch_process.py --files <datei> --task <analyze|transcribe|extract>

  • TIPP: Wenn du gebeten wirst, ein Bild zu analysieren, überprüfe, ob der Befehl gemini verfügbar ist, und verwende dann echo "<prompt zum analysieren des bildes>" | gemini -y -m <gemini.model> (Modell aus .claude/.ck.json lesen: gemini.model). Falls gemini nicht verfügbar ist, verwende den Befehl python scripts/gemini_batch_process.py --files <datei> --task analyze. Inhalte generieren: python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "beschreibung"

Stdin-Unterstützung: Du kannst Dateien direkt über stdin weiterleiten (erkennt automatisch PNG/JPG/PDF/WAV/MP3).

  • cat bild.png | python scripts/gemini_batch_process.py --task analyze --prompt "Beschreibe dies"
  • python scripts/gemini_batch_process.py --files bild.png --task analyze (traditionell)

Modelle

  • Bildgenerierung: imagen-4.0-generate-001 (Standard), imagen-4.0-ultra-generate-001 (Qualität), imagen-4.0-fast-generate-001 (Geschwindigkeit)
  • Videogenerierung: veo-3.1-generate-preview (8-Sekunden-Clips mit Audio)
  • Analyse: gemini-2.5-flash (empfohlen), gemini-2.5-pro (fortgeschritten)

Skripte

  • gemini_batch_process.py: CLI-Orchestrator für transcribe|analyze|extract|generate|generate-video, der automatisch API-Keys auflöst, sinnvolle Standardmodelle pro Aufgabe auswählt, Dateien inline vs. File API streamt und strukturierte Ausgaben (Text/JSON/CSV/Markdown sowie generierte Assets) für Imagen 4- und Veo-Workflows speichert.
  • media_optimizer.py: ffmpeg/Pillow-basiertes Vorverarbeitungstool, das Audio-, Bild- und Videoeingaben komprimiert/skaliert/konvertiert, Zielgrößen/Bitraten einhält, lange Clips in Stundenblöcke aufteilt und Verzeichnisse stapelweise verarbeitet, damit Medien innerhalb der Gemini-Limits bleiben.
  • document_converter.py: Gemini-gestützter Konverter, der PDFs/Bilder/Office-Dokumente hochlädt, einen markdown-erhaltenden Prompt anwendet, mehrere Dateien stapelt, Ausgaben automatisch unter docs/assets benennt und CLI-Flags für Modell, Prompt, automatische Dateibenennung und ausführliche Protokollierung bereitstellt.
  • check_setup.py: Interaktiver Bereitschaftsprüfer, der Verzeichnislayout, zentralen Umgebungsvariablen-Auflöser, erforderliche Python-Abhängigkeiten und Verfügbarkeit/Format des GEMINI_API_KEY überprüft, dann einen Live-Gemini-API-Aufruf durchführt und bei Fehlern Korrekturanweisungen ausgibt.

Verwende --help für Optionen.

Referenzen

Lade für detaillierte Anleitungen:

ThemaDateiBeschreibung
Musikreferences/music-generation.mdLyria RealTime API zur Hintergrundmusikgenerierung, Stil-Prompts, Echtzeitsteuerung, Integration in die Videoproduktion.
Audioreferences/audio-processing.mdAudioformate und -limits, Transkription (Zeitstempel, Sprecher, Segmente), Nicht-Sprach-Analyse, File API vs. Inline-Eingabe, TTS-Modelle, Best Practices, Kosten- und Token-Berechnung, konkrete Rezepte für Meetings/Podcasts/Interviews.
Bilderreferences/vision-understanding.mdÜberblick über die visuellen Fähigkeiten, unterstützte Formate und Modelle, Captioning/Klassifikation/VQA, Erkennung und Segmentierung, OCR und Dokumentenlesen, Multi-Image-Workflows, strukturierte JSON-Ausgabe, Tokenkosten, Best Practices und häufige Anwendungsfälle für Produkte/Screenshots/Diagramme/Szenen.
Bildgen.references/image-generation.mdÜberblick über Imagen 4 und Gemini-Bildmodelle, generate_images vs. generate_content APIs, Seitenverhältnisse und Kosten, Text/Bild/beide Modalitäten, Bearbeitung und Komposition, Stil- und Qualitätskontrolle, Sicherheitseinstellungen, Best Practices, Fehlerbehebung und häufige Szenarien für Marketing/Konzeptkunst/UI.
Videoreferences/video-analysis.mdAnalysefähigkeiten für Videos und unterstützte Formate, Modell-/Kontextauswahl, lokale/Inline/YouTube-Eingaben, Clipping und FPS-Steuerung, Multivideo-Vergleich, zeitliche Frage-Antwort- und Szenenerkennung, Transkription mit visuellem Kontext, Token- und Kostenrichtlinien und Optimierungs-/Best-Practice-Muster.
Videogen.references/video-generation.mdVeo-Modellmatrix, Text-zu-Video und Bild-zu-Video Schnellstart, Multi-Referenz- und Erweiterungsflüsse, Kamera- und Zeitsteuerung, Konfiguration (Auflösung, Seitenverhältnis, Audio, Sicherheit), Prompt-Design-Muster, Leistungstipps, Einschränkungen, Fehlerbehebung und Kostenschätzungen.

Limits

Formate: Audio (WAV/MP3/AAC, 9,5h), Bilder (PNG/JPEG/WEBP, 3.600), Video (MP4/MOV, 6h), PDF (1.000 Seiten) Größe: 20MB inline, 2GB File API Wichtig:

  • Wenn du ein Transkript des Audios erstellen möchtest und die Audiolänge länger als 15 Minuten ist, wird das Transkript aufgrund der Ausgabe-Token-Limits in der Gemini-API-Antwort oft abgeschnitten. Um das vollständige Transkript zu erhalten, musst du das Audio in kleinere Blöcke (max. 15 Minuten pro Block) aufteilen und jedes Segment für ein vollständiges Transkript transkribieren.
  • Wenn du ein Transkript des Videos erstellen möchtest und die Videolänge länger als 15 Minuten ist, verwende ffmpeg, um das Audio aus dem Video zu extrahieren, das Audio auf 15 Minuten zu kürzen, alle Audio-Segmente zu transkribieren und dann die Transkripte zu einem einzigen Transkript zusammenzuführen. Transkriptionsausgabe-Anforderungen:
  • Format: Markdown
  • Metadaten: Dauer, Dateigröße, Erstellungsdatum, Beschreibung, Dateiname, behandelte Themen usw.
  • Teile: von-bis (z.B. 00:00-00:15), Audio-Chunk-Name, Transkript, Status usw.
  • Transkriptformat:
    [HH:MM:SS -> HH:MM:SS] Transkriptinhalt
    [HH:MM:SS -> HH:MM:SS] Transkriptinhalt
    ...
    

Ressourcen

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry

BlockRun works with Claude Code and Google Antigravity.

majiayu000/claude-skill-registry

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry

CRITICAL: Use for MolyKit AI chat toolkit. Triggers on: BotClient, OpenAI, SSE streaming, AI chat, molykit, PlatformSend, spawn(), ThreadToken, cross-platform async, Chat widget, Messages, PromptInput, Avatar, LLM

majiayu000/claude-skill-registry

AI and machine learning workflow covering LLM application development, RAG implementation, agent architecture, ML pipelines, and AI-powered features.

majiayu000/claude-skill-registry

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

Verwandte Skills