Communitygithub.com

KI Multimodal

Analysiere Bilder/Audio/Video mit der Gemini API (bessere Sicht als Claude). Generiere Bilder (Imagen 4), Videos (Veo 3). Nutze es für Bildanalyse, Transkription, OCR, Designextraktion, multimodale KI.

Was ist KI Multimodal?

Dieses Skill ermöglicht die Verarbeitung und Analyse von Audio-, Bild-, Video- und Dokumentdateien sowie die Generierung von Bildern und Videos über die multimodale Gemini API von Google. Es unterstützt Plattformen wie Claude Code, Cursor und Codex und bietet Skripte zur Stapelverarbeitung, Medienoptimierung und Dokumentenkonvertierung. Das Skill automatisiert die API-Key-Rotation bei Drosselungsfehlern, erkennt automatisch das passende Modell für jede Aufgabe und kann Dateien sowohl über die Befehlszeile als auch über die Standardeingabe verarbeiten. Es ist besonders nützlich für Transkriptionen langer Audio- oder Videodateien (durch automatische Aufteilung in 15-Minuten-Chunks), für die OCR- und Designextraktion aus Bildern sowie für die Generierung hochwertiger Bilder mit Imagen 4 und kurzer Videoclips mit Veo 3.

Funktioniert mit✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/majiayu000/claude-skill-registry-data/tree/HEAD/ai-ml/ai-multimodal-hoanghd218-landing-page-ai-kien

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht KI Multimodal?

Verarbeite Audio-, Bild-, Video- und Dokumentdateien und generiere Bilder/Videos mithilfe der multimodalen API von Google Gemini.

Einrichtung

export GEMINI_API_KEY="dein-schlüssel"  # Holen unter https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow

API-Key-Rotation (Optional)

Für hohes Aufkommen oder bei Erreichen von Ratenlimits können mehrere API-Keys konfiguriert werden:

# Primärer Schlüssel (erforderlich)
export GEMINI_API_KEY="key1"

# Zusätzliche Schlüssel für Rotation (optional)
export GEMINI_API_KEY_2="key2"
export GEMINI_API_KEY_3="key3"

Oder in deiner .env-Datei:

GEMINI_API_KEY=key1
GEMINI_API_KEY_2=key2
GEMINI_API_KEY_3=key3

Funktionen:

  • Automatische Rotation bei Ratenlimit-Fehlern (429/RESOURCE_EXHAUSTED)
  • 60-Sekunden-Abklingzeit pro Key nach Ratenlimit
  • Protokolliert Rotationsereignisse mit --verbose-Flag
  • Abwärtskompatibel: Ein einzelner Key funktioniert weiterhin

Schnellstart

Einrichtung prüfen: python scripts/check_setup.py Medien analysieren: python scripts/gemini_batch_process.py --files <datei> --task <analyze|transcribe|extract>

  • TIPP: Wenn du aufgefordert wirst, ein Bild zu analysieren, prüfe, ob der Befehl gemini verfügbar ist, und verwende dann echo "<aufforderung zum Analysieren des Bildes>" | gemini -y -m <gemini.model> (Modell aus .claude/.ck.json lesen: gemini.model). Falls der Befehl gemini nicht verfügbar ist, verwende python scripts/gemini_batch_process.py --files <datei> --task analyze. Inhalte generieren: python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "beschreibung"

Stdin-Unterstützung: Du kannst Dateien direkt über die Standardeingabe weiterleiten (erkennt automatisch PNG/JPG/PDF/WAV/MP3).

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Beschreibe dies"
  • python scripts/gemini_batch_process.py --files image.png --task analyze (traditionell)

Modelle

  • Bildgenerierung: imagen-4.0-generate-001 (Standard), imagen-4.0-ultra-generate-001 (Qualität), imagen-4.0-fast-generate-001 (Geschwindigkeit)
  • Videogenerierung: veo-3.1-generate-preview (8-Sekunden-Clips mit Audio)
  • Analyse: gemini-2.5-flash (empfohlen), gemini-2.5-pro (fortgeschritten)

Skripte

  • gemini_batch_process.py: CLI-Orchestrator für transcribe|analyze|extract|generate|generate-video, der API-Keys automatisch auflöst, sinnvolle Standardmodelle pro Aufgabe wählt, Dateien inline vs. File API streamt und strukturierte Ausgaben (Text/JSON/CSV/Markdown sowie generierte Assets) für Imagen 4 + Veo-Workflows speichert.
  • media_optimizer.py: ffmpeg/Pillow-basiertes Vorbereitungstool, das Audio-, Bild- und Videoeingaben komprimiert/skaliert/konvertiert, Zielgrößen/Bitraten erzwingt, lange Clips in Stunden-Chunks aufteilt und Verzeichnisse stapelverarbeitet, damit Medien innerhalb der Gemini-Limits bleiben.
  • document_converter.py: Gemini-gestützter Konverter, der PDFs/Bilder/Office-Dokumente hochlädt, eine Markdown-erhaltende Aufforderung anwendet, mehrere Dateien stapelt, Ausgaben automatisch unter docs/assets benennt und CLI-Flags für Modell, Aufforderung, automatische Dateibenennung und ausführliche Protokollierung bereitstellt.
  • check_setup.py: Interaktives Bereitschaftsprüfprogramm, das die Verzeichnisstruktur, den zentralisierten Umgebungsvariablen-Auflöser, die erforderlichen Python-Abhängigkeiten und die Verfügbarkeit/Format von GEMINI_API_KEY überprüft, dann einen Live-Gemini-API-Aufruf durchführt und bei Fehlern Korrekturanweisungen ausgibt.

Verwende --help für Optionen.

Referenzen

Lade für detaillierte Anleitungen:

ThemaDateiBeschreibung
Musikreferences/music-generation.mdLyria RealTime API zur Hintergrundmusikgenerierung, Stilaufforderungen, Echtzeitsteuerung, Integration mit Videoproduktion.
Audioreferences/audio-processing.mdAudioformate und -limits, Transkription (Zeitstempel, Sprecher, Segmente), Nicht-Sprach-Analyse, File API vs. Inline-Eingabe, TTS-Modelle, bewährte Verfahren, Kosten- und Token-Mathematik und konkrete Rezepte für Meetings/Podcasts/Interviews.
Bilderreferences/vision-understanding.mdÜbersicht über Vision-Funktionen, unterstützte Formate und Modelle, Beschriftung/Klassifizierung/VQA, Erkennung und Segmentierung, OCR und Dokumentenlesen, Multi-Image-Workflows, strukturierte JSON-Ausgabe, Token-Kosten, bewährte Verfahren und häufige Anwendungsfälle für Produkte/Screenshots/Diagramme/Szenen.
Bild Genreferences/image-generation.mdÜbersicht über Imagen 4- und Gemini-Bildmodelle, generate_images vs. generate_content-APIs, Seitenverhältnisse und Kosten, Text/Bild/beide Modalitäten, Bearbeitung und Komposition, Stil- und Qualitätskontrolle, Sicherheitseinstellungen, bewährte Methoden, Fehlerbehebung und häufige Szenarien für Marketing/Konzeptkunst/Benutzeroberfläche.
Videoreferences/video-analysis.mdVideofunktionen und unterstützte Formate, Modell-/Kontextauswahl, lokale/Inline/YouTube-Eingaben, Clipping und FPS-Steuerung, Multi-Video-Vergleich, zeitliche Fragen/Antworten und Szenenerkennung, Transkription mit visuellem Kontext, Token- und Kostenberatung sowie Optimierungs-/Best-Practice-Muster.
Video Genreferences/video-generation.mdVeo-Modellmatrix, Schnellstart für Text-zu-Video und Bild-zu-Video, Multi-Referenz- und Erweiterungsabläufe, Kamera- und Zeitsteuerung, Konfiguration (Auflösung, Seitenverhältnis, Audio, Sicherheit), Aufforderungsdesignmuster, Leistungstipps, Einschränkungen, Fehlerbehebung und Kostenschätzungen.

Limits

Formate: Audio (WAV/MP3/AAC, 9,5h), Bilder (PNG/JPEG/WEBP, 3,6k), Video (MP4/MOV, 6h), PDF (1.000 Seiten) Größe: 20 MB inline, 2 GB File API Wichtig:

  • Wenn du ein Transkript des Audios erstellen möchtest und die Audiolänge länger als 15 Minuten beträgt, wird das Transkript aufgrund der Ausgabe-Token-Limits in der Gemini-API-Antwort oft abgeschnitten. Um das vollständige Transkript zu erhalten, musst du das Audio in kleinere Blöcke (maximal 15 Minuten pro Block) aufteilen und jedes Segment für ein vollständiges Transkript transkribieren.
  • Wenn du ein Transkript des Videos erstellen möchtest und die Videolänge länger als 15 Minuten beträgt, verwende ffmpeg, um das Audio aus dem Video zu extrahieren, kürze das Audio auf 15 Minuten, transkribiere alle Audiosegmente und kombiniere dann die Transkripte zu einem einzigen Transkript. Transkriptionsausgabe-Anforderungen:
  • Format: Markdown
  • Metadaten: Dauer, Dateigröße, Generierungsdatum, Beschreibung, Dateiname, behandelte Themen usw.
  • Teile: von-bis (z. B. 00:00-00:15), Audioblock-Name, Transkript, Status usw.
  • Transkriptformat:
    [HH:MM:SS -> HH:MM:SS] Transkriptinhalt
    [HH:MM:SS -> HH:MM:SS] Transkriptinhalt
    ...
    

Ressourcen

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD agents while maintaining compliance

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Edit existing BMAD modules while maintaining coherence

majiayu000/claude-skill-registry-data

Analyzes current state and user query to answer BMad questions or recommend the next workflow or agent. Use when user says what should I do next, what do I do now, or asks a question about BMad

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Build AI agents with Google ADK Python (Agent Development Kit). Use for multi-agent systems, workflow agents (sequential/parallel/loop), Vertex AI deployment, tool integration, human-in-the-loop.

majiayu000/claude-skill-registry-data

Portfolio allocation and rebalancing optimizer. Manages asset allocation across stocks/cash/bonds, performs periodic rebalancing, and ensures diversification according to market regime and risk tolerance.

majiayu000/claude-skill-registry-data

Create a hilarious and ultra-realistic video of an anthropomorphic animal acting like a human vlogger in a real-world setting.

majiayu000/claude-skill-registry-data

Speech-to-text transcription and translation via OpenAI Audio API -- models, response formats, timestamps, prompting, streaming, chunking, and diarization

majiayu000/claude-skill-registry-data

This skill should be used when the user asks about libraries, frameworks, API references, or needs code examples. Activates for setup questions, code generation involving libraries, or mentions of specific frameworks like React, Vue, Next.js, Prisma, Supabase, etc.

majiayu000/claude-skill-registry-data

小省导购员数字人带货版即梦视频提示词生成系统,基于四大智能体协同(提示词生成师、质量管控师、知识库运维师、跨环节适配师),按照"主体+运动+场景+(镜头语言+光影+氛围)"公式输出中英文双版提示词,适配5s短视频。确保人物一致性、视觉连贯性、情绪连贯性,支持知识库智能复用和跨工具适配(Suno音乐、AI绘画),为数字人带货视频提供高质量提示词生成服务。

majiayu000/claude-skill-registry-data

Upload and manage files using Google Gemini File API via scripts/. Use for uploading images, audio, video, PDFs, and other files for use with Gemini models. Supports file upload, status checking, and file management. Triggers on "upload file", "file API", "upload image", "upload PDF", "upload video", "file management".

majiayu000/claude-skill-registry-data

Analyze images/audio/video with Gemini API (better vision than Claude). Generate images (Imagen 4), videos (Veo 3). Use for vision analysis, transcription, OCR, design extraction, multimodal AI.

majiayu000/claude-skill-registry-data

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

majiayu000/claude-skill-registry-data

Conduct domain and industry research. Use when the user says "lets create a research report on [domain or industry]

majiayu000/claude-skill-registry-data

Conduct market research on competition and customers. Use when the user says "create a market research report about [business idea]".

majiayu000/claude-skill-registry-data

Conduct technical research on technologies and architecture. Use when the user says "create a technical research report on [topic]".

majiayu000/claude-skill-registry-data

Understand an existing codebase through systematic exploration

majiayu000/claude-skill-registry-data

Builds, edit or validate Agent Skill through conversational discovery. Use when the user requests to "Create an Agent", "Optimize an Agent" or "Edit an Agent".

Verwandte Skills