Communitygithub.com

JantonioFC/skillsbank

Video- und Audiowahrnehmung, Indexierung und Bearbeitung. Erfasse Dateien/URLs/Livestreams, erstelle visuelle/gesprochene Indizes, suche mit Zeitstempeln, bearbeite Zeitachsen, füge Overlays/Untertitel hinzu, generiere Medien und erstelle Echtzeit-Benachrichtigungen.

Was ist skillsbank?

Dieses Skill, basierend auf dem VideoDB SDK, ermöglicht es KI-Agenten, Videodaten und Live-Streams als strukturierte, durchsuchbare und bearbeitbare Medien wahrzunehmen, zu indizieren und zu manipulieren. Es eignet sich besonders für Workflows wie die Erstellung von Desktop-Sitzungsprotokollen, die Indexierung von Videoinhalten für eine semantische oder zeitstempelbasierte Suche, die programmatische Bearbeitung von Zeitachsen mit Untertiteln, Overlays und Audio sowie die Überwachung von Live-RTSP-Streams mit Echtzeit-Benachrichtigungen. Die Plattform stellt eine Python-Schnittstelle (pip install videodb[capture]) zur Verfügung, die alle gängigen Medienverarbeitungsaufgaben serverseitig erledigt, sodass für Trimmen, Zusammenfügen, Untertitel, Transkodierung und Neurahmung keine lokalen Tools wie ffmpeg benötigt werden. Der Skill betont die korrekte Fehlerbehandlung (z.B. bereits vorhandene Indizes, leere Suchergebnisse) und die ordnungsgemäße Einrichtung des API-Schlüssels (VIDEO_DB_API_KEY).

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/JantonioFC/skillsbank/tree/HEAD/plugins/antigravity-awesome-skills-claude/skills/videodb

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

VideoDB Skill

Wahrnehmung + Gedächtnis + Aktionen für Videos, Livestreams und Desktop-Sitzungen.

Verwende dieses Skill, wenn du folgende Aufgaben hast:

Verwendungszweck

  • Du benötigst Video- oder Audio-Wahrnehmung, Indexierung, Suche oder Zeitachsenbearbeitung aus Dateien, URLs, Desktop-Sitzungen oder Livestreams.
  • Die Aufgabe umfasst Zeitstempel, durchsuchbare Beweise, Untertitel, Clips, Overlays oder Echtzeit-Überwachungsalarme.
  • Du möchtest einen einzigen Workflow, der Erfassung, Verständnis, Abruf und Medienaktionen kombiniert.

1) Desktop-Wahrnehmung

  • Starten/Stoppen einer Desktop-Sitzung mit Bildschirm-, Mikrofon- und Systemaudio-Aufnahme
  • Streamen von Live-Kontext und Speichern von episodischem Sitzungsgedächtnis
  • Ausführen von Echtzeit-Warnungen/Triggern basierend auf Gesprochenem und dem, was auf dem Bildschirm passiert
  • Erstellen von Sitzungszusammenfassungen, einer durchsuchbaren Zeitleiste und abspielbaren Beweislinks

2) Video-Erfassung + Stream

  • Erfassen einer Datei oder URL und Rückgabe eines abspielbaren Web-Stream-Links
  • Transkodieren/Normalisieren: Codec, Bitrate, fps, Auflösung, Seitenverhältnis

3) Indexierung + Suche (Zeitstempel + Beweise)

  • Erstellen von visuellen, gesprochenen und Schlüsselwort-Indizes
  • Suchen und Rückgabe exakter Momente mit Zeitstempeln und abspielbaren Beweisen
  • Automatisches Erstellen von Clips aus Suchergebnissen

4) Zeitachsenbearbeitung + Generierung

  • Untertitel: generieren, übersetzen, einbrennen
  • Overlays: Text/Bild/Branding, bewegte Untertitel
  • Audio: Hintergrundmusik, Voiceover, Dubben
  • Programmatische Komposition und Exporte über Zeitachsenoperationen

5) Livestreams (RTSP) + Überwachung

  • Verbinden von RTSP/Live-Feeds
  • Ausführen von Echtzeit-Visual- und Spracherkennung und Auslösen von Ereignissen/Warnungen für Überwachungs-Workflows

Häufige Eingaben

  • Lokaler Dateipfad, öffentliche URL oder RTSP-URL
  • Desktop-Erfassungsanfrage: starten / stoppen / Sitzung zusammenfassen
  • Gewünschte Operationen: Kontext für Verständnis abrufen, Transkodierspezifikation, Index-Spezifikation, Suchanfrage, Clip-Bereiche, Zeitachsenbearbeitung, Alarmregeln

Häufige Ausgaben

  • Stream-URL
  • Suchergebnisse mit Zeitstempeln und Beweislinks
  • Generierte Assets: Untertitel, Audio, Bilder, Clips
  • Ereignis-/Alarm-Payloads für Livestreams
  • Sitzungszusammenfassungen und Gedächtniseinträge

Beispielhafte Prompt-Formulierungen

  • "Starte die Desktop-Erfassung und alarmiere, wenn ein Passwortfeld erscheint."
  • "Zeichne meine Sitzung auf und erstelle eine umsetzbare Zusammenfassung, wenn sie endet."
  • "Erfasse diese Datei und gib einen abspielbaren Stream-Link zurück."
  • "Indiziere diesen Ordner und finde jede Szene mit Personen, gib die Zeitstempel zurück."
  • "Generiere Untertitel, brenne sie ein und füge leichte Hintergrundmusik hinzu."
  • "Verbinde diese RTSP-URL und alarmiere, wenn eine Person die Zone betritt."

Python-Code ausführen

Bevor du einen VideoDB-Code ausführst, wechsle in das Projektverzeichnis und lade die Umgebungsvariablen:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Dies liest VIDEO_DB_API_KEY aus:

  1. Umgebung (falls bereits exportiert)
  2. .env-Datei des Projekts im aktuellen Verzeichnis

Fehlt der Schlüssel, löst videodb.connect() automatisch einen AuthenticationError aus.

Schreibe KEINE Skriptdatei, wenn ein kurzer Inline-Befehl ausreicht.

Verwende bei Inline-Python (python -c "...") immer korrekt formatierten Code – verwende Semikolons, um Anweisungen zu trennen, und halte es lesbar. Für mehr als ~3 Anweisungen verwende stattdessen einen Heredoc:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Einrichtung

Wenn der Benutzer "videodb einrichten" oder ähnliches sagt:

1. SDK installieren

pip install "videodb[capture]" python-dotenv

Wenn videodb[capture] unter Linux fehlschlägt, installiere ohne das capture-Extra:

pip install videodb python-dotenv

2. API-Schlüssel konfigurieren

Der Benutzer muss VIDEO_DB_API_KEY mit einer der folgenden Methoden setzen:

  • In der Terminal-Umgebung exportieren (vor dem Start von Claude): export VIDEO_DB_API_KEY=dein-key
  • Projekt-.env-Datei: Speichere VIDEO_DB_API_KEY=dein-key in der .env-Datei des Projekts

Einen kostenlosen API-Schlüssel erhältst du unter https://console.videodb.io (50 kostenlose Uploads, keine Kreditkarte erforderlich).

Verwalte den API-Schlüssel NICHT selbst. Lass den Benutzer ihn immer selbst setzen.

Kurzreferenz

Medien hochladen

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Lokale Datei
video = coll.upload(file_path="/path/to/video.mp4")

Transkript + Untertitel

# force=True überspringt den Fehler, falls das Video bereits indiziert ist
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

In Videos suchen

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() löst InvalidRequestError aus, wenn keine Ergebnisse gefunden werden.
# Immer in try/except einwickeln und "No results found" als leeres Ergebnis behandeln.
try:
    results = video.search("product demo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Szenensuche

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() hat keinen force-Parameter – es löst einen Fehler aus, falls ein Szenenindex
# bereits existiert. Extrahiere die vorhandene Index-ID aus dem Fehler.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Beschreibe den visuellen Inhalt dieser Szene.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# Verwende score_threshold, um Rauschen mit geringer Relevanz herauszufiltern (empfohlen: 0.3+)
try:
    results = video.search(
        query="Person, die auf einem Whiteboard schreibt",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Zeitachsenbearbeitung

Wichtig: Validiere immer die Zeitstempel, bevor du eine Zeitachse erstellst:

  • start muss >= 0 sein (negative Werte werden stillschweigend akzeptiert, erzeugen aber defekte Ausgaben)
  • start muss < end sein
  • end muss <= video.length sein
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="The End", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Video transkodieren (Auflösungs-/Qualitätsänderung)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Server-seitige Änderung von Auflösung, Qualität oder Seitenverhältnis
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Seitenverhältnis anpassen (für soziale Plattformen)

Warnung: reframe() ist eine langsame Server-Operation. Bei langen Videos kann es mehrere Minuten dauern und zu Zeitüberschreitungen führen. Best Practices:

  • Beschränke den Vorgang nach Möglichkeit immer auf ein kurzes Segment mit start/end
  • Verwende für vollständige Videos callback_url für die asynchrone Verarbeitung
  • Schneide das Video zuerst auf einer Timeline zurecht und passe dann das Seitenverhältnis des kürzeren Ergebnisses an
from videodb import ReframeMode

# Bevorzugt ein kurzes Segment anpassen:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Asynchrone Anpassung für vollständige Videos (gibt None zurück, Ergebnis per Webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# Voreinstellungen: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Benutzerdefinierte Abmessungen
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Generative Medien

image = coll.generate_image(
    prompt="ein Sonnenuntergang über Bergen",
    aspect_ratio="16:9",
)

Fehlerbehandlung

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Überprüfe deinen VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Upload fehlgeschlagen: {e}")

Häufige Fallstricke

SzenarioFehlermeldungLösung
Indizieren eines bereits indizierten VideosSpoken word index for video already existsVerwende video.index_spoken_words(force=True), um zu überspringen, falls bereits indiziert
Szenenindex existiert bereitsScene index with id XXXX already existsExtrahiere die vorhandene scene_index_id aus dem Fehler mit re.search(r"id\s+([a-f0-9]+)", str(e))
Suche findet keine ÜbereinstimmungenInvalidRequestError: No results foundFange die Ausnahme ab und behandle sie als leeres Ergebnis (shots = [])
Zeitüberschreitung bei reframeBlockiert unbegrenzt bei langen VideosVerwende start/end, um das Segment zu begrenzen, oder übergib callback_url für asynchrone Verarbeitung
Negative Zeitstempel auf der TimelineErzeugt stillschweigend einen defekten StreamValidiere immer start >= 0, bevor du VideoAsset erstellst
generate_video() / create_collection() schlägt fehlOperation not allowed oder maximum limitFunktionen mit Tarifbeschränkung – informiere den Benutzer über die Tarifgrenzen

Zusätzliche Dokumentation

Die Referenzdokumentation befindet sich im Ordner reference/ neben dieser SKILL.md-Datei. Verwende das Glob-Tool, um sie bei Bedarf zu finden.

Bildschirmaufnahme (Desktop-Erfassung)

Verwende ws_listener.py, um WebSocket-Ereignisse während Aufnahmesitzungen zu erfassen. Die Desktop-Erfassung unterstützt nur macOS.

Kurzanleitung

  1. Listener starten: python scripts/ws_listener.py &
  2. WebSocket-ID abrufen: cat /tmp/videodb_ws_id
  3. Erfassungscode ausführen (siehe reference/capture.md für den vollständigen Workflow)
  4. Ereignisse werden geschrieben nach: /tmp/videodb_events.jsonl

Ereignisse abfragen

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# Alle Transkripte abrufen
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# Visuelle Beschreibungen der letzten 5 Minuten abrufen
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

Hilfsskripte

Den vollständigen Erfassungs-Workflow findest du unter reference/capture.md.

Verwende ffmpeg, moviepy oder lokale Codierungstools NICHT, wenn VideoDB die Operation unterstützt. Die folgenden werden alle server-seitig von VideoDB erledigt: Trimmen, Zusammenfügen von Clips, Überlagern von Audio oder Musik, Hinzufügen von Untertiteln, Text-/Bild-Overlays, Transkodieren, Auflösungsänderungen, Konvertierung des Seitenverhältnisses, Größenänderung für Plattformanforderungen, Transkription und Medienerzeugung. Verwende lokale Tools nur für Operationen, die unter „Einschränkungen“ in reference/editor.md aufgeführt sind (Übergänge, Geschwindigkeitsänderungen, Zuschneiden/Zoomen, Farbkorrektur, Lautstärkemischung).

Wann was verwenden

ProblemVideoDB-Lösung
Plattform lehnt das Seitenverhältnis oder die Auflösung des Videos abvideo.reframe() oder conn.transcode() mit VideoConfig
Video für Twitter/Instagram/TikTok zuschneidenvideo.reframe(target="vertical") oder target="square"
Auflösung ändern (z.B. 1080p → 720p)conn.transcode() mit VideoConfig(resolution=720)
Audio/Musik über Video legenAudioAsset auf einer Timeline
Untertitel hinzufügenvideo.add_subtitle() oder CaptionAsset
Clips kombinieren/trimmenVideoAsset auf einer Timeline
Voiceover, Musik oder Soundeffekte generierencoll.generate_voice(), generate_music(), generate_sound_effect()

Repository

https://github.com/video-db/skills

Gepflegt von: VideoDB

Einschränkungen

  • Verwende dieses Skill nur, wenn die Aufgabe eindeutig dem oben beschriebenen Umfang entspricht.
  • Behandle die Ausgabe nicht als Ersatz für umgebungsspezifische Validierung, Tests oder Expertenüberprüfung.
  • Frage nach und bitte um Klärung, wenn erforderliche Eingaben, Berechtigungen, Sicherheitsgrenzen oder Erfolgskriterien fehlen.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

JantonioFC/skillsbank

AI-powered image editing with style transfer and object removal

JantonioFC/skillsbank

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

JantonioFC/skillsbank

Analise e auditoria de editais de leilao judicial e extrajudicial. Riscos ocultos, clausulas perigosas, debitos, ocupante e classificacao da oportunidade.

JantonioFC/skillsbank

Embed Photopea in web apps using photopea.js. Covers embedding, file I/O, scripting, exporting, layers, text, filters, and the full Photoshop-compatible API.

JantonioFC/skillsbank

Best practices for Remotion - Video creation in React

JantonioFC/skillsbank

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

JantonioFC/skillsbank

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

JantonioFC/skillsbank

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

JantonioFC/skillsbank

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

JantonioFC/skillsbank

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

JantonioFC/skillsbank

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

JantonioFC/skillsbank

Tool lifecycle UI components for React/Next.js from ui.inference.sh. Display tool calls: pending, progress, approval required, results. Capabilities: tool status, progress indicators, approval flows, results display. Use for: showing agent tool calls, human-in-the-loop approvals, tool output. Triggers: tool ui, tool calls, tool status, tool approval, tool results, agent tools, mcp tools ui, function calling ui, tool lifecycle, tool pending

JantonioFC/skillsbank

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

JantonioFC/skillsbank

When the user wants help with paid advertising campaigns on Google Ads, Meta (Facebook/Instagram), LinkedIn, Twitter/X, or other ad platforms. Also use when the user mentions 'PPC,' 'paid media,' 'ROAS,' 'CPA,' 'ad campaign,' 'retargeting,' 'audience targeting,' 'Google Ads,' 'Facebook ads,'...

JantonioFC/skillsbank

Create AI avatar and talking head videos with OmniHuman, Fabric, PixVerse via inference.sh CLI. Models: OmniHuman 1.5, OmniHuman 1.0, Fabric 1.0, PixVerse Lipsync. Capabilities: audio-driven avatars, lipsync videos, talking head generation, virtual presenters. Use for: AI presenters, expla...

JantonioFC/skillsbank

Create AI marketing videos for ads, promos, product launches, and brand content. Models: Veo, Seedance, Wan, FLUX for visuals, Kokoro for voiceover. Types: product demos, testimonials, explainers, social ads, brand videos. Use for: Facebook ads, YouTube ads, product launches, brand awarene...

JantonioFC/skillsbank

Generate AI videos with Google Veo, Seedance, Wan, Grok and 40+ models via inference.sh CLI. Models: Veo 3.1, Veo 3, Seedance 1.5 Pro, Wan 2.5, Grok Imagine Video, OmniHuman, Fabric, HunyuanVideo. Capabilities: text-to-video, image-to-video, lipsync, avatar animation, video upscaling, fole...

JantonioFC/skillsbank

Production-ready CI/CD configurations for Playwright — GitHub Actions, GitLab CI, CircleCI, Azure DevOps, Jenkins, Docker, parallel sharding, reporting, code coverage, and global setup/teardown.

JantonioFC/skillsbank

Next.js 16+ and Turbopack — incremental bundling, FS caching, dev speed, and when to use Turbopack vs webpack.

JantonioFC/skillsbank

You are an expert copy editor specializing in marketing and conversion copy. Your goal is to systematically improve existing copy through focused editing passes while preserving the core message.

Verwandte Skills