Communitygithub.com

VideoDB Skill

Videoinhalte sehen, verstehen und bearbeiten: Von lokalen Dateien, URLs, RTSP-Live-Feeds oder Desktop-Aufzeichnungen – mit Echtzeit-Kontext und abspielbaren Stream-Links.

Was ist VideoDB Skill?

Dieses Skill für KI-Agenten wie Claude Code, Cursor oder Codex ermöglicht die umfassende Arbeit mit Video und Audio. Es deckt die gesamte Pipeline ab: Erfassung (lokal, URL, RTSP-Live-Stream, Desktop-Bildschirmaufnahme), Verständnis (Extraktion von Frames, Erstellung visueller, semantischer und zeitlicher Indizes, Suche nach Szenen mit Zeitstempeln und automatischen Clips) sowie Aktionen (Transkodierung/Normalisierung von Codec, fps, Auflösung und Seitenverhältnis; Timeline-Bearbeitung mit Untertiteln, Text-/Bild-Overlays, Branding, Audio-Overlays, Dubbing, Übersetzung; Generierung von Bild-, Audio- und Video-Assets und Echtzeit-Warnungen bei Live-Streams oder Desktop-Mitschnitten). Der Entwickler erhält eine Python-SDK-Schnittstelle (`videodb`), einfache Einrichtung mit API-Key und umfangreiche Fehlerbehandlung. Es vermeidet lokale Tools wie ffmpeg, solange VideoDB dies server-seitig unterstützt – was für die meisten gängigen Operationen der Fall ist.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Cody-W-Tucker/skills/tree/HEAD/skills/videodb

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht VideoDB Skill?

Wahrnehmung + Gedächtnis + Aktionen für Video, Live-Streams und Desktop-Sitzungen.

Verwendung

Desktop-Wahrnehmung

  • Desktop-Sitzung starten/stoppen, die Bildschirm, Mikrofon und Systemaudio erfasst
  • Live-Kontext streamen und episodisches Sitzungsgedächtnis speichern
  • Echtzeit-Warnungen/Trigger auslösen bei Gesprochenem und Geschehenem auf dem Bildschirm
  • Sitzungszusammenfassungen, eine durchsuchbare Zeitleiste und abspielbare Beweislinks erstellen

Video-Import + Stream

  • Datei oder URL importieren und einen abspielbaren Web-Stream-Link zurückgeben
  • Transkodieren/normalisieren: Codec, Bitrate, fps, Auflösung, Seitenverhältnis

Indizierung + Suche (Zeitstempel + Beweise)

  • Visuelle, gesprochene und Stichwort-Indizes erstellen
  • Suchen und exakte Momente mit Zeitstempeln und abspielbaren Beweisen zurückgeben
  • Automatisch Clips aus Suchergebnissen erstellen

Timeline-Bearbeitung + Generierung

  • Untertitel: generieren, übersetzen, einbrennen
  • Overlays: Text/Bild/Branding, Bewegungsuntertitel
  • Audio: Hintergrundmusik, Voiceover, Dubbing
  • Programmatische Komposition und Export via Timeline-Operationen

Live-Streams (RTSP) + Überwachung

  • RTSP-/Live-Feeds verbinden
  • Echtzeit-Visual- und Spracherkennung ausführen und Ereignisse/Warnungen für Überwachungs-Workflows ausgeben

Funktionsweise

Übliche Eingaben

  • Lokaler Dateipfad, öffentliche URL oder RTSP-URL
  • Desktop-Aufzeichnungsanfrage: Sitzung starten / stoppen / zusammenfassen
  • Gewünschte Operationen: Kontext zum Verständnis, Transkodierspezifikation, Indexspezifikation, Suchabfrage, Clip-Bereiche, Timeline-Bearbeitungen, Alarmregeln

Übliche Ausgaben

  • Stream-URL
  • Suchergebnisse mit Zeitstempeln und Beweislinks
  • Generierte Assets: Untertitel, Audio, Bilder, Clips
  • Ereignis-/Alarm-Payloads für Live-Streams
  • Desktop-Sitzungszusammenfassungen und Gedächtniseinträge

Python-Code ausführen

Vor dem Ausführen von VideoDB-Code in das Projektverzeichnis wechseln und Umgebungsvariablen laden:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Dies liest VIDEO_DB_API_KEY aus:

  1. Umgebung (falls bereits exportiert)
  2. .env-Datei des Projekts im aktuellen Verzeichnis

Fehlt der Schlüssel, löst videodb.connect() automatisch einen AuthenticationError aus.

Schreiben Sie KEINE Skriptdatei, wenn ein kurzer Inline-Befehl genügt.

Bei Inline-Python (python -c "...") immer korrekt formatierten Code verwenden – Semikolons zur Trennung von Anweisungen und lesbar halten. Bei mehr als ~3 Anweisungen stattdessen einen Heredoc verwenden:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Einrichtung

Wenn der Benutzer „videodb einrichten“ oder ähnlich sagt:

1. SDK installieren

pip install "videodb[capture]" python-dotenv

Falls videodb[capture] unter Linux fehlschlägt, ohne das capture-Extra installieren:

pip install videodb python-dotenv

2. API-Key konfigurieren

Der Benutzer muss VIDEO_DB_API_KEY mit einer dieser Methoden setzen:

  • Im Terminal exportieren (vor dem Start von Claude): export VIDEO_DB_API_KEY=ihr-key
  • Projekt-.env-Datei: VIDEO_DB_API_KEY=ihr-key in der .env-Datei des Projekts speichern

Einen kostenlosen API-Key unter console.videodb.io holen (50 kostenlose Uploads, keine Kreditkarte).

Den API-Key NICHT selbst lesen, schreiben oder verarbeiten. Immer den Benutzer einstellen lassen.

Kurzreferenz

Medien hochladen

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Lokale Datei
video = coll.upload(file_path="/pfad/zu/video.mp4")

Transkript + Untertitel

# force=True überspringt den Fehler, wenn das Video bereits indiziert ist
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

In Videos suchen

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() löst InvalidRequestError aus, wenn keine Ergebnisse gefunden werden.
# Immer in try/except packen und „No results found“ als leeres Ergebnis behandeln.
try:
    results = video.search("Produktdemo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Szenensuche

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() hat keinen force-Parameter – es löst einen Fehler aus, falls ein
# Szenenindex bereits existiert. Die vorhandene Index-ID aus dem Fehler extrahieren.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Beschreibe den visuellen Inhalt dieser Szene.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# score_threshold verwenden, um Rauschen mit niedriger Relevanz zu filtern (empfohlen: 0,3+)
try:
    results = video.search(
        query="Person, die auf ein Whiteboard schreibt",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Timeline-Bearbeitung

Wichtig: Vor dem Erstellen einer Timeline immer Zeitstempel validieren:

  • start muss >= 0 sein (negative Werte werden still akzeptiert, erzeugen aber fehlerhafte Ausgabe)
  • start muss < end sein
  • end muss <= video.length sein
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="Ende", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Video transkodieren (Auflösung/Qualität ändern)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Auflösung, Qualität oder Seitenverhältnis serverseitig ändern
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Seitenverhältnis ändern (für soziale Plattformen)

Warnung: reframe() ist eine langsame serverseitige Operation. Bei langen Videos kann es mehrere Minuten dauern und ein Timeout verursachen. Best Practices:

  • Wenn möglich, immer auf ein kurzes Segment mit start/end beschränken
  • Bei vollständigen Videos callback_url für asynchrone Verarbeitung verwenden
  • Video zuerst auf einer Timeline zuschneiden, dann das kürzere Ergebnis reframen
from videodb import ReframeMode

# Immer ein kurzes Segment reframen:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Asynchrones Reframe für vollständige Videos (gibt None zurück, Ergebnis via Webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# Voreinstellungen: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Benutzerdefinierte Abmessungen
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Generative Medien

image = coll.generate_image(
    prompt="ein Sonnenuntergang über Bergen",
    aspect_ratio="16:9",
)

Fehlerbehandlung

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Überprüfen Sie Ihren VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Upload fehlgeschlagen: {e}")

Häufige Fallstricke

SzenarioFehlermeldungLösung
Indizieren eines bereits indizierten VideosSpoken word index for video already existsvideo.index_spoken_words(force=True) verwenden, um zu überspringen
Szenenindex existiert bereitsScene index with id XXXX already existsVorhandene scene_index_id aus dem Fehler extrahieren mit re.search(r"id\s+([a-f0-9]+)", str(e))
Suche findet keine TrefferInvalidRequestError: No results foundException abfangen und als leeres Ergebnis behandeln (shots = [])
Reframe-ZeitüberschreitungBlockiert bei langen Videos unbegrenztSegment mit start/end eingrenzen oder callback_url für asynchrone Verarbeitung
Negative Zeitstempel auf TimelineErzeugt stillschweigend defekten StreamVor Erstellung von VideoAsset immer start >= 0 validieren
generate_video() / create_collection() schlägt fehlOperation not allowed oder maximum limitPlanabhängige Funktionen – Benutzer über Planlimits informieren

Beispiele

Kanonische Aufforderungen

  • „Desktop-Aufzeichnung starten und warnen, wenn ein Passwortfeld erscheint.“
  • „Meine Sitzung aufzeichnen und eine umsetzbare Zusammenfassung erstellen, wenn sie endet.“
  • „Diese Datei importieren und einen abspielbaren Stream-Link zurückgeben.“
  • „Diesen Ordner indizieren und jede Szene mit Personen finden, Zeitstempel zurückgeben.“
  • „Untertitel generieren, einbrennen und leichte Hintergrundmusik hinzufügen.“
  • „Diese RTSP-URL verbinden und warnen, wenn eine Person den Bereich betritt.“

Bildschirmaufnahme (Desktop-Aufzeichnung)

Verwenden Sie ws_listener.py, um WebSocket-Ereignisse während Aufzeichnungssitzungen zu erfassen. Desktop-Aufzeichnung wird nur unter macOS unterstützt.

Schnellstart

  1. State-Verzeichnis wählen: STATE_DIR="${VIDEODB_EVENTS_DIR:-$HOME/.local/state/videodb}"
  2. Listener starten: VIDEODB_EVENTS_DIR="$STATE_DIR" python scripts/ws_listener.py --clear "$STATE_DIR" &
  3. WebSocket-ID holen: cat "$STATE_DIR/videodb_ws_id"
  4. Capture-Code ausführen (vollständiger Workflow in reference/capture.md)
  5. Ereignisse geschrieben nach: $STATE_DIR/videodb_events.jsonl

Verwenden Sie --clear immer beim Start einer neuen Aufzeichnungssitzung, damit veraltete Transkript- und Visuell-Ereignisse nicht in die neue Sitzung gelangen.

Ereignisse abfragen

import json
import os
import time
from pathlib import Path

events_dir = Path(os.environ.get("VIDEODB_EVENTS_DIR", Path.home() / ".local" / "state" / "videodb"))
events_file = events_dir / "videodb_events.jsonl"
events = []

if events_file.exists():
    with events_file.open(encoding="utf-8") as handle:
        for line in handle:
            try:
                events.append(json.loads(line))
            except json.JSONDecodeError:
                continue

transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]
cutoff = time.time() - 300
recent_visual = [
    e for e in events
    if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff
]

Zusätzliche Dokumentation

Die Referenzdokumentation befindet sich im Verzeichnis reference/ neben dieser SKILL.md-Datei. Bei Bedarf das Glob-Tool verwenden, um sie zu finden.

ffmpeg, moviepy oder lokale Codierungswerkzeuge NICHT verwenden, wenn VideoDB die Operation unterstützt. Folgendes wird alles serverseitig von VideoDB erledigt: Trimmen, Kombinieren von Clips, Überlagern von Audio oder Musik, Hinzufügen von Untertiteln, Text-/Bild-Overlays, Transkodierung, Auflösungsänderungen, Seitenverhältnisumwandlungen, Größenänderung für Plattformanforderungen, Transkription und Mediengenerierung. Lokale Tools nur für Operationen verwenden, die unter „Einschränkungen“ in reference/editor.md aufgeführt sind (Übergänge, Geschwindigkeitsänderungen, Zuschneiden/Zoom, Farbkorrektur, Lautstärkemischung).

Was wann verwenden

ProblemVideoDB-Lösung
Plattform lehnt Video-Seitenverhältnis oder Auflösung abvideo.reframe() oder conn.transcode() mit VideoConfig
Video für Twitter/Instagram/TikTok skalierenvideo.reframe(target="vertical") oder target="square"
Auflösung ändern (z. B. 1080p → 720p)conn.transcode() mit VideoConfig(resolution=720)
Audio/Musik auf Video legenAudioAsset auf einer Timeline
Untertitel hinzufügenvideo.add_subtitle() oder CaptionAsset
Clips kombinieren/trimmenVideoAsset auf einer Timeline
Voiceover, Musik oder Soundeffekte generierencoll.generate_voice(), generate_music(), generate_sound_effect()

Herkunft

Referenzmaterial für dieses Skill befindet sich lokal unter skills/videodb/reference/. Die lokalen Kopien oben verwenden, anstatt zur Laufzeit externe Repository-Links zu folgen.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Cody-W-Tucker/skills

Landing page quality assessment for paid advertising campaigns. Evaluates message match, page speed, mobile experience, trust signals, form optimization, and conversion rate potential. Use when user says landing page, post-click experience, landing page audit, conversion rate, or landing page optimization.

Cody-W-Tucker/skills

TikTok Ads deep analysis covering creative quality, tracking, bidding, campaign structure, and TikTok Shop. Evaluates 28 checks with emphasis on creative-first strategy, safe zone compliance, and Smart+ campaigns. Use when user says TikTok Ads, TikTok marketing, TikTok Shop, Spark Ads, Smart+, or TikTok campaign.

Cody-W-Tucker/skills

YouTube Ads specific analysis covering campaign types, creative quality, audience targeting, and measurement. Evaluates video ad performance across skippable, non-skippable, bumper, Shorts, Demand Gen, and Connected TV formats. Covers VAC→Demand Gen migration, Shorts creative requirements, and CTV shoppable ads. Use when user says YouTube Ads, video ads, pre-roll, bumper ads, YouTube campaign, Shorts ads, or CTV ads.

Cody-W-Tucker/skills

Craft the story that makes investors say \"I want in.\" Master the narrative structure that Reid Hoffman, Sequoia, and top founders use to raise capital. Use when: **Preparing to fundraise** to develop your story before the deck; **Investor meetings** to structure conversations that convert; **Pitch practice** to refine your narrative arc; **Cold outreach** to write compelling investor emails; **Pivoting** to reframe your story after a change

Cody-W-Tucker/skills

Identify the best GTM motions and tools across 7 motion types: Inbound, Outbound, Paid Digital, Community, Partners, ABM, and PLG. Use when selecting marketing channels, choosing between inbound and outbound strategy, or planning cross-channel campaigns.

Cody-W-Tucker/skills

Produce a print-grade single-page kami (紙 / 纸) document — warm parchment canvas, ink-blue accent, serif at one weight, no italic, no cool grays. The output reads like a professional white paper or studio one-pager, not an app UI. Multilingual by design (EN · zh-CN · ja). One self-contained HTML file, zero dependencies.

Cody-W-Tucker/skills

Optimize landing pages for maximum conversions using proven frameworks from Unbounce and Oli Gardner—apply the \"one goal, one message, one action\" principle with data-driven design, copy, and CTA best practices. Use when: **Create a new landing page** for a campaign; **Optimize an existing landing page** that isn't converting; **Review landing page design** before launch; **Improve form conversion rates** on lead gen pages; **A/B test landing page elements** systematically

Cody-W-Tucker/skills

Advanced motion patterns for React / Next.js — drag & drop, gestures, text animations, SVG path drawing, custom hooks, imperative sequences (useAnimate), loaders, and the full API decision tree. Requires motion-foundations.

Cody-W-Tucker/skills

Motion tokens, spring presets, performance rules, device adaptation, accessibility enforcement, and SSR safety for React / Next.js using motion/react. Foundation layer — all other motion skills depend on this.

Cody-W-Tucker/skills

A single-frame motion-design composition with looping CSS animations — rotating type ring, animated globe, ticking timer, parallax labels. Renders as a hero video poster you can hand straight to HyperFrames or any keyframe-based exporter. Use when the brief asks for "motion design", "animated hero", "loop", "video poster", "title card", or pairs Open Claude Design with HyperFrames for a kinetic export.

Cody-W-Tucker/skills

Production-ready animation patterns for React / Next.js — button, modal, toast, stagger, page transitions, exit animations, scroll, and layout — built on motion-foundations tokens and springs.

Cody-W-Tucker/skills

Production-ready UI motion system for React/Next.js. Use when implementing animations, transitions, or motion patterns.

Cody-W-Tucker/skills

Produce a single-file slide deck in the Atelier Zero visual language (warm-paper background, italic-serif emphasis spans, coral terminating dots, surreal collage plates) — Open Design's brand deck recipe. The deck uses **horizontal magazine-style swipe pagination** (←/→, wheel, swipe), a per-slide chrome strip with brand mark and slide counter, an ESC overview grid, a coral progress bar, and inherits the canonical stylesheet + 16-slot image library from the sister `open-design-landing` skill.

Cody-W-Tucker/skills

Produce a world-class single-page editorial landing site in the Atelier Zero visual language (Monocle / Apartamento / Études editorial collage) — the same aesthetic Open Design uses for its own marketing surface. The agent fills a typed `inputs.json` from a brand brief, optionally generates 16 collage assets via gpt-image-2, then runs a pure-function composer that emits a self-contained HTML file; a separate path can mirror the Astro marketing site in `apps/landing-page/`. Drop-in scroll-reveal motion and a Headroom-style sticky nav are wired automatically.

Cody-W-Tucker/skills

Best practices for Remotion - Video creation in React. 29 domain-specific rules covering 3D, animations, audio, captions, charts, transitions, and more.

Cody-W-Tucker/skills

Single-page SaaS landing with hero, features, social proof, pricing, and CTA. Respects the active DESIGN.md color/typography/layout tokens. Trigger keywords: "saas landing", "marketing page", "product landing".

Cody-W-Tucker/skills

Single-page SaaS landing with hero, features, social proof, pricing, and CTA. Respects the active DESIGN.md color/typography/layout tokens. Trigger keywords: "saas landing", "marketing page", "product landing".

Cody-W-Tucker/skills

Master April Dunford's 8-step sales narrative from \"Sales Pitch\" (2023). Transform your positioning into a compelling story that wins enterprise deals. Use when: Structuring B2B sales presentations and demos; Creating pitch decks for complex products; Training sales teams on narrative-driven selling; Converting positioning strategy into sales conversations; Winning against entrenched competitors

Cody-W-Tucker/skills

Swiss-style user-research narrative template in warm-paper editorial aesthetics. Use when users ask for a premium research deck or story-first live artifact with minimalist typography, high-clarity layout, subtle motion, donut breakdowns, and keyboard/click navigation across slides in a single HTML file.

Cody-W-Tucker/skills

Download YouTube videos with customizable quality and format options. Use this skill when the user asks to download, save, or grab YouTube videos. Supports various quality settings (best, 1080p, 720p, 480p, 360p), multiple formats (mp4, webm, mkv), and audio-only downloads as MP3.

Verwandte Skills