Communitygithub.com

ASoudy/AGS

Video- und Audiowahrnehmung, Indexierung und Bearbeitung. Erfassen Sie Dateien/URLs/Livestreams, erstellen Sie visuelle/gesprochene Indizes, suchen Sie mit Zeitstempeln, bearbeiten Sie Zeitleisten, fügen Sie Overlays/Untertitel hinzu, generieren Sie Medien und erstellen Sie Echtzeitwarnungen.

Was ist AGS?

Dieses Skill ermöglicht die umfassende Wahrnehmung, Indexierung, Suche und Bearbeitung von Video- und Audioinhalten. Es unterstützt die Erfassung von Dateien, URLs, Desktop-Sitzungen und Livestreams. Kernfunktionen umfassen den Aufbau visueller und gesprochener Indizes, die zeitsynchrone Suche mit Beweisführung, die Timeline-Bearbeitung mit Overlays, Untertiteln und Audiospuren sowie die Echtzeitüberwachung von Livestreams mit Alarmen. Es ist als Skill für KI-Agenten wie Claude Code, Cursor oder Codex konzipiert und basiert auf der VideoDB-Plattform. Die Nutzung erfolgt über die VideoDB Python SDK, die Operationen wie das Hochladen von Medien, die Transkription, die semantische Suche, die Szenenerkennung und die generative Medienerstellung serverseitig abwickelt. Das Skill betont die Vermeidung lokaler Tools (ffmpeg, moviepy) für die meisten Operationen und bietet klare Richtlinien für Fehlerbehandlung und häufige Problemfälle.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ASoudy/AGS/tree/HEAD/AGAS/plugins/antigravity-awesome-skills-claude/skills/videodb

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

VideoDB Skill

Wahrnehmung + Gedächtnis + Aktionen für Video, Livestreams und Desktop-Sitzungen.

Verwenden Sie dieses Skill, wenn Sie Folgendes benötigen:

Wann verwenden

  • Sie benötigen Video- oder Audiowahrnehmung, Indexierung, Suche oder Timeline-Bearbeitung von Dateien, URLs, Desktop-Sitzungen oder Livestreams.
  • Die Aufgabe beinhaltet Zeitstempel, durchsuchbare Beweise, Untertitel, Clips, Overlays oder Echtzeit-Überwachungsalarme.
  • Sie möchten einen einzigen Workflow, der Erfassung, Verständnis, Abruf und Medienaktionen kombiniert.

1) Desktop-Wahrnehmung

  • Starten/Stoppen einer Desktop-Sitzung zur Aufnahme von Bildschirm, Mikrofon und Systemaudio
  • Streamen von Live-Kontext und Speichern von episodischem Sitzungsgedächtnis
  • Ausführen von Echtzeit-Alarmen/Triggern basierend auf dem, was gesprochen wird und auf dem Bildschirm passiert
  • Erstellen von Sitzungszusammenfassungen, einer durchsuchbaren Zeitleiste und abspielbaren Beweislinks

2) Videoerfassung + Stream

  • Erfassen einer Datei oder URL und Zurückgeben eines abspielbaren Webstream-Links
  • Transkodieren/Normalisieren: Codec, Bitrate, fps, Auflösung, Seitenverhältnis

3) Indexieren + Suchen (Zeitstempel + Beweise)

  • Erstellen von visuellen, gesprochenen und Schlüsselwort-Indizes
  • Suchen und Zurückgeben genauer Momente mit Zeitstempeln und abspielbaren Beweisen
  • Automatisches Erstellen von Clips aus Suchergebnissen

4) Timeline-Bearbeitung + Generierung

  • Untertitel: generieren, übersetzen, einbrennen
  • Overlays: Text/Bild/Branding, Bewegungsuntertitel
  • Audio: Hintergrundmusik, Sprachkommentar, Synchronisation
  • Programmatische Komposition und Exporte via Timeline-Operationen

5) Livestreams (RTSP) + Überwachung

  • Verbinden von RTSP/Live-Feeds
  • Ausführen von Echtzeit-visuellem und gesprochenem Verständnis und Ausgeben von Ereignissen/Alarmen für Überwachungsworkflows

Häufige Eingaben

  • Lokaler Dateipfad, öffentliche URL oder RTSP-URL
  • Desktop-Erfassungsanfrage: start / stop / summarize session
  • Gewünschte Operationen: Kontext zum Verständnis abrufen, Transcode-Spezifikation, Index-Spezifikation, Suchanfrage, Clip-Bereiche, Timeline-Bearbeitungen, Alarmregeln

Häufige Ausgaben

  • Stream-URL
  • Suchergebnisse mit Zeitstempeln und Beweislinks
  • Generierte Assets: Untertitel, Audio, Bilder, Clips
  • Ereignis-/Alarm-Payloads für Livestreams
  • Desktop-Sitzungszusammenfassungen und Gedächtniseinträge

Kanonische Prompts (Beispiele)

  • „Starte die Desktop-Erfassung und alarmiere, wenn ein Passwortfeld erscheint.“
  • „Zeichne meine Sitzung auf und erstelle eine umsetzbare Zusammenfassung, wenn sie endet.“
  • „Erfasse diese Datei und gib einen abspielbaren Stream-Link zurück.“
  • „Indiziere diesen Ordner und finde jede Szene mit Personen, gib Zeitstempel zurück.“
  • „Generiere Untertitel, brenne sie ein und füge leichte Hintergrundmusik hinzu.“
  • „Verbinde diese RTSP-URL und alarmiere, wenn eine Person die Zone betritt.“

Python-Code ausführen

Bevor Sie VideoDB-Code ausführen, wechseln Sie in das Projektverzeichnis und laden Sie die Umgebungsvariablen:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Dies liest VIDEO_DB_API_KEY aus:

  1. Umgebung (falls bereits exportiert)
  2. .env-Datei des Projekts im aktuellen Verzeichnis

Fehlt der Schlüssel, löst videodb.connect() automatisch einen AuthenticationError aus.

Schreiben Sie KEINE Skriptdatei, wenn ein kurzer Inline-Befehl ausreicht.

Wenn Sie Inline-Python schreiben (python -c "..."), verwenden Sie immer korrekt formatierten Code – verwenden Sie Semikolons, um Anweisungen zu trennen, und halten Sie es lesbar. Für alles, was länger als ~3 Anweisungen ist, verwenden Sie stattdessen einen Heredoc:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Einrichtung

Wenn der Benutzer bittet, „videodb einzurichten“ oder ähnlich:

1. SDK installieren

pip install "videodb[capture]" python-dotenv

Wenn videodb[capture] unter Linux fehlschlägt, installieren Sie ohne das capture-Extra:

pip install videodb python-dotenv

2. API-Schlüssel konfigurieren

Der Benutzer muss VIDEO_DB_API_KEY mit einer der folgenden Methoden setzen:

  • Im Terminal exportieren (vor dem Start von Claude): export VIDEO_DB_API_KEY=ihr-schluessel
  • Projekt-.env-Datei: Speichern Sie VIDEO_DB_API_KEY=ihr-schluessel in der .env-Datei des Projekts

Holen Sie sich einen kostenlosen API-Schlüssel unter https://console.videodb.io (50 kostenlose Uploads, keine Kreditkarte).

Lesen, schreiben oder verwalten Sie den API-Schlüssel NICHT selbst. Lassen Sie den Benutzer ihn immer setzen.

Kurzreferenz

Medien hochladen

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Lokale Datei
video = coll.upload(file_path="/pfad/zu/video.mp4")

Transkript + Untertitel

# force=True überspringt den Fehler, falls das Video bereits indiziert ist
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

In Videos suchen

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() löst InvalidRequestError aus, wenn keine Ergebnisse gefunden werden.
# Immer in try/except packen und „No results found“ als leeres Ergebnis behandeln.
try:
    results = video.search("Produktdemo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Szenensuche

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() hat keinen force-Parameter – es löst einen Fehler aus, wenn ein Szenenindex
# bereits existiert. Extrahieren Sie die vorhandene Index-ID aus dem Fehler.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Beschreibe den visuellen Inhalt dieser Szene.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# Verwenden Sie score_threshold, um Rauschen mit geringer Relevanz zu filtern (empfohlen: 0,3+)
try:
    results = video.search(
        query="Person schreibt an einem Whiteboard",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Timeline-Bearbeitung

Wichtig: Validieren Sie immer Zeitstempel, bevor Sie eine Timeline erstellen:

  • start muss >= 0 sein (negative Werte werden stillschweigend akzeptiert, erzeugen aber defekte Ausgabe)
  • start muss < end sein
  • end muss <= video.length sein
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="Das Ende", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Video transkodieren (Auflösung / Qualität ändern)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Auflösung, Qualität oder Seitenverhältnis serverseitig ändern
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Seitenverhältnis anpassen (für soziale Plattformen)

Warnung: reframe() ist eine langsame serverseitige Operation. Bei langen Videos kann es mehrere Minuten dauern und zu einem Timeout führen. Best Practices:

  • Beschränken Sie sich nach Möglichkeit immer auf ein kurzes Segment mit start/end
  • Verwenden Sie für vollständige Videos callback_url für die asynchrone Verarbeitung
  • Schneiden Sie das Video zuerst auf einer Timeline, passen Sie dann das kürzere Ergebnis an
from videodb import ReframeMode

# Immer ein kurzes Segment anpassen:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Asynchrones Anpassen für vollständige Videos (gibt None zurück, Ergebnis via Webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# Voreinstellungen: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Benutzerdefinierte Abmessungen
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Generative Medien

image = coll.generate_image(
    prompt="ein Sonnenuntergang über Bergen",
    aspect_ratio="16:9",
)

Fehlerbehandlung

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Überprüfen Sie Ihren VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Upload fehlgeschlagen: {e}")

Häufige Fallstricke

SzenarioFehlermeldungLösung
Indizieren eines bereits indizierten VideosSpoken word index for video already existsVerwenden Sie video.index_spoken_words(force=True), um zu überspringen, falls bereits indiziert
Szenenindex existiert bereitsScene index with id XXXX already existsExtrahieren Sie die vorhandene scene_index_id aus dem Fehler mit re.search(r"id\s+([a-f0-9]+)", str(e))
Suche findet keine TrefferInvalidRequestError: No results foundFangen Sie die Ausnahme ab und behandeln Sie sie als leere Ergebnisse (shots = [])
Anpassen (reframe) führt zu TimeoutBlockiert auf unbestimmte Zeit bei langen VideosVerwenden Sie start/end, um das Segment zu begrenzen, oder übergeben Sie callback_url für asynchrone Verarbeitung
Negative Zeitstempel in der TimelineErzeugt stillschweigend defekte StreamsValidieren Sie immer start >= 0, bevor Sie VideoAsset erstellen
generate_video() / create_collection() schlägt fehlOperation not allowed oder maximum limitPlanabhängige Funktionen – informieren Sie den Benutzer über die Plangrenzen

Zusätzliche Dokumentation

Die Referenzdokumentation befindet sich im reference/-Verzeichnis neben dieser SKILL.md-Datei. Verwenden Sie das Glob-Tool, um sie bei Bedarf zu finden.

Bildschirmaufnahme (Desktop-Erfassung)

Verwenden Sie ws_listener.py, um WebSocket-Ereignisse während Aufnahmesitzungen zu erfassen. Die Desktop-Erfassung wird nur unter macOS unterstützt.

Kurzanleitung

  1. Listener starten: python scripts/ws_listener.py &
  2. WebSocket-ID abrufen: cat /tmp/videodb_ws_id
  3. Erfassungscode ausführen (siehe reference/capture.md für den vollständigen Workflow)
  4. Ereignisse werden geschrieben nach: /tmp/videodb_events.jsonl

Ereignisse abfragen

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# Alle Transkripte abrufen
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# Visuelle Beschreibungen der letzten 5 Minuten abrufen
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

Dienstprogramm-Skripte

Den vollständigen Erfassungsworkflow finden Sie unter reference/capture.md.

Verwenden Sie ffmpeg, moviepy oder lokale Codierungswerkzeuge NICHT, wenn VideoDB die Operation unterstützt. Die folgenden Schritte werden alle serverseitig von VideoDB erledigt – Trimmen, Kombinieren von Clips, Überlagern von Audio oder Musik, Hinzufügen von Untertiteln, Text-/Bild-Overlays, Transcodieren, Auflösungsänderungen, Seitenverhältnis-Konvertierung, Größenänderung für Plattformanforderungen, Transkription und Mediengenerierung. Greifen Sie nur für Operationen, die unter „Einschränkungen“ in reference/editor.md aufgeführt sind (Übergänge, Geschwindigkeitsänderungen, Zuschneiden/Zoomen, Farbkorrektur, Lautstärkemischung), auf lokale Tools zurück.

Wann was verwenden

ProblemVideoDB-Lösung
Plattform lehnt Video-Seitenverhältnis oder -Auflösung abvideo.reframe() oder conn.transcode() mit VideoConfig
Video für Twitter/Instagram/TikTok skalierenvideo.reframe(target="vertical") oder target="square"
Auflösung ändern (z. B. 1080p → 720p)conn.transcode() mit VideoConfig(resolution=720)
Audio/Musik auf Video überlagernAudioAsset auf einer Timeline
Untertitel hinzufügenvideo.add_subtitle() oder CaptionAsset
Clips kombinieren/trimmenVideoAsset auf einer Timeline
Sprachkommentar, Musik oder Soundeffekte generierencoll.generate_voice(), generate_music(), generate_sound_effect()

Repository

https://github.com/video-db/skills

Gepflegt von: VideoDB

Einschränkungen

  • Verwenden Sie dieses Skill nur, wenn die Aufgabe eindeutig dem oben beschriebenen Umfang entspricht.
  • Behandeln Sie die Ausgabe nicht als Ersatz für umgebungsspezifische Validierung, Tests oder fachkundige Überprüfung.
  • Halten Sie an und fragen Sie nach Klärung, wenn erforderliche Eingaben, Berechtigungen, Sicherheitsgrenzen oder Erfolgskriterien fehlen.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ASoudy/AGS

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

ASoudy/AGS

Astropy is the core Python package for astronomy, providing essential functionality for astronomical research and data analysis.

ASoudy/AGS

Build content-focused websites with Astro — zero JS by default, islands architecture, multi-framework components, and Markdown/MDX support.

ASoudy/AGS

One sentence - what this skill does and when to invoke it

ASoudy/AGS

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

ASoudy/AGS

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

ASoudy/AGS

Pull a YouTube video transcript into a queryable markdown vault with yt-dlp subtitle discovery, VTT cleanup, metadata frontmatter, and capture-seed stubs.

ASoudy/AGS

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

ASoudy/AGS

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

ASoudy/AGS

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

ASoudy/AGS

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

ASoudy/AGS

Comprehensive patterns for Next.js 14+ App Router architecture, Server Components, and modern full-stack React development.

ASoudy/AGS

Next.js App Router principles. Server Components, data fetching, routing patterns.

ASoudy/AGS

Expert integration of Supabase Auth with Next.js App Router

ASoudy/AGS

React and Next.js 14+ application development with App Router, Server Components, TypeScript, Tailwind CSS, and modern frontend patterns.

ASoudy/AGS

Best practices for Remotion - Video creation in React

ASoudy/AGS

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

ASoudy/AGS

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

ASoudy/AGS

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

ASoudy/AGS

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

Verwandte Skills