Communitygithub.com

Desesbraker/agentes-vip

Wahrnehmung, Indexierung und Bearbeitung von Video und Audio. Erfasse Dateien/URLs/Livestreams, erstelle visuelle/gesprochene Indizes, suche mit Zeitstempeln, bearbeite Timelines, füge Overlays/Untertitel hinzu, generiere Medien und erstelle Echtzeit-Benachrichtigungen.

Was ist agentes-vip?

Dieser Skill ermöglicht eine umfassende Video- und Audio-Wahrnehmung, Indexierung und Bearbeitung. Er unterstützt Desktop-Aufnahmen (Bildschirm, Mikrofon, Systemaudio) für Echtzeit-Sitzungsspeicher, Alarme und Zusammenfassungen. Zudem können Videodateien, YouTube-URLs und RTSP-Livestreams erfasst, transkodiert und als abspielbare Streams bereitgestellt werden. Der Skill bietet semantische Suche mit Zeitstempeln, Szenen- und gesprochene Wort-Indexierung, Timeline-Bearbeitung (Untertitel generieren/übersetzen/einbrennen, Overlays, Hintergrundmusik, Voiceover) sowie generatives Erstellen von Bildern, Videos und Audio. Er ist primär für die VideoDB Python SDK ausgelegt und erfordert einen API-Key, der über Umgebungsvariablen oder eine `.env`-Datei gesetzt wird. Die Dokumentation umfasst detaillierte Referenzen zu API, Suche, Editor, Streaming, generativen Medien, Livestreams und Desktop-Aufnahmen.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Desesbraker/agentes-vip/tree/HEAD/full%20skill/plugins/antigravity-awesome-skills-claude/skills/videodb

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

VideoDB Skill

Wahrnehmung + Speicher + Aktionen für Videos, Livestreams und Desktop-Sitzungen.

Verwende diesen Skill, wenn du folgende Aufgaben benötigst:

1) Desktop-Wahrnehmung

  • Starten/Stoppen einer Desktop-Sitzung zur Aufnahme von Bildschirm, Mikrofon und Systemaudio
  • Streamen des Live-Kontexts und Speichern des episodischen Sitzungsspeichers
  • Ausführen von Echtzeit-Benachrichtigungen/Triggern basierend auf Gesprochenem und dem, was auf dem Bildschirm passiert
  • Erstellen von Sitzungszusammenfassungen, einer durchsuchbaren Zeitleiste und abspielbaren Beweislinks

2) Videoerfassung + Stream

  • Erfassen einer Datei oder URL und Zurückgeben eines abspielbaren Webstream-Links
  • Transkodieren/Normalisieren: Codec, Bitrate, fps, Auflösung, Seitenverhältnis

3) Indizieren + Suchen (Zeitstempel + Beweise)

  • Erstellen von visuellen, gesprochenen und Keyword-Indizes
  • Suchen und Zurückgeben exakter Momente mit Zeitstempeln und abspielbaren Beweisen
  • Automatisches Erstellen von Clips aus Suchergebnissen

4) Timeline-Bearbeitung + Generierung

  • Untertitel: generieren, übersetzen, einbrennen
  • Overlays: Text/Bild/Branding, bewegte Untertitel
  • Audio: Hintergrundmusik, Voiceover, Vertonung
  • Programmgesteuerte Komposition und Exporte via Timeline-Operationen

5) Livestreams (RTSP) + Überwachung

  • Verbinden von RTSP/Live-Feeds
  • Ausführen von Echtzeit-Video- und Sprachverständnis und Senden von Ereignissen/Benachrichtigungen für Überwachungsworkflows

Häufige Eingaben

  • Lokaler Dateipfad, öffentliche URL oder RTSP-URL
  • Desktop-Aufnahmeanforderung: Sitzung starten / stoppen / zusammenfassen
  • Gewünschte Operationen: Kontext zum Verständnis abrufen, Transkodierspezifikation, Indexspezifikation, Suchanfrage, Clipbereiche, Timeline-Bearbeitungen, Alarmregeln

Häufige Ausgaben

  • Stream-URL
  • Suchergebnisse mit Zeitstempeln und Beweislinks
  • Generierte Assets: Untertitel, Audio, Bilder, Clips
  • Ereignis-/Alarm-Payloads für Livestreams
  • Desktop-Sitzungszusammenfassungen und Speichereinträge

Beispielhafte Eingabeaufforderungen

  • "Starte die Desktop-Aufnahme und alarmiere, wenn ein Passwortfeld erscheint."
  • "Zeichne meine Sitzung auf und erstelle eine verwertbare Zusammenfassung, wenn sie endet."
  • "Erfasse diese Datei und gib einen abspielbaren Stream-Link zurück."
  • "Indiziere diesen Ordner und finde jede Szene mit Personen, gib Zeitstempel zurück."
  • "Generiere Untertitel, brenne sie ein und füge leichte Hintergrundmusik hinzu."
  • "Verbinde diese RTSP-URL und alarmiere, wenn eine Person die Zone betritt."

Python-Code ausführen

Bevor du VideoDB-Code ausführst, wechsle in das Projektverzeichnis und lade die Umgebungsvariablen:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Dies liest VIDEO_DB_API_KEY aus:

  1. Umgebung (falls bereits exportiert)
  2. .env-Datei des Projekts im aktuellen Verzeichnis

Wenn der Schlüssel fehlt, löst videodb.connect() automatisch einen AuthenticationError aus.

Schreibe KEINE Skriptdatei, wenn ein kurzer Inline-Befehl ausreicht.

Wenn du Inline-Python verwendest (python -c "..."), verwende immer korrekt formatierten Code – verwende Semikolons, um Anweisungen zu trennen, und halte es lesbar. Für alles, was länger als ~3 Anweisungen ist, verwende stattdessen einen Heredoc:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Einrichtung

Wenn der Benutzer bittet, "videodb einzurichten" oder ähnlich:

1. SDK installieren

pip install "videodb[capture]" python-dotenv

Wenn videodb[capture] unter Linux fehlschlägt, installiere ohne das capture-Extra:

pip install videodb python-dotenv

2. API-Key konfigurieren

Der Benutzer muss VIDEO_DB_API_KEY mit einer der folgenden Methoden setzen:

  • Im Terminal exportieren (vor dem Starten von Claude): export VIDEO_DB_API_KEY=dein-key
  • Projekt-.env-Datei: Speichere VIDEO_DB_API_KEY=dein-key in der .env-Datei des Projekts

Hole einen kostenlosen API-Key unter https://console.videodb.io (50 kostenlose Uploads, keine Kreditkarte erforderlich).

Lese, schreibe oder verwalte den API-Key NICHT selbst. Überlasse dies immer dem Benutzer.

Kurzreferenz

Medien hochladen

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Lokale Datei
video = coll.upload(file_path="/pfad/zum/video.mp4")

Transkript + Untertitel

# force=True überspringt den Fehler, wenn das Video bereits indiziert ist
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

In Videos suchen

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() löst InvalidRequestError aus, wenn keine Ergebnisse gefunden werden.
# Immer in try/except kapseln und "Keine Ergebnisse gefunden" als leeres Ergebnis behandeln.
try:
    results = video.search("Produktdemo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Szenensuche

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() hat keinen force-Parameter – es löst einen Fehler aus, wenn ein Szenenindex
# bereits existiert. Extrahiere die vorhandene Index-ID aus dem Fehler.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Beschreibe den visuellen Inhalt dieser Szene.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# Verwende score_threshold, um Rauschen mit niedriger Relevanz zu filtern (empfohlen: 0,3+)
try:
    results = video.search(
        query="Person, die auf ein Whiteboard schreibt",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Timeline-Bearbeitung

Wichtig: Validiere immer die Zeitstempel, bevor du eine Timeline erstellst:

  • start muss >= 0 sein (negative Werte werden stillschweigend akzeptiert, erzeugen aber fehlerhafte Ausgabe)
  • start muss < end sein
  • end muss <= video.length sein
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="Ende", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Video transkodieren (Auflösung / Qualität ändern)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Auflösung, Qualität oder Seitenverhältnis serverseitig ändern
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Seitenverhältnis ändern (für Social-Media-Plattformen)

Warnung: reframe() ist eine langsame serverseitige Operation. Bei langen Videos kann es mehrere Minuten dauern und möglicherweise eine Zeitüberschreitung verursachen. Best Practices:

  • Beschränke die Operation wann immer möglich auf ein kurzes Segment mit start/end
  • Verwende bei vollständigen Videos callback_url für die asynchrone Verarbeitung
  • Schneide das Video zuerst in einer Timeline zu, dann ändere das Seitenverhältnis des kürzeren Ergebnisses
from videodb import ReframeMode

# Bevorzuge immer das Ändern des Seitenverhältnisses eines kurzen Segments:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Asynchrones Ändern des Seitenverhältnisses für vollständige Videos (gibt None zurück, Ergebnis via Webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# Voreinstellungen: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Benutzerdefinierte Abmessungen
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Generative Medien

image = coll.generate_image(
    prompt="ein Sonnenuntergang über den Bergen",
    aspect_ratio="16:9",
)

Fehlerbehandlung

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Überprüfe deinen VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Upload fehlgeschlagen: {e}")

Häufige Fallstricke

SzenarioFehlermeldungLösung
Indizieren eines bereits indizierten VideosSpoken word index for video already existsVerwende video.index_spoken_words(force=True), um zu überspringen, falls bereits indiziert
Szenenindex existiert bereitsScene index with id XXXX already existsExtrahiere die vorhandene scene_index_id aus dem Fehler mit re.search(r"id\s+([a-f0-9]+)", str(e))
Suche findet keine ÜbereinstimmungenInvalidRequestError: No results foundFange die Ausnahme und behandle sie als leeres Ergebnis (shots = [])
Zeitüberschreitung bei reframe()Blockiert bei langen Videos unbegrenztVerwende start/end, um das Segment zu begrenzen, oder übergib callback_url für asynchrone Verarbeitung
Negative Zeitstempel in TimelineErzeugt stillschweigend defekten StreamValidiere immer start >= 0, bevor du VideoAsset erstellst
generate_video() / create_collection() schlägt fehlOperation not allowed oder maximum limitDurch Tarif begrenzte Funktionen – informiere den Benutzer über Tarifbeschränkungen

Zusätzliche Dokumentation

Die Referenzdokumentation befindet sich im Verzeichnis reference/ neben dieser SKILL.md-Datei. Verwende das Glob-Tool, um sie bei Bedarf zu finden.

Bildschirmaufnahme (Desktop Capture)

Verwende ws_listener.py, um WebSocket-Ereignisse während Aufnahmesitzungen zu erfassen. Desktop-Aufnahme wird nur unter macOS unterstützt.

Kurzanleitung

  1. Listener starten: python scripts/ws_listener.py &
  2. WebSocket-ID abrufen: cat /tmp/videodb_ws_id
  3. Capture-Code ausführen (siehe reference/capture.md für den vollständigen Workflow)
  4. Ereignisse werden geschrieben nach: /tmp/videodb_events.jsonl

Ereignisse abfragen

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# Alle Transkripte abrufen
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# Visuelle Beschreibungen der letzten 5 Minuten abrufen
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

Hilfsskripte

Den vollständigen Aufnahmeworkflow findest du unter reference/capture.md.

Verwende KEIN ffmpeg, moviepy oder lokale Codierungswerkzeuge, wenn VideoDB die Operation unterstützt. Folgende Operationen werden alle serverseitig von VideoDB durchgeführt: Trimmen, Kombinieren von Clips, Überlagern von Audio oder Musik, Hinzufügen von Untertiteln, Text-/Bild-Overlays, Transkodieren, Auflösungsänderungen, Seitenverhältnis-Konvertierung, Größenänderung für Plattformanforderungen, Transkription und Mediengenerierung. Verwende lokale Werkzeuge nur für Operationen, die unter "Einschränkungen" in reference/editor.md aufgeführt sind (Übergänge, Geschwindigkeitsänderungen, Zuschneiden/Zoomen, Farbkorrektur, Lautstärkemischung).

Wann verwende ich was

ProblemVideoDB-Lösung
Plattform lehnt Video-Seitenverhältnis oder Auflösung abvideo.reframe() oder conn.transcode() mit VideoConfig
Video für Twitter/Instagram/TikTok zuschneidenvideo.reframe(target="vertical") oder target="square"
Auflösung ändern (z.B. 1080p → 720p)conn.transcode() mit VideoConfig(resolution=720)
Audio/Musik über Video legenAudioAsset auf einer Timeline
Untertitel hinzufügenvideo.add_subtitle() oder CaptionAsset
Clips kombinieren/trimmenVideoAsset auf einer Timeline
Voiceover, Musik oder Soundeffekte generierencoll.generate_voice(), generate_music(), generate_sound_effect()

Repository

https://github.com/video-db/skills

Gepflegt von: VideoDB

Individual skills in this repo

This repo contains 16 individual skills — each has its own dedicated page.

Desesbraker/agentes-vip

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

Desesbraker/agentes-vip

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

Desesbraker/agentes-vip

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

Desesbraker/agentes-vip

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

Desesbraker/agentes-vip

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

Desesbraker/agentes-vip

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

Desesbraker/agentes-vip

Best practices for Remotion - Video creation in React

Desesbraker/agentes-vip

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

Desesbraker/agentes-vip

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

Desesbraker/agentes-vip

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

Desesbraker/agentes-vip

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

Desesbraker/agentes-vip

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

Desesbraker/agentes-vip

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

Desesbraker/agentes-vip

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Desesbraker/agentes-vip

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

Desesbraker/agentes-vip

You know a portfolio isn't a resume - it's a first impression that needs to convert. You balance creativity with usability. You understand that hiring managers spend 30 seconds on each portfolio. You make those 30 seconds count. You help people stand out without being gimmicky.

Verwandte Skills