Communitygithub.com

AbobakrDiara61/railway-system

Video- und Audiowahrnehmung, -indizierung und -bearbeitung. Dateien/URLs/Livestreams aufnehmen, visuelle/gesprochene Indizes erstellen, mit Zeitstempeln suchen, Timelines bearbeiten, Overlays/Untertitel hinzufügen, Medien generieren und Echtzeit-Benachrichtigungen erstellen.

Was ist railway-system?

Dieses Skill bietet einen umfassenden Workflow für die Wahrnehmung, Indizierung und Bearbeitung von Video- und Audioinhalten, einschließlich Echtzeit-Überwachung und Desktop-Aufzeichnung. Es ermöglicht das Erfassen von Bildschirm-, Mikrofon- und Systemaudio, das Erstellen von Sitzungserinnerungen sowie das Auslösen von Warnungen basierend auf dem Gesagten oder auf dem Bildschirm Gesehenen. Der Skill unterstützt das Hochladen von Dateien und URLs, das Transkodieren in verschiedene Formate sowie die Indizierung gesprochener Wörter und visueller Szenen für eine zeitstempelgenaue Suche mit abspielbaren Belegen. Zudem können Untertitel generiert, übersetzt und eingebrannt, Text-/Bild-Overlays hinzugefügt, Hintergrundmusik, Sprachaufnahmen oder Synchronisationen eingerichtet und programmatische Timeline-Operationen durchgeführt werden. Livestreams (RTSP) können angebunden und auf bestimmte Ereignisse oder Personen überwacht werden. Das Skill ist plattformunabhängig und wird über die VideoDB Python SDK gesteuert, wobei die API-Konfiguration über Umgebungsvariablen oder eine `.env`-Datei erfolgt.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AbobakrDiara61/railway-system/tree/HEAD/frontend/skills/videodb

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

VideoDB Skill

Wahrnehmung + Gedächtnis + Aktionen für Video, Livestreams und Desktop-Sitzungen.

Verwende dieses Skill, wenn du Folgendes benötigst:

Wann verwenden

  • Du benötigst Video- oder Audiowahrnehmung, Indizierung, Suche oder Timeline-Bearbeitung von Dateien, URLs, Desktop-Sitzungen oder Livestreams.
  • Die Aufgabe umfasst Zeitstempel, durchsuchbare Belege, Untertitel, Clips, Overlays oder Echtzeit-Überwachungswarnungen.
  • Du möchtest einen einzigen Workflow, der Erfassung, Verständnis, Abruf und Medienaktionen kombiniert.

1) Desktop-Wahrnehmung

  • Starten/Stoppen einer Desktop-Sitzung, die Bildschirm, Mikrofon und Systemaudio erfasst
  • Live-Kontext streamen und episodisches Sitzungsgedächtnis speichern
  • Echtzeit-Warnungen/Trigger auf das Gesprochene und das, was auf dem Bildschirm passiert, ausführen
  • Sitzungszusammenfassungen, eine durchsuchbare Timeline und abspielbare Beleglinks erstellen

2) Video-Erfassung + Stream

  • Eine Datei oder URL erfassen und einen abspielbaren Webstream-Link zurückgeben
  • Transkodieren/normalisieren: Codec, Bitrate, fps, Auflösung, Seitenverhältnis

3) Indizieren + Suchen (Zeitstempel + Belege)

  • Visuelle, gesprochene und Schlüsselwort-Indizes erstellen
  • Suchen und exakte Momente mit Zeitstempeln und abspielbaren Belegen zurückgeben
  • Automatisch Clips aus Suchergebnissen erstellen

4) Timeline-Bearbeitung + Generierung

  • Untertitel: generieren, übersetzen, einbrennen
  • Overlays: Text/Bild/Branding, Bewegtuntertitel
  • Audio: Hintergrundmusik, Sprachaufnahme, Synchronisation
  • Programmatische Komposition und Exporte über Timeline-Operationen

5) Livestreams (RTSP) + Überwachung

  • RTSP/Live-Feeds verbinden
  • Echtzeit-visuelles und gesprochenes Verständnis ausführen und Ereignisse/Warnungen für Überwachungsworkflows ausgeben

Häufige Eingaben

  • Lokaler Dateipfad, öffentliche URL oder RTSP-URL
  • Desktop-Erfassungsanfrage: Sitzung starten / stoppen / zusammenfassen
  • Gewünschte Operationen: Kontext zum Verständnis abrufen, Transkodierungsspezifikation, Indizierungsspezifikation, Suchanfrage, Clip-Bereiche, Timeline-Bearbeitungen, Alarmregeln

Häufige Ausgaben

  • Stream-URL
  • Suchergebnisse mit Zeitstempeln und Beleglinks
  • Generierte Assets: Untertitel, Audio, Bilder, Clips
  • Ereignis-/Alarm-Payloads für Livestreams
  • Desktop-Sitzungszusammenfassungen und Gedächtniseinträge

Kanonische Aufforderungen (Beispiele)

  • "Starte Desktop-Erfassung und alarmiere, wenn ein Passwortfeld erscheint."
  • "Nimm meine Sitzung auf und erstelle eine umsetzbare Zusammenfassung, wenn sie endet."
  • "Erfasse diese Datei und gib einen abspielbaren Stream-Link zurück."
  • "Indiziere diesen Ordner und finde jede Szene mit Personen, gib Zeitstempel zurück."
  • "Generiere Untertitel, brenne sie ein und füge leichte Hintergrundmusik hinzu."
  • "Verbinde diese RTSP-URL und alarmiere, wenn eine Person die Zone betritt."

Python-Code ausführen

Bevor du irgendeinen VideoDB-Code ausführst, wechsle in das Projektverzeichnis und lade Umgebungsvariablen:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Dies liest VIDEO_DB_API_KEY aus:

  1. Umgebung (falls bereits exportiert)
  2. .env-Datei des Projekts im aktuellen Verzeichnis

Wenn der Schlüssel fehlt, löst videodb.connect() automatisch AuthenticationError aus.

Schreibe KEINE Skriptdatei, wenn ein kurzer Inline-Befehl ausreicht.

Beim Schreiben von Inline-Python (python -c "...") verwende immer korrekt formatierten Code – verwende Semikolons, um Anweisungen zu trennen, und halte es lesbar. Für alles, was länger als ~3 Anweisungen ist, verwende stattdessen einen Heredoc:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Einrichtung

Wenn der Benutzer "videodb einrichten" oder ähnliches sagt:

1. SDK installieren

pip install "videodb[capture]" python-dotenv

Wenn videodb[capture] unter Linux fehlschlägt, installiere ohne das Capture-Extra:

pip install videodb python-dotenv

2. API-Schlüssel konfigurieren

Der Benutzer muss VIDEO_DB_API_KEY mit einer der folgenden Methoden setzen:

  • Im Terminal exportieren (vor dem Start von Claude): export VIDEO_DB_API_KEY=dein-schlüssel
  • Projekt-.env-Datei: Speichere VIDEO_DB_API_KEY=dein-schlüssel in der .env-Datei des Projekts

Hole dir einen kostenlosen API-Schlüssel unter https://console.videodb.io (50 kostenlose Uploads, keine Kreditkarte erforderlich).

Lese, schreibe oder verwalte den API-Schlüssel NICHT selbst. Überlasse es immer dem Benutzer, ihn zu setzen.

Kurzreferenz

Medien hochladen

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Lokale Datei
video = coll.upload(file_path="/pfad/zum/video.mp4")

Transkript + Untertitel

# force=True überspringt den Fehler, wenn das Video bereits indiziert ist
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

In Videos suchen

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() löst InvalidRequestError aus, wenn keine Ergebnisse gefunden werden.
# Immer in try/except einwickeln und "No results found" als leer behandeln.
try:
    results = video.search("Produktdemo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Szenensuche

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() hat keinen force-Parameter – es löst einen Fehler aus, wenn ein
# Szenenindex bereits existiert. Extrahiere die vorhandene Index-ID aus dem Fehler.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Beschreibe den visuellen Inhalt dieser Szene.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# Verwende score_threshold, um Rauschen mit geringer Relevanz zu filtern (empfohlen: 0,3+)
try:
    results = video.search(
        query="Person schreibt auf Whiteboard",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Timeline-Bearbeitung

Wichtig: Validiere immer Zeitstempel, bevor du eine Timeline erstellst:

  • start muss >= 0 sein (negative Werte werden stillschweigend akzeptiert, erzeugen aber fehlerhafte Ausgabe)
  • start muss < end sein
  • end muss <= video.length sein
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="Ende", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Video transkodieren (Auflösungs-/Qualitätsänderung)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Ändere Auflösung, Qualität oder Seitenverhältnis serverseitig
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Seitenverhältnis anpassen (für soziale Plattformen)

Warnung: reframe() ist eine langsame serverseitige Operation. Bei langen Videos kann es mehrere Minuten dauern und eventuell eine Zeitüberschreitung verursachen. Best Practices:

  • Beschränke es wann immer möglich auf ein kurzes Segment mit start/end
  • Verwende für vollständige Videos callback_url für asynchrone Verarbeitung
  • Schneide das Video zuerst auf einer Timeline zu und passe dann das kürzere Ergebnis an
from videodb import ReframeMode

# Bevorzugt immer ein kurzes Segment anpassen:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Asynchrone Anpassung für vollständige Videos (gibt None zurück, Ergebnis via Webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# Voreinstellungen: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Benutzerdefinierte Abmessungen
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Generative Medien

image = coll.generate_image(
    prompt="ein Sonnenuntergang über Bergen",
    aspect_ratio="16:9",
)

Fehlerbehandlung

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Überprüfe deinen VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Upload fehlgeschlagen: {e}")

Häufige Fallstricke

SzenarioFehlermeldungLösung
Indizieren eines bereits indizierten VideosSpoken word index for video already existsVerwende video.index_spoken_words(force=True), um zu überspringen, wenn bereits indiziert
Szenenindex existiert bereitsScene index with id XXXX already existsExtrahiere die vorhandene scene_index_id aus dem Fehler mit re.search(r"id\s+([a-f0-9]+)", str(e))
Suche findet keine ÜbereinstimmungenInvalidRequestError: No results foundFange die Ausnahme und behandle sie als leeres Ergebnis (shots = [])
Zeitüberschreitung bei reframeBlockiert bei langen Videos auf unbestimmte ZeitVerwende start/end, um das Segment zu begrenzen, oder übergib callback_url für asynchrone Verarbeitung
Negative Zeitstempel in TimelineErzeugt stillschweigend einen fehlerhaften StreamValidiere immer start >= 0, bevor du VideoAsset erstellst
generate_video() / create_collection() schlägt fehlOperation not allowed oder maximum limitPlanabhängige Funktionen – informiere den Benutzer über Planlimits

Zusätzliche Dokumentation

Die Referenzdokumentation befindet sich im Verzeichnis reference/ neben dieser SKILL.md-Datei. Verwende das Glob-Tool, um es bei Bedarf zu lokalisieren.

Bildschirmaufnahme (Desktop-Erfassung)

Verwende ws_listener.py, um WebSocket-Ereignisse während Aufnahmesitzungen zu erfassen. Desktop-Erfassung wird nur unter macOS unterstützt.

Kurzanleitung

  1. Listener starten: python scripts/ws_listener.py &
  2. WebSocket-ID abrufen: cat /tmp/videodb_ws_id
  3. Erfassungscode ausführen (siehe reference/capture.md für den vollständigen Workflow)
  4. Ereignisse werden geschrieben nach: /tmp/videodb_events.jsonl

Ereignisse abfragen

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# Alle Transkripte abrufen
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# Visuelle Beschreibungen der letzten 5 Minuten abrufen
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

Dienstprogrammskripte

Den vollständigen Erfassungsworkflow findest du in reference/capture.md.

Verwende kein ffmpeg, moviepy oder lokale Kodierungstools, wenn VideoDB die Operation unterstützt. Folgendes wird alles serverseitig von VideoDB verarbeitet – Trimmen, Kombinieren von Clips, Überlagern von Audio oder Musik, Hinzufügen von Untertiteln, Text-/Bild-Overlays, Transkodieren, Auflösungsänderungen, Seitenverhältnis-Konvertierung, Größenänderung für Plattformanforderungen, Transkription und Mediengenerierung. Falle nur auf lokale Tools zurück für Operationen, die unter "Einschränkungen" in reference/editor.md aufgeführt sind (Übergänge, Geschwindigkeitsänderungen, Zuschneiden/Zoomen, Farbkorrektur, Lautstärkemischung).

Wann was verwenden

ProblemVideoDB-Lösung
Plattform lehnt Seitenverhältnis oder Auflösung des Videos abvideo.reframe() oder conn.transcode() mit VideoConfig
Video für Twitter/Instagram/TikTok zuschneidenvideo.reframe(target="vertical") oder target="square"
Auflösung ändern (z.B. 1080p → 720p)conn.transcode() mit VideoConfig(resolution=720)
Audio/Musik über Video legenAudioAsset auf einer Timeline
Untertitel hinzufügenvideo.add_subtitle() oder CaptionAsset
Clips kombinieren/trimmenVideoAsset auf einer Timeline
Sprachaufnahme, Musik oder Soundeffekte generierencoll.generate_voice(), generate_music(), generate_sound_effect()

Repository

https://github.com/video-db/skills

Gepflegt von: VideoDB

Einschränkungen

  • Verwende dieses Skill nur, wenn die Aufgabe eindeutig dem oben beschriebenen Umfang entspricht.
  • Behandle die Ausgabe nicht als Ersatz für umgebungsspezifische Validierung, Tests oder fachkundige Überprüfung.
  • Stoppe und frage nach Klärung, wenn erforderliche Eingaben, Berechtigungen, Sicherheitsgrenzen oder Erfolgskriterien fehlen.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

AbobakrDiara61/railway-system

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

AbobakrDiara61/railway-system

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

AbobakrDiara61/railway-system

Astropy is the core Python package for astronomy, providing essential functionality for astronomical research and data analysis.

AbobakrDiara61/railway-system

One sentence - what this skill does and when to invoke it

AbobakrDiara61/railway-system

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

AbobakrDiara61/railway-system

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

AbobakrDiara61/railway-system

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

AbobakrDiara61/railway-system

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

AbobakrDiara61/railway-system

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

AbobakrDiara61/railway-system

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

AbobakrDiara61/railway-system

Best practices for Remotion - Video creation in React

AbobakrDiara61/railway-system

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

AbobakrDiara61/railway-system

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

AbobakrDiara61/railway-system

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

AbobakrDiara61/railway-system

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

AbobakrDiara61/railway-system

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

AbobakrDiara61/railway-system

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

AbobakrDiara61/railway-system

One sentence - what this skill does and when to invoke it

AbobakrDiara61/railway-system

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

AbobakrDiara61/railway-system

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Verwandte Skills