Communitygithub.com

AlperTuncOrtak/crypto-data-pipeline

Video- und Audiowahrnehmung, Indexierung und Bearbeitung. Erfasse Dateien/URLs/Livestreams, erstelle visuelle/gesprochene Indizes, suche mit Zeitstempeln, bearbeite Timelines, füge Overlays/Untertitel hinzu, generiere Medien und erstelle Echtzeit-Benachrichtigungen.

Was ist crypto-data-pipeline?

Dieses Skill (VideoDB) ermöglicht es KI-Agenten, Video- und Audioinhalte aus Dateien, URLs, Desktop-Sitzungen und Live-Streams (RTSP) wahrzunehmen, zu indizieren, zu durchsuchen und zu bearbeiten. Es ist ideal für Workflows, die das Verständnis von Medieninhalten, die Extraktion von Beweisen mit Zeitstempeln, das Erstellen von Clip-Zusammenstellungen oder Echtzeit-Überwachungswarnungen – etwa basierend auf visuellen oder gesprochenen Ereignissen – umfassen. Das Skill bietet dedizierte Operationen: Desktop-Aufnahme (macOS), Inhaltserstellung (Untertitel, Overlays, Audio, Standbilder), Timeline-Komposition sowie Server-seitige Transkodierung und Neurahmung. Es erfordert einen gültigen `VIDEO_DB_API_KEY`, der entweder als Umgebungsvariable oder in einer `.env`-Datei gesetzt wird. Die Python SDK (`videodb`, `python-dotenv`) bietet Funktionen zum Hochladen, Suchen, Indizieren und Bearbeiten, wobei die Anbindung an Videodatenbank und Inferenzdienste nahtlos erfolgt. Das Skill ist als Repository unter github.com/video-db/skills dokumentiert und wird von VideoDB gepflegt.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AlperTuncOrtak/crypto-data-pipeline/tree/HEAD/skills/videodb

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

VideoDB Skill

Wahrnehmung + Gedächtnis + Aktionen für Video, Live-Streams und Desktop-Sitzungen.

Verwende dieses Skill, wenn du Folgendes benötigst:

Wann zu verwenden

  • Du benötigst Video- oder Audiowahrnehmung, Indexierung, Suche oder Timeline-Bearbeitung aus Dateien, URLs, Desktop-Sitzungen oder Live-Streams.
  • Die Aufgabe umfasst Zeitstempel, durchsuchbare Beweise, Untertitel, Clips, Overlays oder Echtzeit-Überwachungsbenachrichtigungen.
  • Du möchtest einen einzigen Workflow, der Erfassung, Verständnis, Abruf und Medienaktionen kombiniert.

1) Desktop-Wahrnehmung

  • Starte/Stoppe eine Desktop-Sitzung, die Bildschirm, Mikrofon und Systemaudio erfasst
  • Streame Live-Kontext und speichere episodisches Sitzungsgedächtnis
  • Führe Echtzeit-Benachrichtigungen/Trigger auf Gesprochenes und Bildschirmereignisse aus
  • Erstelle Sitzungszusammenfassungen, eine durchsuchbare Timeline und abspielbare Beweislinks

2) Video-Erfassung + Streaming

  • Erfasse eine Datei oder URL und gib einen abspielbaren Web-Stream-Link zurück
  • Transkodiere/normalisiere: Codec, Bitrate, fps, Auflösung, Seitenverhältnis

3) Indexieren + Suchen (Zeitstempel + Beweise)

  • Erstelle visuelle, gesprochene und Stichwort-Indizes
  • Suche und gib exakte Momente mit Zeitstempeln und abspielbaren Beweisen zurück
  • Erstelle automatisch Clips aus Suchergebnissen

4) Timeline-Bearbeitung + Generierung

  • Untertitel: generieren, übersetzen, einbrennen
  • Overlays: Text/Bild/Branding, bewegte Untertitel
  • Audio: Hintergrundmusik, Voiceover, Synchronisation
  • Programmatische Komposition und Exporte via Timeline-Operationen

5) Live-Streams (RTSP) + Überwachung

  • Verbinde RTSP/Live-Feeds
  • Führe Echtzeit-visuelles und gesprochenes Verständnis aus und sende Ereignisse/Benachrichtigungen für Überwachungs-Workflows

Häufige Eingaben

  • Lokaler Dateipfad, öffentliche URL oder RTSP-URL
  • Desktop-Aufnahmeanfrage: starten / stoppen / Sitzung zusammenfassen
  • Gewünschte Operationen: Kontext zum Verständnis abrufen, Transcodierspezifikation, Indexspezifikation, Suchabfrage, Clip-Bereiche, Timeline-Bearbeitungen, Warnregeln

Häufige Ausgaben

  • Stream-URL
  • Suchergebnisse mit Zeitstempeln und Beweislinks
  • Generierte Assets: Untertitel, Audio, Bilder, Clips
  • Ereignis-/Benachrichtigungs-Payloads für Live-Streams
  • Sitzungszusammenfassungen und Gedächtniseinträge für Desktop

Kanonische Aufforderungen (Beispiele)

  • „Starte Desktop-Aufnahme und benachrichtige, wenn ein Passwortfeld erscheint.“
  • „Nimm meine Sitzung auf und erstelle eine umsetzbare Zusammenfassung, wenn sie endet.“
  • „Erfasse diese Datei und gib einen abspielbaren Stream-Link zurück.“
  • „Indexiere diesen Ordner und finde jede Szene mit Personen, gib Zeitstempel zurück.“
  • „Generiere Untertitel, brenne sie ein und füge leichte Hintergrundmusik hinzu.“
  • „Verbinde diese RTSP-URL und benachrichtige, wenn eine Person die Zone betritt.“

Python-Code ausführen

Bevor du VideoDB-Code ausführst, wechsle in das Projektverzeichnis und lade die Umgebungsvariablen:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Dies liest VIDEO_DB_API_KEY aus:

  1. Umgebung (falls bereits exportiert)
  2. .env-Datei des Projekts im aktuellen Verzeichnis

Falls der Schlüssel fehlt, löst videodb.connect() automatisch einen AuthenticationError aus.

Schreibe KEINE Skriptdatei, wenn ein kurzer Inline-Befehl ausreicht.

Wenn du Inline-Python (python -c "...") schreibst, verwende stets korrekt formatierten Code – trenne Anweisungen mit Semikolons und halte es lesbar. Bei mehr als ~3 Anweisungen verwende stattdessen einen Heredoc:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Einrichtung

Wenn der Benutzer „videodb einrichten“ oder ähnlich sagt:

1. SDK installieren

pip install "videodb[capture]" python-dotenv

Falls videodb[capture] unter Linux fehlschlägt, installiere ohne das Capture-Extra:

pip install videodb python-dotenv

2. API-Schlüssel konfigurieren

Der Benutzer muss VIDEO_DB_API_KEY mit einer der folgenden Methoden setzen:

  • Export im Terminal (vor dem Starten des Agenten): export VIDEO_DB_API_KEY=dein-schluessel
  • Projekt-.env-Datei: Speichere VIDEO_DB_API_KEY=dein-schluessel in der .env-Datei des Projekts

Einen kostenlosen API-Schlüssel erhältst du unter https://console.videodb.io (50 kostenlose Uploads, keine Kreditkarte erforderlich).

Lies, schreibe oder verwalte den API-Schlüssel NICHT selbst. Überlasse dem Benutzer die Einstellung.

Kurzreferenz

Medien hochladen

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Lokale Datei
video = coll.upload(file_path="/pfad/zu/video.mp4")

Transkript + Untertitel

# force=True überspringt den Fehler, wenn das Video bereits indiziert ist
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

Suche in Videos

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() löst InvalidRequestError aus, wenn keine Ergebnisse gefunden werden.
# Verwende immer try/except und behandle „Keine Ergebnisse gefunden“ als leer.
try:
    results = video.search("Produktdemo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Szenensuche

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() hat keinen force-Parameter – es löst einen Fehler aus, wenn
# ein Szenenindex bereits existiert. Extrahiere die vorhandene Index-ID aus dem Fehler.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Beschreibe den visuellen Inhalt dieser Szene.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# Verwende score_threshold, um niedrigrelevantes Rauschen zu filtern (empfohlen: 0,3+)
try:
    results = video.search(
        query="Person, die auf ein Whiteboard schreibt",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Timeline-Bearbeitung

Wichtig: Validiere immer die Zeitstempel, bevor du eine Timeline erstellst:

  • start muss >= 0 sein (negative Werte werden stillschweigend akzeptiert, erzeugen aber defekte Ausgabe)
  • start muss < end sein
  • end muss <= video.length sein
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="Ende", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Video transkodieren (Auflösung / Qualität ändern)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Server-seitige Änderung von Auflösung, Qualität oder Seitenverhältnis
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Seitenverhältnis neu rahmen (für soziale Plattformen)

Warnung: reframe() ist eine langsame Server-seitige Operation. Bei langen Videos kann es mehrere Minuten dauern und möglicherweise zeitüberschreiten. Best Practices:

  • Beschränke die Operation wann immer möglich auf ein kurzes Segment mit start/end
  • Verwende für vollständige Videos callback_url für asynchrone Verarbeitung
  • Schneide das Video zuerst auf einer Timeline zu und rahme dann das kürzere Ergebnis neu
from videodb import ReframeMode

# Bevorzuge immer das Neurahmen eines kurzen Segments:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Asynchrones Neurahmen für vollständige Videos (gibt None zurück, Ergebnis über Webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# Voreinstellungen: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Benutzerdefinierte Abmessungen
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Generative Medien

image = coll.generate_image(
    prompt="ein Sonnenuntergang über Bergen",
    aspect_ratio="16:9",
)

Fehlerbehandlung

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Überprüfe deinen VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Upload fehlgeschlagen: {e}")

Häufige Fallstricke

SzenarioFehlermeldungLösung
Indizieren eines bereits indizierten VideosSpoken word index for video already existsVerwende video.index_spoken_words(force=True), um zu überspringen, falls bereits indiziert
Szenenindex existiert bereitsScene index with id XXXX already existsExtrahiere die vorhandene scene_index_id aus dem Fehler mit re.search(r"id\s+([a-f0-9]+)", str(e))
Suche findet keine TrefferInvalidRequestError: No results foundFange die Ausnahme und behandle sie als leere Ergebnisse (shots = [])
Neurahmen läuft zeitlich ausBlockiert auf unbestimmte Zeit bei langen VideosVerwende start/end zur Segmentbegrenzung oder übergib callback_url für asynchrone Verarbeitung
Negative Zeitstempel in TimelineErzeugt stillschweigend defekten StreamValidiere immer start >= 0 vor dem Erstellen von VideoAsset
generate_video() / create_collection() schlägt fehlOperation not allowed oder maximum limitPlanabhängige Funktionen – informiere den Benutzer über Plangrenzen

Zusätzliche Dokumentation

Die Referenzdokumentation befindet sich im Verzeichnis reference/ neben dieser SKILL.md-Datei. Verwende das Glob-Tool, um sie bei Bedarf zu finden.

Bildschirmaufnahme (Desktop-Erfassung)

Verwende ws_listener.py, um WebSocket-Ereignisse während Aufnahmesitzungen zu erfassen. Desktop-Erfassung unterstützt nur macOS.

Schnellstart

  1. Listener starten: python scripts/ws_listener.py &
  2. WebSocket-ID abrufen: cat /tmp/videodb_ws_id
  3. Aufnahmecode ausführen (siehe reference/capture.md für den vollständigen Workflow)
  4. Ereignisse geschrieben nach: /tmp/videodb_events.jsonl

Ereignisse abfragen

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# Alle Transkripte abrufen
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# Visuelle Beschreibungen der letzten 5 Minuten abrufen
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

Hilfsskripte

Den vollständigen Aufnahme-Workflow findest du unter reference/capture.md.

Verwende ffmpeg, moviepy oder lokale Codierungswerkzeuge NICHT, wenn VideoDB die Operation unterstützt. Folgendes wird alles server-seitig von VideoDB erledigt – Trimmen, Kombinieren von Clips, Überlagern von Audio oder Musik, Hinzufügen von Untertiteln, Text-/Bild-Overlays, Transkodierung, Auflösungsänderungen, Seitenverhältnis-Konvertierung, Größenänderung für Plattformanforderungen, Transkription und Mediengenerierung. Verwende lokale Werkzeuge nur für Operationen, die unter „Einschränkungen“ in reference/editor.md aufgeführt sind (Übergänge, Geschwindigkeitsänderungen, Zuschneiden/Zoomen, Farbkorrektur, Lautstärkemischung).

Was wann verwenden

ProblemVideoDB-Lösung
Plattform lehnt Video-Seitenverhältnis oder -Auflösung abvideo.reframe() oder conn.transcode() mit VideoConfig
Video für Twitter/Instagram/TikTok skalierenvideo.reframe(target="vertical") oder target="square"
Auflösung ändern (z.B. 1080p → 720p)conn.transcode() mit VideoConfig(resolution=720)
Audio/Musik über Video legenAudioAsset auf einer Timeline
Untertitel hinzufügenvideo.add_subtitle() oder CaptionAsset
Clips kombinieren/trimmenVideoAsset auf einer Timeline
Voiceover, Musik oder Soundeffekte generierencoll.generate_voice(), generate_music(), generate_sound_effect()

Repository

https://github.com/video-db/skills

Betreut von: VideoDB

Einschränkungen

  • Verwende dieses Skill nur, wenn die Aufgabe klar mit dem oben beschriebenen Umfang übereinstimmt.
  • Behandle die Ausgabe nicht als Ersatz für umgebungsspezifische Validierung, Tests oder Expertenüberprüfung.
  • Stoppe und bitte um Klärung, wenn erforderliche Eingaben, Berechtigungen, Sicherheitsgrenzen oder Erfolgskriterien fehlen.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

AlperTuncOrtak/crypto-data-pipeline

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

AlperTuncOrtak/crypto-data-pipeline

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

AlperTuncOrtak/crypto-data-pipeline

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

AlperTuncOrtak/crypto-data-pipeline

Pull a YouTube video transcript into a queryable markdown vault with yt-dlp subtitle discovery, VTT cleanup, metadata frontmatter, and capture-seed stubs.

AlperTuncOrtak/crypto-data-pipeline

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

AlperTuncOrtak/crypto-data-pipeline

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

AlperTuncOrtak/crypto-data-pipeline

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

AlperTuncOrtak/crypto-data-pipeline

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

AlperTuncOrtak/crypto-data-pipeline

Best practices for Remotion - Video creation in React

AlperTuncOrtak/crypto-data-pipeline

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

AlperTuncOrtak/crypto-data-pipeline

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

AlperTuncOrtak/crypto-data-pipeline

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

AlperTuncOrtak/crypto-data-pipeline

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

AlperTuncOrtak/crypto-data-pipeline

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Verwandte Skills