Communitygithub.com

503496348-ops/mischief-production

Video und Audio verstehen, analysieren und bearbeiten. Ermöglicht das Erfassen von lokalen Dateien, URLs, RTSP/Live-Feeds oder Desktop-Aufnahmen, die Rückgabe von Echtzeitkontext und abspielbaren Stream-Links, das Extrahieren von Frames, das Erstellen visueller/semantischer/zeitlicher Indizes sowie das Durchsuchen von Momenten mit Zeitstempeln und automatischen Clips. Bietet Transkodierung, Timeline-Bearbeitung, Medien-Asset-Generierung und Echtzeit-Benachrichtigungen für Live-Streams und Desktop-Aufnahmen.

Was ist mischief-production?

Diese Fähigkeit bietet eine umfassende Lösung zur Verarbeitung von Video- und Audioinhalten. Sie ermöglicht das Erfassen von Medien aus verschiedenen Quellen wie lokalen Dateien, URLs, RTSP/Live-Feeds und Desktop-Aufnahmen. Die Plattform unterstützt die Echtzeitanalyse, Indizierung und Suche von Inhalten, einschließlich visueller, gesprochener und semantischer Indizes, und liefert präzise Zeitstempel und abspielbare Links. Nutzer können Medien transkodieren und normalisieren (Codec, fps, Auflösung, Seitenverhältnis), Timeline-Bearbeitungen vornehmen (Untertitel, Text-/Bildüberlagerungen, Audio-Overlays, Synchronisation) sowie Medien-Assets wie Bilder, Audio und Video generieren. Sie ist ideal für Entwickler, die Desktop-Sitzungen erfassen, Live-Streams überwachen und Echtzeit-Benachrichtigungen auf Basis von Bild- oder Audioereignissen auslösen möchten. Die Fähigkeit wird über die VideoDB Python SDK genutzt und erfordert nur minimale Einrichtung, einschließlich eines API-Schlüssels und der Installation des SDKs.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/503496348-ops/mischief-production/tree/HEAD/skills/ecc-videodb

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

VideoDB Fähigkeit

Wahrnehmung + Gedächtnis + Aktionen für Video, Live-Streams und Desktop-Sitzungen.

Verwendung

Desktop-Wahrnehmung

  • Starten/Beenden einer Desktop-Sitzung zur Aufnahme von Bildschirm, Mikrofon und Systemaudio
  • Streamen von Live-Kontext und Speichern von episodischem Sitzungsgedächtnis
  • Ausführen von Echtzeit-Warnungen/Triggern basierend auf dem Gesagten und dem Bildschirminhalt
  • Erstellen von Sitzungszusammenfassungen, einer durchsuchbaren Zeitleiste und abspielbaren Beweislinks

Video-Import und -Streaming

  • Importieren einer Datei oder URL und Rückgabe eines abspielbaren Web-Stream-Links
  • Transkodieren/Normalisieren: Codec, Bitrate, fps, Auflösung, Seitenverhältnis

Indizieren und Suchen (Zeitstempel + Beweise)

  • Erstellen von visuellen, gesprochenen und Schlüsselwort-Indizes
  • Suchen und Rückgabe genauer Momente mit Zeitstempeln und abspielbaren Beweisen
  • Automatisches Erstellen von Clips aus Suchergebnissen

Timeline-Bearbeitung und -Generierung

  • Untertitel: erstellen, übersetzen, einbrennen
  • Überlagerungen: Text/Bild/Branding, Bewegungsuntertitel
  • Audio: Hintergrundmusik, Voiceover, Synchronisation
  • Programmierbare Komposition und Exporte über Timeline-Operationen

Live-Streams (RTSP) und Überwachung

  • Verbinden von RTSP/Live-Feeds
  • Ausführen von Echtzeit-Visual- und Sprachverständnis und Senden von Ereignissen/Warnungen für Überwachungsworkflows

Funktionsweise

Übliche Eingaben

  • Lokaler Dateipfad, öffentliche URL oder RTSP-URL
  • Anfrag zur Desktop-Aufnahme: start / stop / summarize session
  • Gewünschte Operationen: Kontext für Verständnis abrufen, Transkodierungsdefinition, Indexdefinition, Suchanfrage, Clip-Bereiche, Timeline-Bearbeitungen, Warnungsregeln

Übliche Ausgaben

  • Stream-URL
  • Suchergebnisse mit Zeitstempeln und Beweislinks
  • Generierte Assets: Untertitel, Audio, Bilder, Clips
  • Ereignis-/Warnungs-Payloads für Live-Streams
  • Desktop Sitzungszusammenfassungen und Gedächtniseinträge

Ausführen von Python-Code

Bevor Sie VideoDB-Code ausführen, wechseln Sie in das Projektverzeichnis und laden Sie Umgebungsvariablen:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Dies liest VIDEO_DB_API_KEY aus:

  1. Umgebung (falls bereits exportiert)
  2. .env-Datei des Projekts im aktuellen Verzeichnis

Wenn der Schlüssel fehlt, löst videodb.connect() automatisch einen AuthenticationError aus.

Schreiben Sie KEIN Skript, wenn ein kurzer Inline-Befehl ausreicht.

Verwenden Sie bei Inline-Python (python -c "...") immer korrekt formatierten Code – verwenden Sie Semikola, um Anweisungen zu trennen, und halten Sie es lesbar. Bei mehr als ~3 Anweisungen verwenden Sie stattdessen einen Heredoc:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Einrichtung

Wenn der Benutzer "videodb setup" oder ähnlich sagt:

1. SDK installieren

pip install "videodb[capture]" python-dotenv

Falls videodb[capture] unter Linux fehlschlägt, installieren Sie ohne das capture-Extra:

pip install videodb python-dotenv

2. API-Schlüssel konfigurieren

Der Benutzer muss VIDEO_DB_API_KEY mit einer der folgenden Methoden setzen:

  • Export im Terminal (bevor Sie Claude starten): export VIDEO_DB_API_KEY=dein-schlüssel
  • .env-Datei des Projekts: Speichern Sie VIDEO_DB_API_KEY=dein-schlüssel in der .env-Datei des Projekts

Holen Sie sich einen kostenlosen API-Schlüssel unter console.videodb.io (50 kostenlose Uploads, keine Kreditkarte erforderlich).

Übernehmen Sie NICHT das Lesen, Schreiben oder Verwalten des API-Schlüssels selbst. Lassen Sie den Benutzer ihn immer selbst setzen.

Kurzreferenz

Medien hochladen

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Lokale Datei
video = coll.upload(file_path="/pfad/zum/video.mp4")

Transkript + Untertitel

# force=True überspringt den Fehler, falls das Video bereits indiziert ist
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

In Videos suchen

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() löst InvalidRequestError aus, wenn keine Ergebnisse gefunden werden.
# Immer in try/except verpacken und "Keine Ergebnisse" als leer behandeln.
try:
    results = video.search("Produktdemo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Szenensuche

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() hat keinen force-Parameter – es löst einen Fehler aus, falls ein
# Szenenindex bereits existiert. Extrahieren Sie die vorhandene Index-ID aus dem Fehler.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Beschreiben Sie den visuellen Inhalt dieser Szene.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# Verwenden Sie score_threshold, um irrelevantes Rauschen zu filtern (empfohlen: 0.3+)
try:
    results = video.search(
        query="Person schreibt an einem Whiteboard",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Timeline-Bearbeitung

Wichtig: Validieren Sie immer die Zeitstempel, bevor Sie eine Timeline erstellen:

  • start muss >= 0 sein (negative Werte werden stillschweigend akzeptiert, erzeugen aber defekte Ausgaben)
  • start muss < end sein
  • end muss <= video.length sein
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="Das Ende", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Video transkodieren (Auflösung/Qualität ändern)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Auflösung, Qualität oder Seitenverhältnis serverseitig ändern
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Seitenverhältnis anpassen (für soziale Plattformen)

Warnung: reframe() ist ein langsamer serverseitiger Vorgang. Bei langen Videos kann es mehrere Minuten dauern und möglicherweise zu einer Zeitüberschreitung führen. Best Practices:

  • Beschränken Sie den Vorgang wann immer möglich auf ein kurzes Segment mit start/end
  • Verwenden Sie bei vollständigen Videos callback_url für die asynchrone Verarbeitung
  • Schneiden Sie das Video zuerst auf einer Timeline zu, dann passen Sie das kürzere Ergebnis an
from videodb import ReframeMode

# Bevorzugen Sie immer die Anpassung eines kurzen Segments:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Asynchrone Anpassung für vollständige Videos (gibt None zurück, Ergebnis über Webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# Voreinstellungen: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Benutzerdefinierte Abmessungen
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Generative Medien

image = coll.generate_image(
    prompt="ein Sonnenuntergang über den Bergen",
    aspect_ratio="16:9",
)

Fehlerbehandlung

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Überprüfen Sie Ihren VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Upload fehlgeschlagen: {e}")

Häufige Fallstricke

SzenarioFehlermeldungLösung
Indizieren eines bereits indizierten VideosSpoken word index for video already existsVerwenden Sie video.index_spoken_words(force=True) zum Überspringen, falls bereits indiziert
Szenenindex existiert bereitsScene index with id XXXX already existsExtrahieren Sie die vorhandene scene_index_id aus dem Fehler mit re.search(r"id\s+([a-f0-9]+)", str(e))
Suche findet keine TrefferInvalidRequestError: No results foundFangen Sie die Ausnahme ab und behandeln Sie sie als leere Ergebnisse (shots = [])
Zeitüberschreitung bei AnpassungBlockiert unbegrenzt bei langen VideosVerwenden Sie start/end, um das Segment zu begrenzen, oder übergeben Sie callback_url für asynchrone Verarbeitung
Negative Zeitstempel in der TimelineErzeugt stillschweigend einen defekten StreamValidieren Sie immer start >= 0, bevor Sie VideoAsset erstellen
generate_video() / create_collection() schlägt fehlOperation not allowed oder maximum limitPlanabhängige Funktionen – informieren Sie den Benutzer über die Plangrenzen

Beispiele

Kanonische Aufforderungen

  • "Starte Desktop-Aufnahme und alarmiere, wenn ein Passwortfeld erscheint."
  • "Nimm meine Sitzung auf und erstelle eine aktionierbare Zusammenfassung, wenn sie endet."
  • "Importiere diese Datei und gib einen abspielbaren Stream-Link zurück."
  • "Indiziere diesen Ordner und finde jede Szene mit Personen, gib Zeitstempel zurück."
  • "Generiere Untertitel, brenne sie ein und füge leichte Hintergrundmusik hinzu."
  • "Verbinde diese RTSP-URL und alarmiere, wenn eine Person die Zone betritt."

Bildschirmaufnahme (Desktop-Aufnahme)

Verwenden Sie ws_listener.py, um WebSocket-Ereignisse während Aufnahmesitzungen zu erfassen. Desktop-Aufnahme wird nur unter macOS unterstützt.

Schnellstart

  1. State-Verzeichnis wählen: STATE_DIR="${VIDEODB_EVENTS_DIR:-$HOME/.local/state/videodb}"
  2. Listener starten: VIDEODB_EVENTS_DIR="$STATE_DIR" python scripts/ws_listener.py --clear "$STATE_DIR" &
  3. WebSocket-ID abrufen: cat "$STATE_DIR/videodb_ws_id"
  4. Aufnahmecode ausführen (siehe reference/capture.md für den vollständigen Workflow)
  5. Ereignisse geschrieben in: $STATE_DIR/videodb_events.jsonl

Verwenden Sie --clear, wann immer Sie eine neue Aufnahmesitzung starten, damit keine veralteten Transkript- und Visuell-Ereignisse in die neue Sitzung gelangen.

Ereignisse abfragen

import json
import os
import time
from pathlib import Path

events_dir = Path(os.environ.get("VIDEODB_EVENTS_DIR", Path.home() / ".local" / "state" / "videodb"))
events_file = events_dir / "videodb_events.jsonl"
events = []

if events_file.exists():
    with events_file.open(encoding="utf-8") as handle:
        for line in handle:
            try:
                events.append(json.loads(line))
            except json.JSONDecodeError:
                continue

transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]
cutoff = time.time() - 300
recent_visual = [
    e for e in events
    if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff
]

Zusätzliche Dokumentation

Referenzdokumentation befindet sich im Verzeichnis reference/ neben dieser SKILL.md-Datei. Verwenden Sie bei Bedarf das Glob-Tool, um sie zu finden.

Verwenden Sie keine lokalen Tools wie ffmpeg, moviepy oder lokale Kodierwerkzeuge, wenn VideoDB die Operation unterstützt. Folgende Operationen werden serverseitig von VideoDB durchgeführt: Trimmen, Kombinieren von Clips, Überlagern von Audio oder Musik, Hinzufügen von Untertiteln, Text-/Bildüberlagerungen, Transkodierung, Auflösungsänderungen, Seitenverhältnis-Anpassung, Größenänderung für Plattformanforderungen, Transkription und Mediengenerierung. Greifen Sie nur bei in reference/editor.md unter "Einschränkungen" aufgeführten Operationen auf lokale Tools zurück (Übergänge, Geschwindigkeitsänderungen, Zuschneiden/Zoomen, Farbkorrektur, Lautstärkemischung).

Wann was verwenden

ProblemVideoDB-Lösung
Plattform lehnt Video-Seitenverhältnis oder -Auflösung abvideo.reframe() oder conn.transcode() mit VideoConfig
Video für Twitter/Instagram/TikTok skalierenvideo.reframe(target="vertical") oder target="square"
Auflösung ändern (z.B. 1080p → 720p)conn.transcode() mit VideoConfig(resolution=720)
Audio/Musik über Video legenAudioAsset auf einer Timeline
Untertitel hinzufügenvideo.add_subtitle() oder CaptionAsset
Clips kombinieren/trimmenVideoAsset auf einer Timeline
Voiceover, Musik oder Soundeffekte generierencoll.generate_voice(), generate_music(), generate_sound_effect()

Herkunft

Referenzmaterial für diese Fähigkeit wird lokal unter skills/videodb/reference/ verwaltet. Verwenden Sie die lokalen Kopien oben, anstatt zur Laufzeit externen Repository-Links zu folgen.

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

503496348-ops/mischief-production

Use this skill when inspecting Blender characters, rigs, poses, animation retargeting, ground contact, facing direction, or model-vs-motion alignment where screenshots alone are not enough.

503496348-ops/mischief-production

Build reusable Manim explainers for technical concepts, graphs, system diagrams, and product walkthroughs, then hand off to the wider HCP video stack if needed. Use when the user wants a clean animated explainer rather than a generic talking-head script.

503496348-ops/mischief-production

Advanced motion patterns for React / Next.js — drag & drop, gestures, text animations, SVG path drawing, custom hooks, imperative sequences (useAnimate), loaders, and the full API decision tree. Requires motion-foundations.

503496348-ops/mischief-production

Motion tokens, spring presets, performance rules, device adaptation, accessibility enforcement, and SSR safety for React / Next.js using motion/react. Foundation layer — all other motion skills depend on this.

503496348-ops/mischief-production

Production-ready animation patterns for React / Next.js — button, modal, toast, stagger, page transitions, exit animations, scroll, and layout — built on motion-foundations tokens and springs.

503496348-ops/mischief-production

Production-ready UI motion system for React/Next.js. Use when implementing animations, transitions, or motion patterns.

503496348-ops/mischief-production

Best practices for Remotion - Video creation in React. 29 domain-specific rules covering 3D, animations, audio, captions, charts, transitions, and more.

Verwandte Skills