Communitygithub.com

BEKO2210/Firstbrain

Perception, indexation et édition vidéo et audio. Ingérez des fichiers/URLs/flux en direct, construisez des index visuels et parlés, cherchez avec des horodatages, éditez des timelines, ajoutez des incrustations/sous-titres, générez du contenu multimédia et créez des alertes en temps réel.

Qu'est-ce que Firstbrain ?

Ce skill transforme Claude en un puissant moteur de perception, mémoire et action pour la vidéo, les flux en direct et les sessions de bureau. Il permet d'ingérer des fichiers locaux, des URL ou des flux RTSP, de transcoder des vidéos, de construire des index visuels, de texte parlé et de scènes pour une recherche sémantique précise avec horodatages et liens de preuve jouables, et de générer automatiquement des clips. Il offre également des capacités d'édition avancées sur timeline : ajout ou gravure de sous-titres, incrustations de texte ou d'images, ajout de musique de fond ou de voix off, et génération de médias (images, musique, effets sonores). Pour les flux en direct, il exécute une compréhension visuelle et parlée en temps réel, émettant des événements et des alertes pour la surveillance. Il supporte également la capture de bureau (macOS) pour enregistrer l'écran, le micro et l'audio système, stocker une mémoire de session épisodique et produire des résumés avec une timeline consultable. Le skill intègre le SDK Python VideoDB en gérant automatiquement l'authentification, les erreurs (comme les index déjà existants) et propose des scripts utilitaires, notamment un écouteur WebSocket pour les événements de capture. Il évite les outils locaux comme ffmpeg pour les opérations prises en charge par le serveur, ce qui en fait une solution complète pour les workflows vidéo sans infrastructure lourde.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/BEKO2210/Firstbrain/tree/HEAD/03%20-%20Resources/Skills/videodb

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Compétence VideoDB

Perception + mémoire + actions pour la vidéo, les flux en direct et les sessions de bureau.

Utilisez cette compétence lorsque vous avez besoin de :

Quand l'utiliser

  • Vous avez besoin de perception vidéo ou audio, d'indexation, de recherche ou d'édition de timeline à partir de fichiers, d'URL, de sessions de bureau ou de flux en direct.
  • La tâche implique des horodatages, des preuves consultables, des sous-titres, des clips, des incrustations ou des alertes de surveillance en temps réel.
  • Vous souhaitez un workflow unique combinant l'ingestion, la compréhension, la récupération et les actions médiatiques.

1) Perception du bureau

  • Démarrer/arrêter une session de bureau capturant l'écran, le micro et l'audio système
  • Diffuser un contexte en direct et stocker une mémoire de session épisodique
  • Exécuter des alertes/déclencheurs en temps réel sur ce qui est dit et ce qui se passe à l'écran
  • Produire des résumés de session, une timeline consultable et des liens de preuve jouables

2) Ingestion vidéo + flux

  • Ingérer un fichier ou une URL et renvoyer un lien de flux web jouable
  • Transcoder/normaliser : codec, débit binaire, fps, résolution, rapport hauteur/largeur

3) Indexation + recherche (horodatages + preuves)

  • Construire des index visuels, parlés et par mots-clés
  • Rechercher et renvoyer des moments exacts avec des horodatages et des preuves jouables
  • Créer automatiquement des clips à partir des résultats de recherche

4) Édition de timeline + génération

  • Sous-titres : générer, traduire, graver
  • Incrustations : texte/image/marque, légendes animées
  • Audio : musique de fond, voix off, doublage
  • Composition programmatique et exportations via opérations de timeline

5) Flux en direct (RTSP) + surveillance

  • Connecter des flux RTSP/en direct
  • Exécuter une compréhension visuelle et parlée en temps réel et émettre des événements/alertes pour les workflows de surveillance

Entrées courantes

  • Chemin de fichier local, URL publique ou URL RTSP
  • Demande de capture de bureau : démarrer / arrêter / résumer la session
  • Opérations souhaitées : obtenir le contexte pour la compréhension, spécification de transcodage, spécification d'index, requête de recherche, plages de clips, modifications de timeline, règles d'alerte

Sorties courantes

  • URL du flux
  • Résultats de recherche avec horodatages et liens de preuve
  • Ressources générées : sous-titres, audio, images, clips
  • Charges utiles d'événements/alertes pour les flux en direct
  • Résumés de session de bureau et entrées mémoire

Exemples d'invites canoniques

  • "Démarrer la capture du bureau et alerter lorsqu'un champ de mot de passe apparaît."
  • "Enregistrer ma session et produire un résumé exploitable à la fin."
  • "Ingérer ce fichier et renvoyer un lien de flux jouable."
  • "Indexer ce dossier et trouver chaque scène avec des personnes, renvoyer les horodatages."
  • "Générer des sous-titres, les graver et ajouter une musique de fond légère."
  • "Connecter cette URL RTSP et alerter lorsqu'une personne entre dans la zone."

Exécution de code Python

Avant d'exécuter du code VideoDB, placez-vous dans le répertoire du projet et chargez les variables d'environnement :

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Ceci lit VIDEO_DB_API_KEY depuis :

  1. L'environnement (si déjà exporté)
  2. Le fichier .env du projet dans le répertoire courant

Si la clé est manquante, videodb.connect() lève automatiquement AuthenticationError.

N'écrivez PAS un fichier de script lorsqu'une courte commande en ligne suffit.

Lorsque vous écrivez du Python en ligne (python -c "..."), utilisez toujours du code correctement formaté — utilisez des points-virgules pour séparer les instructions et gardez-le lisible. Pour tout ce qui dépasse ~3 instructions, utilisez plutôt un heredoc :

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Vidéos : {len(coll.get_videos())}")
EOF

Configuration

Lorsque l'utilisateur demande de "configurer videodb" ou similaire :

1. Installer le SDK

pip install "videodb[capture]" python-dotenv

Si videodb[capture] échoue sous Linux, installez sans l'extension capture :

pip install videodb python-dotenv

2. Configurer la clé API

L'utilisateur doit définir VIDEO_DB_API_KEY en utilisant l'une ou l'autre méthode :

  • Exporter dans le terminal (avant de démarrer Claude) : export VIDEO_DB_API_KEY=votre-clé
  • Fichier .env du projet : Enregistrez VIDEO_DB_API_KEY=votre-clé dans le fichier .env du projet

Obtenez une clé API gratuite sur https://console.videodb.io (50 téléchargements gratuits, sans carte de crédit).

Ne lisez, n'écrivez et ne manipulez PAS la clé API vous-même. Laissez toujours l'utilisateur la définir.

Référence rapide

Télécharger un média

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Fichier local
video = coll.upload(file_path="/chemin/vers/video.mp4")

Transcription + sous-titres

# force=True ignore l'erreur si la vidéo est déjà indexée
video.index_spoken_words(force=True)
texte = video.get_transcript_text()
stream_url = video.add_subtitle()

Rechercher dans les vidéos

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() lève InvalidRequestError lorsqu'aucun résultat n'est trouvé.
# Toujours encapsuler dans try/except et traiter "Aucun résultat trouvé" comme vide.
try:
    resultats = video.search("démonstration produit")
    plans = resultats.get_shots()
    stream_url = resultats.compile()
except InvalidRequestError as e:
    if "Aucun résultat trouvé" in str(e):
        plans = []
    else:
        raise

Recherche par scène

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() n'a pas de paramètre force — il lève une erreur si un index
# de scène existe déjà. Extrayez l'ID d'index existant de l'erreur.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Décrivez le contenu visuel de cette scène.",
    )
except Exception as e:
    correspondance = re.search(r"id\s+([a-f0-9]+)", str(e))
    if correspondance:
        scene_index_id = correspondance.group(1)
    else:
        raise

# Utilisez score_threshold pour filtrer le bruit de faible pertinence (recommandé : 0.3+)
try:
    resultats = video.search(
        query="personne qui écrit sur un tableau blanc",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    plans = resultats.get_shots()
    stream_url = resultats.compile()
except InvalidRequestError as e:
    if "Aucun résultat trouvé" in str(e):
        plans = []
    else:
        raise

Édition de timeline

Important : Validez toujours les horodatages avant de construire une timeline :

  • start doit être >= 0 (les valeurs négatives sont acceptées silencieusement mais produisent une sortie défectueuse)
  • start doit être < end
  • end doit être <= video.length
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(texte="Fin", durée=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Transcodage vidéo (changement de résolution / qualité)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Changez la résolution, la qualité ou le rapport hauteur/largeur côté serveur
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Recadrer le rapport hauteur/largeur (pour les réseaux sociaux)

Attention : reframe() est une opération côté serveur lente. Pour les longues vidéos, cela peut prendre plusieurs minutes et échouer par timeout. Bonnes pratiques :

  • Limitez toujours à un court segment en utilisant start/end si possible
  • Pour les vidéos complètes, utilisez callback_url pour un traitement asynchrone
  • Rognez d'abord la vidéo sur une Timeline, puis recadrez le résultat plus court
from videodb import ReframeMode

# Préférez toujours recadrer un court segment :
recadre = video.reframe(start=0, end=60, cible="vertical", mode=ReframeMode.smart)

# Recadrage asynchrone pour les vidéos complètes (retourne Aucun, résultat via webhook) :
video.reframe(cible="vertical", callback_url="https://example.com/webhook")

# Préréglages : "vertical" (9:16), "carré" (1:1), "paysage" (16:9)
recadre = video.reframe(start=0, end=60, cible="carré")

# Dimensions personnalisées
recadre = video.reframe(start=0, end=60, cible={"largeur": 1280, "hauteur": 720})

Génération de médias

image = coll.generate_image(
    prompt="un coucher de soleil sur les montagnes",
    aspect_ratio="16:9",
)

Gestion des erreurs

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Vérifiez votre VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Échec du téléchargement : {e}")

Pièges courants

ScénarioMessage d'erreurSolution
Indexer une vidéo déjà indexéeL'index des mots parlés pour la vidéo existe déjàUtilisez video.index_spoken_words(force=True) pour ignorer si déjà indexé
Index de scène existe déjàL'index de scène avec l'id XXXX existe déjàExtrayez le scene_index_id existant de l'erreur avec re.search(r"id\s+([a-f0-9]+)", str(e))
La recherche ne trouve aucune correspondanceInvalidRequestError : Aucun résultat trouvéAttrapez l'exception et traitez comme résultats vides (plans = [])
Le recadrage expireBloque indéfiniment sur les longues vidéosUtilisez start/end pour limiter le segment, ou passez callback_url pour l'async
Horodatages négatifs sur la TimelineProduit silencieusement un flux défectueuxValidez toujours start >= 0 avant de créer VideoAsset
generate_video() / create_collection() échoueOpération non autorisée ou limite maximaleFonctionnalités limitées par le plan — informez l'utilisateur sur les limites du plan

Documentation supplémentaire

La documentation de référence se trouve dans le répertoire reference/ adjacent à ce fichier SKILL.md. Utilisez l'outil Glob pour le localiser si nécessaire.

Enregistrement d'écran (Capture de bureau)

Utilisez ws_listener.py pour capturer les événements WebSocket pendant les sessions d'enregistrement. La capture de bureau ne prend en charge que macOS.

Démarrage rapide

  1. Démarrer l'écouteur : python scripts/ws_listener.py &
  2. Obtenir l'ID WebSocket : cat /tmp/videodb_ws_id
  3. Exécuter le code de capture (voir reference/capture.md pour le workflow complet)
  4. Événements écrits dans : /tmp/videodb_events.jsonl

Interroger les événements

import json
evenements = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# Obtenir toutes les transcriptions
transcriptions = [e["data"]["texte"] for e in evenements if e.get("channel") == "transcript"]

# Obtenir les descriptions visuelles des 5 dernières minutes
import time
limite = time.time() - 300
recents_visuels = [e for e in evenements 
                   if e.get("channel") == "visual_index" and e["unix_ts"] > limite]

Scripts utilitaires

Pour le workflow complet de capture, voir reference/capture.md.

N'utilisez pas ffmpeg, moviepy ou d'outils d'encodage locaux lorsque VideoDB prend en charge l'opération. Tous les éléments suivants sont gérés côté serveur par VideoDB — rognage, combinaison de clips, superposition audio ou musique, ajout de sous-titres, incrustations de texte/image, transcodage, changements de résolution, conversion de format, redimensionnement pour les exigences de la plateforme, transcription et génération de médias. Revenez aux outils locaux uniquement pour les opérations listées sous Limitations dans reference/editor.md (transitions, changements de vitesse, recadrage/zoom, étalonnage des couleurs, mixage de volume).

Quand utiliser quoi

ProblèmeSolution VideoDB
La plateforme rejette le format ou la résolution de la vidéovideo.reframe() ou conn.transcode() avec VideoConfig
Besoin de redimensionner une vidéo pour Twitter/Instagram/TikTokvideo.reframe(cible="vertical") ou cible="carré"
Besoin de changer la résolution (ex. 1080p → 720p)conn.transcode() avec VideoConfig(resolution=720)
Besoin de superposer de l'audio/de la musique sur une vidéoAudioAsset sur une Timeline
Besoin d'ajouter des sous-titresvideo.add_subtitle() ou CaptionAsset
Besoin de combiner/rogner des clipsVideoAsset sur une Timeline
Besoin de générer une voix off, de la musique ou des effets sonorescoll.generate_voice(), generate_music(), generate_sound_effect()

Dépôt

https://github.com/video-db/skills

Maintenu par : VideoDB

Connexions

  • Domaine : [[Design & Kreativitaet]]
  • Catégorie : [[Video & Audio Produktion]]
  • Fichiers :
    • scripts/ws_listener.py
  • Navigation : [[Skills Uebersicht]], [[Home]]

Individual skills in this repo

This repo contains 18 individual skills — each has its own dedicated page.

BEKO2210/Firstbrain

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

BEKO2210/Firstbrain

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

BEKO2210/Firstbrain

One sentence - what this skill does and when to invoke it

BEKO2210/Firstbrain

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

BEKO2210/Firstbrain

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

BEKO2210/Firstbrain

Expert in building portfolios that actually land jobs and clients -

BEKO2210/Firstbrain

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

BEKO2210/Firstbrain

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

BEKO2210/Firstbrain

Best practices for Remotion - Video creation in React

BEKO2210/Firstbrain

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

BEKO2210/Firstbrain

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

BEKO2210/Firstbrain

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

BEKO2210/Firstbrain

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

BEKO2210/Firstbrain

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

BEKO2210/Firstbrain

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

BEKO2210/Firstbrain

One sentence - what this skill does and when to invoke it

BEKO2210/Firstbrain

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

BEKO2210/Firstbrain

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Skills associés