Communitygithub.com

ASoudy/AGS

Perception, indexation et montage vidéo et audio. Ingérez des fichiers/URLs/flux en direct, construisez des index visuels/parlés, recherchez avec des horodatages, éditez des timelines, ajoutez des superpositions/sous-titres, générez du contenu et créez des alertes en temps réel.

Qu'est-ce que AGS ?

Cette compétence permet à un agent IA de percevoir, indexer, rechercher et éditer du contenu vidéo et audio à partir de fichiers, URLs, sessions de bureau ou flux en direct. Elle est idéale pour les tâches nécessitant des horodatages, des preuves consultables, des sous-titres, des clips, des superpositions ou des alertes de surveillance en temps réel. La compétence exploite le SDK Python VideoDB pour ingérer des médias, construire des index visuels et de mots parlés, effectuer des recherches sémantiques ou par mots-clés, et éditer des timelines de manière programmatique. Elle prend en charge les flux RTSP pour la surveillance en direct, la capture d'écran sur macOS, et la génération de médias (images, voix, musique). Le SKILL.md fournit des extraits de code détaillés pour l'upload, l'indexation, la recherche, le montage, la transcodification et la gestion des erreurs, ainsi que des conseils pour éviter les pièges courants comme les index dupliqués ou les horodatages négatifs.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ASoudy/AGS/tree/HEAD/AGAS/plugins/antigravity-awesome-skills-claude/skills/videodb

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Compétence VideoDB

Perception + mémoire + actions pour la vidéo, les flux en direct et les sessions de bureau.

Utilisez cette compétence lorsque vous avez besoin de :

Quand l'utiliser

  • Vous avez besoin de perception vidéo ou audio, d'indexation, de recherche ou d'édition de timeline à partir de fichiers, d'URLs, de sessions de bureau ou de flux en direct.
  • La tâche implique des horodatages, des preuves consultables, des sous-titres, des clips, des superpositions ou des alertes de surveillance en temps réel.
  • Vous souhaitez un seul flux de travail combinant ingestion, compréhension, récupération et actions médias.

1) Perception de bureau

  • Démarrer/arrêter une session de bureau capturant l'écran, le micro et l'audio système
  • Diffuser le contexte en direct et stocker la mémoire de session épisodique
  • Exécuter des alertes/déclencheurs en temps réel sur ce qui est dit et ce qui se passe à l'écran
  • Produire des résumés de session, une timeline consultable et des liens de preuves lisibles

2) Ingestion + flux vidéo

  • Ingérer un fichier ou une URL et retourner un lien de flux web lisible
  • Transcodifier/normaliser : codec, débit binaire, fps, résolution, rapport d'aspect

3) Indexer + rechercher (horodatages + preuves)

  • Construire des index visuels, parlés et par mots-clés
  • Rechercher et retourner des moments exacts avec horodatages et preuves lisibles
  • Créer automatiquement des clips à partir des résultats de recherche

4) Édition de timeline + génération

  • Sous-titres : générer, traduire, incruster
  • Superpositions : texte/image/marque, légendes animées
  • Audio : musique de fond, voix off, doublage
  • Composition programmatique et exportations via opérations de timeline

5) Flux en direct (RTSP) + surveillance

  • Connecter des flux RTSP/en direct
  • Exécuter une compréhension visuelle et parlée en temps réel et émettre des événements/alertes pour les workflows de surveillance

Entrées courantes

  • Chemin de fichier local, URL publique ou URL RTSP
  • Demande de capture de bureau : démarrer / arrêter / résumer la session
  • Opérations souhaitées : obtenir le contexte pour la compréhension, spécification de transcodification, spécification d'index, requête de recherche, plages de clips, modifications de timeline, règles d'alerte

Sorties courantes

  • URL du flux
  • Résultats de recherche avec horodatages et liens de preuves
  • Actifs générés : sous-titres, audio, images, clips
  • Charges utiles d'événements/alertes pour les flux en direct
  • Résumés de session de bureau et entrées mémoire

Exemples de prompts canoniques

  • "Démarrer la capture de bureau et alerter lorsqu'un champ de mot de passe apparaît."
  • "Enregistrer ma session et produire un résumé exploitable lorsqu'elle se termine."
  • "Ingérer ce fichier et retourner un lien de flux lisible."
  • "Indexer ce dossier et trouver chaque scène avec des personnes, retourner les horodatages."
  • "Générer des sous-titres, les incruster et ajouter une musique de fond légère."
  • "Connecter cette URL RTSP et alerter lorsqu'une personne entre dans la zone."

Exécution de code Python

Avant d'exécuter du code VideoDB, placez-vous dans le répertoire du projet et chargez les variables d'environnement :

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Ceci lit VIDEO_DB_API_KEY depuis :

  1. L'environnement (si déjà exportée)
  2. Le fichier .env du projet dans le répertoire courant

Si la clé est manquante, videodb.connect() lève automatiquement une AuthenticationError.

N'écrivez PAS de fichier script lorsqu'une commande en ligne courte fonctionne.

Lorsque vous écrivez du Python en ligne (python -c "..."), utilisez toujours du code correctement formaté — utilisez des points-virgules pour séparer les instructions et gardez-le lisible. Pour tout ce qui dépasse environ 3 instructions, utilisez plutôt un heredoc :

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Configuration

Lorsque l'utilisateur demande de "configurer videodb" ou similaire :

1. Installer le SDK

pip install "videodb[capture]" python-dotenv

Si videodb[capture] échoue sur Linux, installez sans l'extra capture :

pip install videodb python-dotenv

2. Configurer la clé API

L'utilisateur doit définir VIDEO_DB_API_KEY en utilisant l'une ou l'autre méthode :

  • Exporter dans le terminal (avant de démarrer Claude) : export VIDEO_DB_API_KEY=votre-clé
  • Fichier .env du projet : Enregistrez VIDEO_DB_API_KEY=votre-clé dans le fichier .env du projet

Obtenez une clé API gratuite sur https://console.videodb.io (50 téléversements gratuits, sans carte de crédit).

Ne lisez PAS, n'écrivez PAS et ne gérez PAS la clé API vous-même. Laissez toujours l'utilisateur la définir.

Référence rapide

Téléverser un média

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Fichier local
video = coll.upload(file_path="/chemin/vers/video.mp4")

Transcription + sous-titre

# force=True évite l'erreur si la vidéo est déjà indexée
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

Rechercher dans les vidéos

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() lève InvalidRequestError lorsque aucun résultat n'est trouvé.
# Toujours encapsuler dans try/except et traiter "No results found" comme vide.
try:
    results = video.search("démo produit")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Recherche de scènes

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() n'a pas de paramètre force — il lève une erreur si un index
# de scène existe déjà. Extrayez l'ID d'index existant depuis l'erreur.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Décrire le contenu visuel de cette scène.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# Utilisez score_threshold pour filtrer le bruit de faible pertinence (recommandé : 0.3+)
try:
    results = video.search(
        query="personne écrivant sur un tableau blanc",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Édition de timeline

Important : Validez toujours les horodatages avant de construire une timeline :

  • start doit être >= 0 (les valeurs négatives sont acceptées silencieusement mais produisent une sortie cassée)
  • start doit être < end
  • end doit être <= video.length
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="The End", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Transcodifier une vidéo (changement de résolution/qualité)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Changer la résolution, la qualité ou le rapport d'aspect côté serveur
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Re-cadrer le rapport d'aspect (pour les plateformes sociales)

Attention : reframe() est une opération lente côté serveur. Pour les longues vidéos, elle peut prendre plusieurs minutes et expirer. Bonnes pratiques :

  • Toujours limiter à un court segment avec start/end lorsque c'est possible
  • Pour les vidéos complètes, utilisez callback_url pour un traitement asynchrone
  • Rognez d'abord la vidéo sur une Timeline, puis recadrez le résultat plus court
from videodb import ReframeMode

# Toujours préférer recadrer un court segment :
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Recadrage asynchrone pour les vidéos complètes (retourne None, résultat via webhook) :
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# Préréglages : "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Dimensions personnalisées
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Génération de médias

image = coll.generate_image(
    prompt="un coucher de soleil sur les montagnes",
    aspect_ratio="16:9",
)

Gestion des erreurs

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Vérifiez votre VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Échec du téléversement : {e}")

Pièges courants

ScénarioMessage d'erreurSolution
Indexer une vidéo déjà indexéeSpoken word index for video already existsUtilisez video.index_spoken_words(force=True) pour ignorer si déjà indexé
Index de scène existe déjàScene index with id XXXX already existsExtrayez le scene_index_id existant depuis l'erreur avec re.search(r"id\s+([a-f0-9]+)", str(e))
La recherche ne trouve aucune correspondanceInvalidRequestError: No results foundAttrapez l'exception et traitez comme résultats vides (shots = [])
Recadrage expireBloque indéfiniment sur les longues vidéosUtilisez start/end pour limiter le segment, ou passez callback_url pour l'asynchrone
Horodatages négatifs sur TimelineProduit silencieusement un flux casséValidez toujours start >= 0 avant de créer un VideoAsset
generate_video() / create_collection() échoueOperation not allowed ou maximum limitFonctionnalités limitées par le plan — informez l'utilisateur des limites du plan

Documentation supplémentaire

La documentation de référence se trouve dans le répertoire reference/ adjacent à ce fichier SKILL.md. Utilisez l'outil Glob pour le localiser si nécessaire.

Enregistrement d'écran (Capture de bureau)

Utilisez ws_listener.py pour capturer les événements WebSocket pendant les sessions d'enregistrement. La capture de bureau prend en charge macOS uniquement.

Démarrage rapide

  1. Démarrer le listener : python scripts/ws_listener.py &
  2. Obtenir l'ID WebSocket : cat /tmp/videodb_ws_id
  3. Exécuter le code de capture (voir reference/capture.md pour le flux de travail complet)
  4. Événements écrits dans : /tmp/videodb_events.jsonl

Interroger les événements

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# Obtenir toutes les transcriptions
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# Obtenir les descriptions visuelles des 5 dernières minutes
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

Scripts utilitaires

Pour le flux de travail complet de capture, voir reference/capture.md.

N'utilisez pas ffmpeg, moviepy ou d'outils d'encodage locaux lorsque VideoDB prend en charge l'opération. Les opérations suivantes sont toutes gérées côté serveur par VideoDB — rognage, combinaison de clips, superposition audio ou musicale, ajout de sous-titres, superpositions de texte/image, transcodification, changements de résolution, conversion de rapport d'aspect, redimensionnement pour les exigences de plateforme, transcription et génération de médias. Revenez aux outils locaux uniquement pour les opérations listées sous Limitations dans reference/editor.md (transitions, changements de vitesse, recadrage/zoom, étalonnage des couleurs, mixage du volume).

Quand utiliser quoi

ProblèmeSolution VideoDB
La plateforme rejette le rapport d'aspect ou la résolution de la vidéovideo.reframe() ou conn.transcode() avec VideoConfig
Besoin de redimensionner une vidéo pour Twitter/Instagram/TikTokvideo.reframe(target="vertical") ou target="square"
Besoin de changer la résolution (ex. 1080p → 720p)conn.transcode() avec VideoConfig(resolution=720)
Besoin de superposer de l'audio/de la musique sur une vidéoAudioAsset sur une Timeline
Besoin d'ajouter des sous-titresvideo.add_subtitle() ou CaptionAsset
Besoin de combiner/rogner des clipsVideoAsset sur une Timeline
Besoin de générer une voix off, de la musique ou des effets sonorescoll.generate_voice(), generate_music(), generate_sound_effect()

Dépôt

https://github.com/video-db/skills

Maintenu par : VideoDB

Limitations

  • N'utilisez cette compétence que lorsque la tâche correspond clairement au périmètre décrit ci-dessus.
  • Ne considérez pas la sortie comme un substitut à une validation, un test ou un examen d'expert spécifique à l'environnement.
  • Arrêtez-vous et demandez des clarifications si les entrées requises, les autorisations, les limites de sécurité ou les critères de succès sont manquants.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ASoudy/AGS

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

ASoudy/AGS

Astropy is the core Python package for astronomy, providing essential functionality for astronomical research and data analysis.

ASoudy/AGS

Build content-focused websites with Astro — zero JS by default, islands architecture, multi-framework components, and Markdown/MDX support.

ASoudy/AGS

One sentence - what this skill does and when to invoke it

ASoudy/AGS

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

ASoudy/AGS

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

ASoudy/AGS

Pull a YouTube video transcript into a queryable markdown vault with yt-dlp subtitle discovery, VTT cleanup, metadata frontmatter, and capture-seed stubs.

ASoudy/AGS

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

ASoudy/AGS

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

ASoudy/AGS

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

ASoudy/AGS

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

ASoudy/AGS

Comprehensive patterns for Next.js 14+ App Router architecture, Server Components, and modern full-stack React development.

ASoudy/AGS

Next.js App Router principles. Server Components, data fetching, routing patterns.

ASoudy/AGS

Expert integration of Supabase Auth with Next.js App Router

ASoudy/AGS

React and Next.js 14+ application development with App Router, Server Components, TypeScript, Tailwind CSS, and modern frontend patterns.

ASoudy/AGS

Best practices for Remotion - Video creation in React

ASoudy/AGS

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

ASoudy/AGS

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

ASoudy/AGS

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

ASoudy/AGS

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

Skills associés