Communitygithub.com

VideoDB Skill

Percepción de video y audio, indexación y edición. Ingesta archivos/URLs/streams en vivo, construye índices visuales y de voz, busca con marcas de tiempo, edita líneas de tiempo, añade superposiciones/subtítulos, genera contenido multimedia y crea alertas en tiempo real.

¿Qué es VideoDB Skill?

Este skill está diseñado para dotar a un agente de IA de la capacidad de percibir, indexar, buscar, editar y generar contenido de video y audio. Es especialmente útil en tareas que involucran archivos de video, URL, transmisiones en vivo o sesiones de escritorio. El agente puede iniciar/detener la captura de escritorio (con audio de micrófono y sistema), indexar contenido visual y hablado, buscar momentos exactos con marcas de tiempo, crear clips, editar líneas de tiempo (subtítulos, superposiciones, voces en off, música de fondo), y configurar alertas en tiempo real basadas en lo que se ve o se dice. Soporta múltiples plataformas de agentes (Claude Code, Cursor, Codex, etc.) y se integra con la API de VideoDB, manejando la autenticación a través de la clave `VIDEO_DB_API_KEY`. El skill proporciona ejemplos de código Python para todas las operaciones comunes, manejo de errores y referencias detalladas para casos de uso avanzados. Es una solución integral que evita el uso de herramientas locales como ffmpeg para la mayoría de las operaciones, delegándolas al servidor de VideoDB.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ASoudy/AGS/tree/HEAD/AGAS/plugins/antigravity-awesome-skills-claude/skills/videodb

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Skill VideoDB

Percepción + memoria + acciones para video, transmisiones en vivo y sesiones de escritorio.

Usa este skill cuando necesites:

Cuándo Usarlo

  • Necesitas percepción de video o audio, indexación, búsqueda o edición de líneas de tiempo a partir de archivos, URLs, sesiones de escritorio o transmisiones en vivo.
  • La tarea implica marcas de tiempo, evidencia buscable, subtítulos, clips, superposiciones o alertas de monitoreo en tiempo real.
  • Deseas un flujo de trabajo único que combine ingesta, comprensión, recuperación y acciones multimedia.

1) Percepción de Escritorio

  • Iniciar/detener una sesión de escritorio capturando pantalla, micrófono y audio del sistema
  • Transmitir contexto en vivo y almacenar memoria episódica de la sesión
  • Ejecutar alertas/desencadenantes en tiempo real sobre lo que se habla y lo que sucede en pantalla
  • Producir resúmenes de sesión, una línea de tiempo buscable y enlaces de evidencia reproducibles

2) Ingesta de video + streaming

  • Ingerir un archivo o URL y devolver un enlace de stream web reproducible
  • Transcodificar/normalizar: códec, bitrate, fps, resolución, relación de aspecto

3) Indexar + buscar (marcas de tiempo + evidencia)

  • Construir índices visual, de voz y de palabras clave
  • Buscar y devolver momentos exactos con marcas de tiempo y evidencia reproducible
  • Crear clips automáticamente a partir de los resultados de búsqueda

4) Edición de línea de tiempo + generación

  • Subtítulos: generar, traducir, incrustar
  • Superposiciones: texto/imagen/marca, leyendas animadas
  • Audio: música de fondo, voz en off, doblaje
  • Composición programática y exportaciones mediante operaciones de línea de tiempo

5) Transmisiones en vivo (RTSP) + monitoreo

  • Conectar flujos en vivo RTSP
  • Ejecutar comprensión visual y de voz en tiempo real y emitir eventos/alertas para flujos de monitoreo

Entradas comunes

  • Ruta de archivo local, URL pública o URL RTSP
  • Solicitud de captura de escritorio: iniciar / detener / resumir sesión
  • Operaciones deseadas: obtener contexto para comprensión, especificación de transcodificación, especificación de índice, consulta de búsqueda, rangos de clip, ediciones de línea de tiempo, reglas de alerta

Salidas comunes

  • URL del stream
  • Resultados de búsqueda con marcas de tiempo y enlaces de evidencia
  • Activos generados: subtítulos, audio, imágenes, clips
  • Cargas de eventos/alertas para transmisiones en vivo
  • Resúmenes de sesión de escritorio y entradas de memoria

Prompts canónicos (ejemplos)

  • "Inicia la captura de escritorio y alerta cuando aparezca un campo de contraseña."
  • "Graba mi sesión y produce un resumen procesable cuando termine."
  • "Ingiere este archivo y devuelve un enlace de stream reproducible."
  • "Indexa esta carpeta y encuentra cada escena con personas, devuelve marcas de tiempo."
  • "Genera subtítulos, incrústalos y añade música de fondo ligera."
  • "Conecta esta URL RTSP y alerta cuando una persona entre en la zona."

Ejecución de código Python

Antes de ejecutar cualquier código de VideoDB, cambia al directorio del proyecto y carga las variables de entorno:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Esto lee VIDEO_DB_API_KEY de:

  1. El entorno (si ya está exportada)
  2. El archivo .env del proyecto en el directorio actual

Si la clave falta, videodb.connect() lanza AuthenticationError automáticamente.

NO escribas un archivo de script cuando un comando inline corto funcione.

Al escribir Python inline (python -c "..."), usa siempre código con formato adecuado: usa punto y coma para separar sentencias y mantenlo legible. Para cualquier cosa de más de ~3 sentencias, usa un heredoc en su lugar:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Configuración

Cuando el usuario pida "configurar videodb" o similar:

1. Instalar SDK

pip install "videodb[capture]" python-dotenv

Si videodb[capture] falla en Linux, instala sin el extra de captura:

pip install videodb python-dotenv

2. Configurar clave API

El usuario debe establecer VIDEO_DB_API_KEY usando cualquiera de estos métodos:

  • Exportar en la terminal (antes de iniciar Claude): export VIDEO_DB_API_KEY=tu-clave
  • Archivo .env del proyecto: Guarda VIDEO_DB_API_KEY=tu-clave en el archivo .env del proyecto

Obtén una clave API gratuita en https://console.videodb.io (50 subidas gratuitas, sin tarjeta de crédito).

NO leas, escribas ni manejes la clave API tú mismo. Deja siempre que el usuario la configure.

Referencia rápida

Subir contenido multimedia

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Archivo local
video = coll.upload(file_path="/path/to/video.mp4")

Transcripción + subtítulo

# force=True omite el error si el video ya está indexado
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

Búsqueda dentro de videos

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() lanza InvalidRequestError cuando no se encuentran resultados.
# Siempre envuélvelo en try/except y trata "No results found" como vacío.
try:
    results = video.search("demo de producto")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Búsqueda de escenas

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() no tiene parámetro force: lanza un error si un índice
# de escena ya existe. Extrae el ID del índice existente del error.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Describe el contenido visual en esta escena.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# Usa score_threshold para filtrar ruido de baja relevancia (recomendado: 0.3+)
try:
    results = video.search(
        query="persona escribiendo en una pizarra",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Edición de línea de tiempo

Importante: Siempre valida las marcas de tiempo antes de construir una línea de tiempo:

  • start debe ser >= 0 (los valores negativos se aceptan silenciosamente pero producen salida incorrecta)
  • start debe ser < end
  • end debe ser <= video.length
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="El Fin", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

Transcodificar video (cambio de resolución/calidad)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Cambia resolución, calidad o relación de aspecto del lado del servidor
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Reencuadrar relación de aspecto (para plataformas sociales)

Advertencia: reframe() es una operación lenta del lado del servidor. Para videos largos puede llevar varios minutos y puede agotar el tiempo de espera. Buenas prácticas:

  • Siempre limita a un segmento corto usando start/end cuando sea posible
  • Para videos de larga duración, usa callback_url para procesamiento asíncrono
  • Primero recorta el video en una Timeline, luego reencuadra el resultado más corto
from videodb import ReframeMode

# Siempre prefiere reencuadrar un segmento corto:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Reencuadre asíncrono para videos completos (devuelve None, resultado vía webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# Predefinidos: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Dimensiones personalizadas
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Contenido multimedia generativo

image = coll.generate_image(
    prompt="un atardecer sobre montañas",
    aspect_ratio="16:9",
)

Manejo de errores

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Revisa tu VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"Error al subir: {e}")

Errores comunes

EscenarioMensaje de errorSolución
Indexar un video ya indexadoSpoken word index for video already existsUsa video.index_spoken_words(force=True) para omitir si ya está indexado
El índice de escena ya existeScene index with id XXXX already existsExtrae el scene_index_id existente del error con re.search(r"id\s+([a-f0-9]+)", str(e))
La búsqueda no encuentra coincidenciasInvalidRequestError: No results foundCaptura la excepción y trátala como resultados vacíos (shots = [])
Reencuadre agota tiempo de esperaSe bloquea indefinidamente en videos largosUsa start/end para limitar el segmento, o pasa callback_url para asíncrono
Marcas de tiempo negativas en TimelineProduce silenciosamente un stream defectuosoSiempre valida start >= 0 antes de crear VideoAsset
generate_video() / create_collection() fallaOperation not allowed o maximum limitFunciones limitadas por plan: informa al usuario sobre los límites del plan

Documentación adicional

La documentación de referencia está en el directorio reference/ adyacente a este archivo SKILL.md. Usa la herramienta Glob para localizarla si es necesario.

Grabación de pantalla (Captura de escritorio)

Usa ws_listener.py para capturar eventos WebSocket durante las sesiones de grabación. La captura de escritorio solo es compatible con macOS.

Inicio rápido

  1. Iniciar listener: python scripts/ws_listener.py &
  2. Obtener ID de WebSocket: cat /tmp/videodb_ws_id
  3. Ejecutar código de captura (consulta reference/capture.md para el flujo completo)
  4. Eventos escritos en: /tmp/videodb_events.jsonl

Consultar eventos

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# Obtener todas las transcripciones
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# Obtener descripciones visuales de los últimos 5 minutos
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

Scripts de utilidad

Para el flujo completo de captura, consulta reference/capture.md.

No uses ffmpeg, moviepy, ni herramientas de codificación locales cuando VideoDB admita la operación. Todo lo siguiente se maneja del lado del servidor por VideoDB: recortar, combinar clips, superponer audio o música, añadir subtítulos, superposiciones de texto/imagen, transcodificar, cambiar resolución, convertir relación de aspecto, redimensionar para requisitos de plataforma, transcripción y generación de medios. Solo recurre a herramientas locales para operaciones listadas bajo Limitaciones en reference/editor.md (transiciones, cambios de velocidad, recorte/zoom, gradación de color, mezcla de volumen).

Cuándo usar qué

ProblemaSolución VideoDB
La plataforma rechaza la relación de aspecto o resolución del videovideo.reframe() o conn.transcode() con VideoConfig
Necesitas redimensionar un video para Twitter/Instagram/TikTokvideo.reframe(target="vertical") o target="square"
Necesitas cambiar la resolución (ej. 1080p → 720p)conn.transcode() con VideoConfig(resolution=720)
Necesitas superponer audio/música en un videoAudioAsset en una Timeline
Necesitas añadir subtítulosvideo.add_subtitle() o CaptionAsset
Necesitas combinar/recortar clipsVideoAsset en una Timeline
Necesitas generar voz en off, música o efectos de sonidocoll.generate_voice(), generate_music(), generate_sound_effect()

Repositorio

https://github.com/video-db/skills

Mantenido por: VideoDB

Limitaciones

  • Usa este skill solo cuando la tarea coincida claramente con el alcance descrito anteriormente.
  • No trates la salida como un sustituto de la validación específica del entorno, las pruebas o la revisión de expertos.
  • Detente y pide aclaraciones si faltan entradas requeridas, permisos, límites de seguridad o criterios de éxito.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ASoudy/AGS

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

ASoudy/AGS

Astropy is the core Python package for astronomy, providing essential functionality for astronomical research and data analysis.

ASoudy/AGS

Build content-focused websites with Astro — zero JS by default, islands architecture, multi-framework components, and Markdown/MDX support.

ASoudy/AGS

One sentence - what this skill does and when to invoke it

ASoudy/AGS

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

ASoudy/AGS

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

ASoudy/AGS

Pull a YouTube video transcript into a queryable markdown vault with yt-dlp subtitle discovery, VTT cleanup, metadata frontmatter, and capture-seed stubs.

ASoudy/AGS

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

ASoudy/AGS

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

ASoudy/AGS

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

ASoudy/AGS

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

ASoudy/AGS

Comprehensive patterns for Next.js 14+ App Router architecture, Server Components, and modern full-stack React development.

ASoudy/AGS

Next.js App Router principles. Server Components, data fetching, routing patterns.

ASoudy/AGS

Expert integration of Supabase Auth with Next.js App Router

ASoudy/AGS

React and Next.js 14+ application development with App Router, Server Components, TypeScript, Tailwind CSS, and modern frontend patterns.

ASoudy/AGS

Best practices for Remotion - Video creation in React

ASoudy/AGS

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

ASoudy/AGS

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

ASoudy/AGS

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

ASoudy/AGS

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

Skills relacionados