Communitygithub.com

AbobakrDiara61/railway-system

Percepção, indexação e edição de vídeo e áudio. Ingira arquivos/URLs/streams ao vivo, crie índices visuais/falados, pesquise com timestamps, edite timelines, adicione sobreposições/legendas, gere mídia e crie alertas em tempo real.

O que é railway-system?

Esta skill capacita um agente de IA a perceber, indexar e editar vídeo e áudio a partir de arquivos, URLs, sessões de desktop ou streamings ao vivo. Ela integra ingestão de mídia com transcodificação, construção de índices visuais e falados, pesquisa semântica com timestamps e links de evidência reproduzíveis, além de edição avançada de linha do tempo (timeline) — incluindo legendas, sobreposições, áudio de fundo e composições programáticas. Projetada para plataformas como Claude Code, Cursor e Codex, a skill expõe uma API Python unificada (SDK VideoDB) que abstrai operações complexas de mídia. O agente pode iniciar/parar captura de tela, áudio e sistema em sessões de desktop, criar alertas em tempo real com base no que é falado ou mostrado, e resumir sessões com uma timeline pesquisável. Também suporta streams RTSP para monitoramento contínuo, gerando eventos e alertas. O fluxo típico envolve carregar um vídeo (URL, arquivo local ou YouTube), indexá-lo (palavras faladas ou cenas visuais), pesquisar por trechos específicos e montar um resultado editado (clipes, legendas, áudio) em um link de streaming. A configuração requer a chave `VIDEO_DB_API_KEY` definida no ambiente ou em um arquivo `.env`, e o SDK é instalado via pip (`videodb[capture]` para captura de desktop ou `videodb` para funções básicas). A skill lida automaticamente com erros comuns (como indexação duplicada ou pesquisa sem resultados) e recomenda validação de timestamps para evitar saídas quebradas. Não utilize ferramentas locais (ffmpeg, moviepy) para operações que o SDK já suporta no servidor; consulte a documentação de referência para casos avançados ou limitações.

Funciona com✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AbobakrDiara61/railway-system/tree/HEAD/frontend/skills/videodb

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Skill VideoDB

Percepção + memória + ações para vídeo, streams ao vivo e sessões de desktop.

Use esta skill quando precisar de:

Quando Usar

  • Você precisa de percepção, indexação, pesquisa ou edição de timeline de vídeo ou áudio a partir de arquivos, URLs, sessões de desktop ou streams ao vivo.
  • A tarefa envolve timestamps, evidências pesquisáveis, legendas, clipes, sobreposições ou alertas de monitoramento em tempo real.
  • Você deseja um fluxo de trabalho que combine ingestão, compreensão, recuperação e ações de mídia.

1) Percepção de Desktop

  • Iniciar/parar uma sessão de desktop capturando tela, microfone e áudio do sistema
  • Transmitir contexto ao vivo e armazenar memória episódica de sessão
  • Executar alertas/gatilhos em tempo real sobre o que é falado e o que acontece na tela
  • Produzir resumos de sessão, uma timeline pesquisável e links de evidência reproduzíveis

2) Ingestão de vídeo + streaming

  • Ingerir um arquivo ou URL e retornar um link de streaming web reproduzível
  • Transcodificar/normalizar: codec, bitrate, fps, resolução, proporção de tela

3) Indexar + pesquisar (timestamps + evidência)

  • Construir índices visual, falado e de palavras-chave
  • Pesquisar e retornar momentos exatos com timestamps e evidência reproduzível
  • Criar automaticamente clipes a partir dos resultados da pesquisa

4) Edição de timeline + geração

  • Legendas: gerar, traduzir, incorporar
  • Sobreposições: texto/imagem/marca, legendas animadas
  • Áudio: música de fundo, narração, dublagem
  • Composição programática e exportações via operações de timeline

5) Streams ao vivo (RTSP) + monitoramento

  • Conectar feeds RTSP/ao vivo
  • Executar compreensão visual e falada em tempo real e emitir eventos/alertas para fluxos de monitoramento

Entradas comuns

  • Caminho de arquivo local, URL pública ou URL RTSP
  • Solicitação de captura de desktop: iniciar / parar / resumir sessão
  • Operações desejadas: obter contexto para compreensão, especificação de transcodificação, especificação de índice, consulta de pesquisa, intervalos de clipe, edições de timeline, regras de alerta

Saídas comuns

  • URL de streaming
  • Resultados de pesquisa com timestamps e links de evidência
  • Ativos gerados: legendas, áudio, imagens, clipes
  • Cargas de evento/alerta para streams ao vivo
  • Resumos de sessão de desktop e entradas de memória

Prompts canônicos (exemplos)

  • "Inicie a captura de desktop e alerte quando um campo de senha aparecer."
  • "Grave minha sessão e produza um resumo acionável quando terminar."
  • "Ingira este arquivo e retorne um link de streaming reproduzível."
  • "Indexe esta pasta e encontre cada cena com pessoas, retorne timestamps."
  • "Gere legendas, incorpore-as e adicione música de fundo suave."
  • "Conecte esta URL RTSP e alerte quando uma pessoa entrar na zona."

Executando código Python

Antes de executar qualquer código VideoDB, mude para o diretório do projeto e carregue as variáveis de ambiente:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Isso lê VIDEO_DB_API_KEY de:

  1. Ambiente (se já exportado)
  2. Arquivo .env do projeto no diretório atual

Se a chave estiver faltando, videodb.connect() levanta AuthenticationError automaticamente.

NÃO escreva um arquivo de script quando um comando inline curto funcionar.

Ao escrever Python inline (python -c "..."), use sempre código formatado corretamente — use ponto e vírgula para separar instruções e mantenha legível. Para qualquer coisa com mais de ~3 instruções, use um heredoc:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Vídeos: {len(coll.get_videos())}")
EOF

Configuração

Quando o usuário pedir para "configurar videodb" ou similar:

1. Instalar SDK

pip install "videodb[capture]" python-dotenv

Se videodb[capture] falhar no Linux, instale sem o extra capture:

pip install videodb python-dotenv

2. Configurar chave de API

O usuário deve definir VIDEO_DB_API_KEY usando um dos métodos:

  • Exportar no terminal (antes de iniciar o Claude): export VIDEO_DB_API_KEY=sua-chave
  • Arquivo .env do projeto: Salve VIDEO_DB_API_KEY=sua-chave no arquivo .env do projeto

Obtenha uma chave de API gratuita em https://console.videodb.io (50 uploads grátis, sem cartão de crédito).

NÃO leia, escreva ou manipule a chave de API você mesmo. Sempre deixe o usuário configurá-la.

Referência Rápida

Enviar mídia

# URL
video = coll.upload(url="https://exemplo.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Arquivo local
video = coll.upload(file_path="/caminho/para/video.mp4")

Transcrição + legenda

# force=True pula o erro se o vídeo já foi indexado
video.index_spoken_words(force=True)
texto = video.get_transcript_text()
url_stream = video.add_subtitle()

Pesquisar dentro de vídeos

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() levanta InvalidRequestError quando nenhum resultado é encontrado.
# Sempre envolva em try/except e trate "Nenhum resultado encontrado" como vazio.
try:
    resultados = video.search("demonstração de produto")
    shots = resultados.get_shots()
    url_stream = resultados.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Pesquisa de cena

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() não tem parâmetro force — ele levanta um erro se um índice
# de cena já existir. Extraia o ID do índice existente do erro.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Descreva o conteúdo visual desta cena.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# Use score_threshold para filtrar ruído de baixa relevância (recomendado: 0.3+)
try:
    resultados = video.search(
        query="pessoa escrevendo em um quadro branco",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = resultados.get_shots()
    url_stream = resultados.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Edição de timeline

Importante: Sempre valide timestamps antes de construir uma timeline:

  • start deve ser >= 0 (valores negativos são aceitos silenciosamente mas produzem saída quebrada)
  • start deve ser < end
  • end deve ser <= video.length
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="Fim", duration=3, style=TextStyle(fontsize=36)))
url_stream = timeline.generate_stream()

Transcodificar vídeo (mudança de resolução / qualidade)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# Altere resolução, qualidade ou proporção de tela no servidor
job_id = conn.transcode(
    source="https://exemplo.com/video.mp4",
    callback_url="https://exemplo.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

Redimensionar proporção de tela (para plataformas sociais)

Aviso: reframe() é uma operação lenta no servidor. Para vídeos longos pode levar vários minutos e pode expirar. Melhores práticas:

  • Sempre limite a um segmento curto usando start/end quando possível
  • Para vídeos completos, use callback_url para processamento assíncrono
  • Corte o vídeo em uma Timeline primeiro, depois redimensione o resultado mais curto
from videodb import ReframeMode

# Sempre prefira redimensionar um segmento curto:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# Reframe assíncrono para vídeos completos (retorna None, resultado via webhook):
video.reframe(target="vertical", callback_url="https://exemplo.com/webhook")

# Predefinições: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# Dimensões personalizadas
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

Mídia generativa

imagem = coll.generate_image(
    prompt="um pôr do sol sobre montanhas",
    aspect_ratio="16:9",
)

Tratamento de erros

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("Verifique sua VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://exemplo.com/video.mp4")
except InvalidRequestError as e:
    print(f"Falha no upload: {e}")

Armadilhas comuns

CenárioMensagem de erroSolução
Indexar um vídeo já indexadoSpoken word index for video already existsUse video.index_spoken_words(force=True) para pular se já indexado
Índice de cena já existeScene index with id XXXX already existsExtraia o scene_index_id existente do erro com re.search(r"id\s+([a-f0-9]+)", str(e))
Pesquisa não encontra correspondênciasInvalidRequestError: No results foundCapture a exceção e trate como resultados vazios (shots = [])
Reframe expiraBloqueia indefinidamente em vídeos longosUse start/end para limitar o segmento, ou passe callback_url para assíncrono
Timestamps negativos na TimelineProduz silenciosamente um stream quebradoSempre valide start >= 0 antes de criar VideoAsset
generate_video() / create_collection() falhaOperation not allowed ou maximum limitRecursos limitados por plano — informe o usuário sobre limites do plano

Documentação adicional

A documentação de referência está no diretório reference/ adjacente a este arquivo SKILL.md. Use a ferramenta Glob para localizá-la se necessário.

Gravação de Tela (Captura de Desktop)

Use ws_listener.py para capturar eventos WebSocket durante sessões de gravação. A captura de desktop suporta apenas macOS.

Início Rápido

  1. Iniciar listener: python scripts/ws_listener.py &
  2. Obter ID WebSocket: cat /tmp/videodb_ws_id
  3. Executar código de captura (veja reference/capture.md para fluxo completo)
  4. Eventos escritos em: /tmp/videodb_events.jsonl

Consultar Eventos

import json
eventos = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# Obter todas as transcrições
transcricoes = [e["data"]["text"] for e in eventos if e.get("channel") == "transcript"]

# Obter descrições visuais dos últimos 5 minutos
import time
corte = time.time() - 300
visual_recente = [e for e in eventos 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > corte]

Scripts Úteis

Para fluxo completo de captura, veja reference/capture.md.

Não use ffmpeg, moviepy ou ferramentas locais de codificação quando o VideoDB suportar a operação. Todas as operações seguintes são tratadas no servidor pelo VideoDB — cortar, combinar clipes, sobrepor áudio ou música, adicionar legendas, sobreposições de texto/imagem, transcodificar, mudar resolução, converter proporção de tela, redimensionar para requisitos de plataforma, transcrição e geração de mídia. Recorra a ferramentas locais apenas para operações listadas em Limitações no reference/editor.md (transições, mudanças de velocidade, corte/zoom, correção de cor, mixagem de volume).

Quando usar o quê

ProblemaSolução VideoDB
Plataforma rejeita proporção ou resolução de vídeovideo.reframe() ou conn.transcode() com VideoConfig
Precisa redimensionar vídeo para Twitter/Instagram/TikTokvideo.reframe(target="vertical") ou target="square"
Precisa mudar resolução (ex.: 1080p → 720p)conn.transcode() com VideoConfig(resolution=720)
Precisa sobrepor áudio/música em vídeoAudioAsset em uma Timeline
Precisa adicionar legendasvideo.add_subtitle() ou CaptionAsset
Precisa combinar/cortar clipesVideoAsset em uma Timeline
Precisa gerar narração, música ou efeito sonorocoll.generate_voice(), generate_music(), generate_sound_effect()

Repositório

https://github.com/video-db/skills

Mantido por: VideoDB

Limitações

  • Use esta skill apenas quando a tarefa corresponder claramente ao escopo descrito acima.
  • Não trate a saída como substituta para validação específica de ambiente, testes ou revisão especializada.
  • Pare e peça esclarecimentos se entradas necessárias, permissões, limites de segurança ou critérios de sucesso estiverem faltando.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

AbobakrDiara61/railway-system

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

AbobakrDiara61/railway-system

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

AbobakrDiara61/railway-system

Astropy is the core Python package for astronomy, providing essential functionality for astronomical research and data analysis.

AbobakrDiara61/railway-system

One sentence - what this skill does and when to invoke it

AbobakrDiara61/railway-system

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

AbobakrDiara61/railway-system

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

AbobakrDiara61/railway-system

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

AbobakrDiara61/railway-system

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

AbobakrDiara61/railway-system

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

AbobakrDiara61/railway-system

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

AbobakrDiara61/railway-system

Best practices for Remotion - Video creation in React

AbobakrDiara61/railway-system

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

AbobakrDiara61/railway-system

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

AbobakrDiara61/railway-system

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

AbobakrDiara61/railway-system

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

AbobakrDiara61/railway-system

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

AbobakrDiara61/railway-system

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

AbobakrDiara61/railway-system

One sentence - what this skill does and when to invoke it

AbobakrDiara61/railway-system

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

AbobakrDiara61/railway-system

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Habilidades Relacionadas