Communitygithub.com

AbobakrDiara61/railway-system

비디오 및 오디오 인식, 인덱싱, 편집. 파일/URL/라이브 스트림을 처리하고, 시각적/음성 인덱스를 구축하며, 타임스탬프로 검색하고, 타임라인을 편집하고, 오버레이/자막을 추가하고, 미디어를 생성하고, 실시간 알림을 만듭니다.

railway-system란 무엇인가요?

이 스킬은 VideoDB를 기반으로 비디오와 오디오 콘텐츠에 대한 인식, 인덱싱, 검색, 편집 및 생성을 위한 완전한 워크플로우를 제공합니다. 파일, URL, 라이브 스트림(RTSP), 데스크톱 세션 등 다양한 입력 소스를 지원하며, 시각적/음성/키워드 인덱스를 자동으로 구축하여 특정 순간을 타임스탬프와 함께 검색할 수 있습니다. 또한 타임라인 편집을 통해 자막 생성/번역/굽기, 오버레이 추가, 배경 음악/음성 해설/더빙, 클립 제작 등의 고급 미디어 편집 기능을 제공합니다. 실시간 모니터링 알림과 데스크톱 화면/음성 캡처를 통한 세션 메모리 저장 기능은 보안 모니터링, 콘텐츠 제작, 미디어 분석 등 다양한 개발자 도구와 AI 에이전트 워크플로우에 이상적입니다. 주요 플랫폼은 Python SDK 기반으로 macOS, Linux에서 사용 가능하며, `videodb` 라이브러리 설치와 API 키 설정만으로 빠르게 시작할 수 있습니다.

지원 대상✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AbobakrDiara61/railway-system/tree/HEAD/frontend/skills/videodb

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

VideoDB Skill

비디오, 라이브 스트림, 데스크톱 세션을 위한 인식 + 메모리 + 액션

다음과 같은 작업이 필요할 때 이 스킬을 사용하세요:

사용 시기

  • 파일, URL, 데스크톱 세션 또는 라이브 스트림에서 비디오 또는 오디오 인식, 인덱싱, 검색 또는 타임라인 편집이 필요한 경우
  • 타임스탬프, 검색 가능한 증거, 자막, 클립, 오버레이 또는 실시간 모니터링 알림이 관련된 작업
  • 수집, 이해, 검색, 미디어 액션을 결합한 단일 워크플로우가 필요한 경우

1) 데스크톱 인식

  • 화면, 마이크, 시스템 오디오를 캡처하는 데스크톱 세션 시작/중지
  • 실시간 컨텍스트 스트리밍 및 에피소드 세션 메모리 저장
  • 화면에서 말해지고 일어나는 일에 대한 실시간 알림/트리거 실행
  • 세션 요약, 검색 가능한 타임라인 및 재생 가능한 증거 링크 생성

2) 비디오 수집 + 스트리밍

  • 파일 또는 URL을 수집하고 재생 가능한 웹 스트림 링크 반환
  • 트랜스코딩/정규화: 코덱, 비트레이트, FPS, 해상도, 종횡비

3) 인덱싱 + 검색 (타임스탬프 + 증거)

  • 시각적, 음성, 키워드 인덱스 구축
  • 타임스탬프 및 재생 가능한 증거와 함께 정확한 순간 검색 및 반환
  • 검색 결과에서 클립 자동 생성

4) 타임라인 편집 + 생성

  • 자막: 생성, 번역, 굽기
  • 오버레이: 텍스트/이미지/브랜딩, 모션 캡션
  • 오디오: 배경 음악, 음성 해설, 더빙
  • 타임라인 연산을 통한 프로그래매틱 구성 및 내보내기

5) 라이브 스트림 (RTSP) + 모니터링

  • RTSP/라이브 피드 연결
  • 실시간 시각적 및 음성 이해 실행 및 모니터링 워크플로우를 위한 이벤트/알림 발행

일반적인 입력

  • 로컬 파일 경로, 공개 URL 또는 RTSP URL
  • 데스크톱 캡처 요청: 세션 시작 / 중지 / 요약
  • 원하는 작업: 이해를 위한 컨텍스트 가져오기, 트랜스코딩 사양, 인덱스 사양, 검색 쿼리, 클립 범위, 타임라인 편집, 알림 규칙

일반적인 출력

  • 스트림 URL
  • 타임스탬프 및 증거 링크가 포함된 검색 결과
  • 생성된 자산: 자막, 오디오, 이미지, 클립
  • 라이브 스트림을 위한 이벤트/알림 페이로드
  • 데스크톱 세션 요약 및 메모리 항목

표준 프롬프트 (예시)

  • "데스크톱 캡처를 시작하고 비밀번호 필드가 나타나면 알림을 보내줘."
  • "내 세션을 녹화하고 종료될 때 실행 가능한 요약을 생성해줘."
  • "이 파일을 수집하고 재생 가능한 스트림 링크를 반환해줘."
  • "이 폴더를 인덱싱하고 사람이 있는 모든 장면을 찾아 타임스탬프를 반환해줘."
  • "자막을 생성하고, 굽고, 가벼운 배경 음악을 추가해줘."
  • "이 RTSP URL에 연결하고 사람이 구역에 들어오면 알림을 보내줘."

Python 코드 실행

VideoDB 코드를 실행하기 전에 프로젝트 디렉토리로 변경하고 환경 변수를 로드하세요:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

이렇게 하면 VIDEO_DB_API_KEY를 다음 순서로 읽습니다:

  1. 환경 변수 (이미 내보낸 경우)
  2. 현재 디렉토리의 프로젝트 .env 파일

키가 없으면 videodb.connect()가 자동으로 AuthenticationError를 발생시킵니다.

짧은 인라인 명령어로 충분할 때는 스크립트 파일을 작성하지 마세요.

인라인 Python (python -c "...")을 작성할 때는 항상 적절히 포맷된 코드를 사용하세요 — 문장을 구분하려면 세미콜론을 사용하고 가독성을 유지하세요. 약 3문장보다 긴 경우 대신 heredoc을 사용하세요:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

설정

사용자가 "videodb 설정" 또는 유사한 작업을 요청할 때:

1. SDK 설치

pip install "videodb[capture]" python-dotenv

Linux에서 videodb[capture]가 실패하면 캡처 기능 없이 설치하세요:

pip install videodb python-dotenv

2. API 키 구성

사용자는 다음 방법 중 하나를 사용하여 VIDEO_DB_API_KEY를 설정해야 합니다:

  • 터미널에서 내보내기 (Claude 시작 전): export VIDEO_DB_API_KEY=your-key
  • 프로젝트 .env 파일: 프로젝트의 .env 파일에 VIDEO_DB_API_KEY=your-key 저장

무료 API 키는 https://console.videodb.io 에서 받을 수 있습니다 (50회 무료 업로드, 신용카드 불필요).

API 키를 직접 읽거나, 쓰거나, 처리하지 마세요. 항상 사용자가 설정하도록 하세요.

빠른 참조

미디어 업로드

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# 로컬 파일
video = coll.upload(file_path="/path/to/video.mp4")

자막 + 트랜스크립트

# force=True는 비디오가 이미 인덱싱된 경우 오류를 건너뜁니다
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

비디오 내부 검색

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search()는 결과가 없을 때 InvalidRequestError를 발생시킵니다.
# 항상 try/except로 감싸고 "결과 없음"을 빈 값으로 처리하세요.
try:
    results = video.search("product demo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

장면 검색

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes()에는 force 매개변수가 없습니다 — 장면 인덱스가 이미 있으면 오류를 발생시킵니다.
# 오류에서 기존 인덱스 ID를 추출하세요.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="Describe the visual content in this scene.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# score_threshold를 사용하여 낮은 관련성 노이즈를 필터링합니다 (권장: 0.3+)
try:
    results = video.search(
        query="person writing on a whiteboard",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

타임라인 편집

중요: 타임라인을 구축하기 전에 항상 타임스탬프의 유효성을 검증하세요:

  • start는 >= 0이어야 합니다 (음수 값은 자동으로 허용되지만 깨진 출력을 생성합니다)
  • start는 < end여야 합니다
  • end는 <= video.length여야 합니다
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="The End", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

비디오 트랜스코딩 (해상도/품질 변경)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# 서버 측 해상도, 품질 또는 종횡비 변경
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

종횡비 재구성 (소셜 플랫폼용)

경고: reframe()은 느린 서버 측 작업입니다. 긴 비디오의 경우 몇 분이 걸릴 수 있으며 시간 초과될 수 있습니다. 모범 사례:

  • 가능하면 항상 start/end를 사용하여 짧은 세그먼트로 제한하세요
  • 전체 길이 비디오의 경우 비동기 처리를 위해 callback_url을 사용하세요
  • 먼저 Timeline에서 비디오를 자른 다음, 더 짧은 결과를 재구성하세요
from videodb import ReframeMode

# 항상 짧은 세그먼트를 재구성하는 것을 선호합니다:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# 전체 길이 비디오에 대한 비동기 재구성 (None 반환, 웹훅을 통해 결과):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# 프리셋: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# 사용자 정의 크기
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

생성형 미디어

image = coll.generate_image(
    prompt="a sunset over mountains",
    aspect_ratio="16:9",
)

오류 처리

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("VIDEO_DB_API_KEY를 확인하세요")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"업로드 실패: {e}")

흔한 함정

시나리오오류 메시지해결책
이미 인덱싱된 비디오 인덱싱Spoken word index for video already existsvideo.index_spoken_words(force=True)를 사용하여 이미 인덱싱된 경우 건너뜁니다
장면 인덱스가 이미 존재함Scene index with id XXXX already existsre.search(r"id\s+([a-f0-9]+)", str(e))로 오류에서 기존 scene_index_id를 추출합니다
검색 결과 없음InvalidRequestError: No results found예외를 잡고 빈 결과로 처리합니다 (shots = [])
재구성 시간 초과긴 비디오에서 무기한 차단됨start/end를 사용하여 세그먼트를 제한하거나 비동기 처리를 위해 callback_url을 전달합니다
타임라인의 음수 타임스탬프자동으로 깨진 스트림 생성VideoAsset을 만들기 전에 항상 start >= 0인지 검증합니다
generate_video() / create_collection() 실패Operation not allowed 또는 maximum limit요금제 제한 기능 — 사용자에게 요금제 제한에 대해 알립니다

추가 문서

참조 문서는 이 SKILL.md 파일과 동일한 디렉토리의 reference/ 디렉토리에 있습니다. 필요한 경우 Glob 도구를 사용하여 찾으세요.

화면 녹화 (데스크톱 캡처)

녹화 세션 중에 WebSocket 이벤트를 캡처하려면 ws_listener.py를 사용하세요. 데스크톱 캡처는 macOS만 지원합니다.

빠른 시작

  1. 리스너 시작: python scripts/ws_listener.py &
  2. WebSocket ID 가져오기: cat /tmp/videodb_ws_id
  3. 캡처 코드 실행 (전체 워크플로우는 reference/capture.md 참조)
  4. 이벤트 기록 위치: /tmp/videodb_events.jsonl

이벤트 쿼리

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# 모든 트랜스크립트 가져오기
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# 마지막 5분 동안의 시각적 설명 가져오기
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

유틸리티 스크립트

전체 캡처 워크플로우는 reference/capture.md를 참조하세요.

VideoDB가 작업을 지원하는 경우 ffmpeg, moviepy 또는 로컬 인코딩 도구를 사용하지 마십시오. 다음은 모두 VideoDB에서 서버 측으로 처리됩니다: 트리밍, 클립 결합, 오디오 또는 음악 오버레이, 자막 추가, 텍스트/이미지 오버레이, 트랜스코딩, 해상도 변경, 종횡비 변환, 플랫폼 요구 사항에 따른 크기 조정, 트랜스크립션 및 미디어 생성. 로컬 도구는 reference/editor.md의 제한 사항에 나열된 작업(전환, 속도 변경, 자르기/확대, 색 보정, 볼륨 믹싱)에만 사용하세요.

무엇을 사용할지 언제 사용할지

문제VideoDB 솔루션
플랫폼이 비디오 종횡비 또는 해상도를 거부함video.reframe() 또는 VideoConfig를 사용한 conn.transcode()
Twitter/Instagram/TikTok용 비디오 크기 조정 필요video.reframe(target="vertical") 또는 target="square"
해상도 변경 필요 (예: 1080p → 720p)VideoConfig(resolution=720)을 사용한 conn.transcode()
비디오에 오디오/음악 오버레이 필요Timeline의 AudioAsset
자막 추가 필요video.add_subtitle() 또는 CaptionAsset
클립 결합/트리밍 필요Timeline의 VideoAsset
음성 해설, 음악 또는 SFX 생성 필요coll.generate_voice(), generate_music(), generate_sound_effect()

저장소

https://github.com/video-db/skills

유지 관리: VideoDB

제한 사항

  • 이 스킬은 작업이 위에서 설명한 범위와 명확하게 일치하는 경우에만 사용하십시오.
  • 출력을 환경별 검증, 테스트 또는 전문가 검토의 대체물로 취급하지 마십시오.
  • 필요한 입력, 권한, 안전 경계 또는 성공 기준이 누락된 경우 중단하고 설명을 요청하십시오.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

AbobakrDiara61/railway-system

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

AbobakrDiara61/railway-system

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

AbobakrDiara61/railway-system

Astropy is the core Python package for astronomy, providing essential functionality for astronomical research and data analysis.

AbobakrDiara61/railway-system

One sentence - what this skill does and when to invoke it

AbobakrDiara61/railway-system

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

AbobakrDiara61/railway-system

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

AbobakrDiara61/railway-system

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

AbobakrDiara61/railway-system

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

AbobakrDiara61/railway-system

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

AbobakrDiara61/railway-system

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

AbobakrDiara61/railway-system

Best practices for Remotion - Video creation in React

AbobakrDiara61/railway-system

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

AbobakrDiara61/railway-system

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

AbobakrDiara61/railway-system

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

AbobakrDiara61/railway-system

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

AbobakrDiara61/railway-system

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

AbobakrDiara61/railway-system

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

AbobakrDiara61/railway-system

One sentence - what this skill does and when to invoke it

AbobakrDiara61/railway-system

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

AbobakrDiara61/railway-system

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

관련 스킬