Communitygithub.com

Desesbraker/agentes-vip

비디오 및 오디오 인지, 인덱싱 및 편집. 파일/URL/라이브 스트림 수집, 시각적/음성 인덱스 구축, 타임스탬프 검색, 타임라인 편집, 오버레이/자막 추가, 미디어 생성 및 실시간 알림 생성

agentes-vip란 무엇인가요?

이 스킬은 VideoDB SDK를 기반으로 동영상, 라이브 스트림 및 데스크톱 세션을 지능적으로 처리할 수 있는 AI 에이전트 기능을 제공합니다. 주요 기능으로는 데스크톱 화면 및 오디오 캡처, 실시간 알림, 세션 요약 생성, 비디오 파일/URL/YouTube 수집 및 스트리밍, 시각적/음성/키워드 기반 인덱싱 및 타임스탬프 검색, 타임라인 편집(자막 생성 및 번역, 오버레이, 배경 음악, 음성 해설), 라이브 RTSP 스트림 모니터링 및 이벤트 알림 등을 지원합니다. Claude Code, Cursor, Codex 등 다양한 AI 에이전트 플랫폼에서 사용할 수 있으며, Pytho SDK를 통해 모든 작업이 서버사이드에서 처리되므로 ffmpeg 같은 로컬 인코딩 도구가 필요하지 않습니다. API 키 설정만으로 즉시 사용 가능하며, 무료 티어에서 50회 업로드를 지원합니다.

지원 대상✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Desesbraker/agentes-vip/tree/HEAD/full%20skill/plugins/antigravity-awesome-skills-claude/skills/videodb

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

VideoDB 스킬

비디오, 라이브 스트림 및 데스크톱 세션을 위한 인지 + 메모리 + 액션.

다음과 같은 작업이 필요할 때 이 스킬을 사용하세요:

1) 데스크톱 인지

  • 화면, 마이크, 시스템 오디오를 캡처하는 데스크톱 세션 시작/중지
  • 실시간 컨텍스트 스트리밍 및 일화적 세션 메모리 저장
  • 말해진 내용과 화면에서 발생하는 상황에 대한 실시간 알림/트리거 실행
  • 세션 요약, 검색 가능한 타임라인 및 재생 가능한 증거 링크 생성

2) 비디오 수집 + 스트리밍

  • 파일 또는 URL을 수집하고 재생 가능한 웹 스트림 링크 반환
  • 트랜스코딩/정규화: 코덱, 비트레이트, FPS, 해상도, 종횡비

3) 인덱싱 + 검색 (타임스탬프 + 증거)

  • 시각적, 음성, 키워드 인덱스 구축
  • 정확한 순간을 타임스탬프 및 재생 가능한 증거와 함께 검색 및 반환
  • 검색 결과에서 클립 자동 생성

4) 타임라인 편집 + 생성

  • 자막: 생성, 번역, 하드코딩
  • 오버레이: 텍스트/이미지/브랜딩, 모션 캡션
  • 오디오: 배경 음악, 음성 해설, 더빙
  • 타임라인 연산을 통한 프로그래매틱 합성 및 내보내기

5) 라이브 스트림 (RTSP) + 모니터링

  • RTSP/라이브 피드 연결
  • 실시간 시각 및 음성 이해 실행 및 모니터링 워크플로우를 위한 이벤트/알림 전송

일반적인 입력

  • 로컬 파일 경로, 공개 URL 또는 RTSP URL
  • 데스크톱 캡처 요청: 시작 / 중지 / 세션 요약
  • 원하는 작업: 이해를 위한 컨텍스트 가져오기, 트랜스코딩 사양, 인덱스 사양, 검색 쿼리, 클립 범위, 타임라인 편집, 알림 규칙

일반적인 출력

  • 스트림 URL
  • 타임스탬프 및 증거 링크가 포함된 검색 결과
  • 생성된 자산: 자막, 오디오, 이미지, 클립
  • 라이브 스트림용 이벤트/알림 페이로드
  • 데스크톱 세션 요약 및 메모리 항목

표준 프롬프트 (예시)

  • "데스크톱 캡처를 시작하고 비밀번호 필드가 나타나면 알림을 보내줘."
  • "내 세션을 녹화하고 종료 시 실행 가능한 요약을 생성해줘."
  • "이 파일을 수집하고 재생 가능한 스트림 링크를 반환해줘."
  • "이 폴더를 인덱싱하고 사람이 있는 모든 장면을 찾아 타임스탬프를 반환해줘."
  • "자막을 생성하고 하드코딩한 후, 가벼운 배경 음악을 추가해줘."
  • "이 RTSP URL에 연결하고 사람이 구역에 들어오면 알림을 보내줘."

Python 코드 실행

VideoDB 코드를 실행하기 전에 프로젝트 디렉토리로 변경하고 환경 변수를 로드하세요:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

이 코드는 VIDEO_DB_API_KEY를 다음 순서로 읽습니다:

  1. 환경 변수 (이미 내보내진 경우)
  2. 현재 디렉토리의 프로젝트 .env 파일

키가 없으면 videodb.connect()가 자동으로 AuthenticationError를 발생시킵니다.

짧은 인라인 명령으로 해결될 경우 스크립트 파일을 작성하지 마세요.

인라인 Python (python -c "...")을 작성할 때는 항상 적절히 포맷된 코드를 사용하세요 — 세미콜론으로 문장을 구분하고 가독성을 유지하세요. 약 3문장보다 긴 경우 대신 heredoc을 사용하세요:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

설정

사용자가 "videodb 설정" 또는 이와 유사한 요청을 할 때:

1. SDK 설치

pip install "videodb[capture]" python-dotenv

Linux에서 videodb[capture]가 실패하면 캡처 옵션 없이 설치하세요:

pip install videodb python-dotenv

2. API 키 구성

사용자는 다음 두 가지 방법 중 하나로 VIDEO_DB_API_KEY를 설정해야 합니다:

  • 터미널에서 내보내기 (Claude 시작 전): export VIDEO_DB_API_KEY=your-key
  • 프로젝트 .env 파일: 프로젝트의 .env 파일에 VIDEO_DB_API_KEY=your-key 저장

https://console.videodb.io 에서 무료 API 키를 받으세요 (50회 무료 업로드, 신용카드 불필요).

API 키를 직접 읽거나, 쓰거나, 처리하지 마세요. 항상 사용자가 설정하도록 하세요.

빠른 참조

미디어 업로드

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# 로컬 파일
video = coll.upload(file_path="/path/to/video.mp4")

자막 + 트랜스크립트

# force=True는 비디오가 이미 인덱싱된 경우 오류를 건너뜁니다
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

비디오 내부 검색

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search()는 결과가 없을 때 InvalidRequestError를 발생시킵니다.
# 항상 try/except로 감싸고 "결과 없음"을 빈 배열로 처리하세요.
try:
    results = video.search("product demo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

장면 검색

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes()에는 force 매개변수가 없습니다 — 장면 인덱스가 이미 존재하면 오류가 발생합니다.
# 오류에서 기존 인덱스 ID를 추출하세요.
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="이 장면의 시각적 내용을 설명하세요.",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# score_threshold를 사용하여 낮은 관련성 노이즈를 필터링하세요 (권장: 0.3 이상)
try:
    results = video.search(
        query="화이트보드에 글을 쓰는 사람",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

타임라인 편집

중요: 타임라인을 만들기 전에 항상 타임스탬프를 검증하세요:

  • start는 0 이상이어야 함 (음수 값은 자동으로 허용되지만 깨진 출력을 생성함)
  • start < end여야 함
  • end <= video.length여야 함
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="The End", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

비디오 트랜스코딩 (해상도/화질 변경)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# 해상도, 화질 또는 종횡비를 서버에서 변경
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

종횡비 변환 (소셜 플랫폼용)

경고: reframe()은 느린 서버 측 작업입니다. 긴 비디오의 경우 몇 분이 걸리고 시간 초과될 수 있습니다. 모범 사례:

  • 가능하면 항상 start/end를 사용하여 짧은 세그먼트로 제한하세요
  • 전체 길이 비디오의 경우 callback_url을 사용하여 비동기 처리를 하세요
  • 먼저 Timeline에서 비디오를 자른 다음, 더 짧은 결과를 리프레임하세요
from videodb import ReframeMode

# 항상 짧은 세그먼트를 리프레임하는 것을 선호:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# 전체 길이 비디오용 비동기 리프레임 (None 반환, 결과는 웹훅으로):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# 프리셋: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# 사용자 정의 크기
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

생성적 미디어

image = coll.generate_image(
    prompt="산 위로 지는 석양",
    aspect_ratio="16:9",
)

오류 처리

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("VIDEO_DB_API_KEY를 확인하세요")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"업로드 실패: {e}")

일반적인 문제점

시나리오오류 메시지해결 방법
이미 인덱싱된 비디오를 다시 인덱싱Spoken word index for video already existsvideo.index_spoken_words(force=True)로 건너뛰기
장면 인덱스가 이미 존재Scene index with id XXXX already existsre.search(r"id\s+([a-f0-9]+)", str(e))로 기존 scene_index_id 추출
검색 결과 없음InvalidRequestError: No results found예외를 잡아 빈 결과로 처리 (shots = [])
리프레임 시간 초과긴 비디오에서 무기한 블로킹start/end로 세그먼트 제한 또는 callback_url로 비동기 처리
타임라인의 음수 타임스탬프깨진 스트림을 자동으로 생성VideoAsset 생성 전에 항상 start >= 0 검증
generate_video() / create_collection() 실패Operation not allowed 또는 maximum limit요금제에 따른 기능 — 사용자에게 요금제 제한 정보 제공

추가 문서

참조 문서는 이 SKILL.md 파일과 동일한 디렉토리의 reference/에 있습니다. 필요한 경우 Glob 도구를 사용하여 찾으세요.

화면 녹화 (데스크톱 캡처)

ws_listener.py를 사용하여 녹화 세션 중 WebSocket 이벤트를 캡처하세요. 데스크톱 캡처는 macOS만 지원합니다.

빠른 시작

  1. 리스너 시작: python scripts/ws_listener.py &
  2. WebSocket ID 가져오기: cat /tmp/videodb_ws_id
  3. 캡처 코드 실행 (전체 워크플로우는 reference/capture.md 참조)
  4. 이벤트 기록 위치: /tmp/videodb_events.jsonl

이벤트 조회

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# 모든 트랜스크립트 가져오기
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# 지난 5분간의 시각적 설명 가져오기
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

유틸리티 스크립트

전체 캡처 워크플로우는 reference/capture.md를 참조하세요.

VideoDB가 해당 작업을 지원하는 경우 ffmpeg, moviepy 또는 로컬 인코딩 도구를 사용하지 마세요. 다음은 모두 VideoDB에서 서버 측에서 처리됩니다 — 트리밍, 클립 결합, 오디오 또는 음악 오버레이, 자막 추가, 텍스트/이미지 오버레이, 트랜스코딩, 해상도 변경, 종횡비 변환, 플랫폼 요구사항에 맞는 크기 조정, 트랜스크립션 및 미디어 생성. 로컬 도구는 reference/editor.md의 제한 사항에 나열된 작업(전환, 속도 변경, 자르기/확대/축소, 색상 보정, 볼륨 믹싱)에만 사용하세요.

무엇을 사용할지 결정

문제VideoDB 해결 방법
플랫폼이 비디오 종횡비 또는 해상도를 거부video.reframe() 또는 VideoConfig와 함께 conn.transcode()
Twitter/Instagram/TikTok용 비디오 크기 조정 필요video.reframe(target="vertical") 또는 target="square"
해상도 변경 필요 (예: 1080p → 720p)VideoConfig(resolution=720)와 함께 conn.transcode()
비디오에 오디오/음악 오버레이 필요Timeline에서 AudioAsset
자막 추가 필요video.add_subtitle() 또는 CaptionAsset
클립 결합/트리밍 필요Timeline에서 VideoAsset
음성 해설, 음악 또는 SFX 생성 필요coll.generate_voice(), generate_music(), generate_sound_effect()

저장소

https://github.com/video-db/skills

유지 관리자: VideoDB

Individual skills in this repo

This repo contains 16 individual skills — each has its own dedicated page.

Desesbraker/agentes-vip

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

Desesbraker/agentes-vip

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

Desesbraker/agentes-vip

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

Desesbraker/agentes-vip

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

Desesbraker/agentes-vip

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

Desesbraker/agentes-vip

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

Desesbraker/agentes-vip

Best practices for Remotion - Video creation in React

Desesbraker/agentes-vip

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

Desesbraker/agentes-vip

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

Desesbraker/agentes-vip

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

Desesbraker/agentes-vip

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

Desesbraker/agentes-vip

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

Desesbraker/agentes-vip

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

Desesbraker/agentes-vip

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Desesbraker/agentes-vip

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

Desesbraker/agentes-vip

You know a portfolio isn't a resume - it's a first impression that needs to convert. You balance creativity with usability. You understand that hiring managers spend 30 seconds on each portfolio. You make those 30 seconds count. You help people stand out without being gimmicky.

관련 스킬