Communitygithub.com

Desesbraker/agentes-vip

视频和音频的感知、索引与编辑。支持文件/URL/直播流摄入,构建视觉、语音索引,带时间戳搜索、时间线编辑、叠加字幕/Logo、媒体生成及实时告警。

agentes-vip 是什么?

该技能(基于 VideoDB SDK)为 AI 代理(如 Claude Code、Cursor、Codex)提供了完整的视频与音频处理管线,涵盖桌面屏幕捕获、文件/URL/直播流摄入、视觉与语音索引、带时间戳的语义搜索、时间线编辑(字幕、叠加、背景音乐、配音)、转码和实时告警。它支持 macOS 桌面录制,通过 WebSocket 事件捕获屏幕、麦克风和系统音频,并生成可搜索的会话摘要。用户可通过 Python SDK 实现媒体上传、场景索引、字幕生成、转码、裁剪、画面重构(适用于社交媒体)及 AI 生成图像/音频等操作,无需本地编码工具(如 ffmpeg)。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Desesbraker/agentes-vip/tree/HEAD/full%20skill/plugins/antigravity-awesome-skills-claude/skills/videodb

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

VideoDB 技能

感知 + 记忆 + 对视频、直播流和桌面会话的操作。

在需要以下功能时使用此技能:

1) 桌面感知

  • 启动/停止桌面会话,捕获屏幕、麦克风和系统音频
  • 流式传输实时上下文并存储片段式会话记忆
  • 针对屏幕上的说话内容和事件运行实时告警/触发器
  • 生成会话摘要、可搜索的时间线以及可播放的证据链接

2) 视频摄入 + 流式传输

  • 摄入文件或 URL,返回可播放的网页流链接
  • 转码/标准化:编解码器、比特率、帧率、分辨率、宽高比

3) 索引 + 搜索(时间戳 + 证据)

  • 构建视觉、语音和关键词索引
  • 搜索并返回精确时刻,附带时间戳和可播放的证据
  • 从搜索结果自动创建剪辑

4) 时间线编辑 + 生成

  • 字幕:生成、翻译、烧录
  • 叠加:文本/图片/品牌水印、动态字幕
  • 音频:背景音乐、画外音、配音
  • 通过时间线操作进行编程式合成和导出

5) 直播流(RTSP)+ 监控

  • 连接RTSP/实时视频源
  • 运行实时视觉和语音理解,为监控工作流发出事件/告警

常见输入

  • 本地文件路径、公共URL 或 RTSP URL
  • 桌面捕获请求:start / stop / summarize session
  • 期望的操作:获取上下文用于理解、转码规格、索引规格、搜索查询、剪辑范围、时间线编辑、告警规则

常见输出

  • 流 URL
  • 带时间戳和证据链接的搜索结果
  • 生成的资产:字幕、音频、图像、剪辑
  • 直播流的事件/告警负载
  • 桌面会话摘要和记忆条目

规范提示(示例)

  • "开始桌面捕获,并在密码字段出现时告警。"
  • "录制我的会话,并在结束时生成可操作的摘要。"
  • "摄入此文件并返回可播放的流链接。"
  • "索引此文件夹,找到所有包含人物的场景,返回时间戳。"
  • "生成字幕,烧录,并添加轻量背景音乐。"
  • "连接此 RTSP URL,并在有人进入区域时告警。"

运行 Python 代码

在运行任何 VideoDB 代码之前,切换到项目目录并加载环境变量:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

这将从以下位置读取 VIDEO_DB_API_KEY:

  1. 环境变量(如果已导出)
  2. 当前目录的项目 .env 文件

如果缺少密钥,videodb.connect() 会自动抛出 AuthenticationError。

当短小的内联命令可行时,不要编写脚本文件。

在编写内联 Python(python -c "...")时,始终使用正确格式的代码——使用分号分隔语句并保持可读性。对于超过约 3 条语句的代码,请改用 heredoc:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"视频数量: {len(coll.get_videos())}")
EOF

设置

当用户要求“设置 videodb”或类似操作时:

1. 安装 SDK

pip install "videodb[capture]" python-dotenv

如果在 Linux 上 videodb[capture] 安装失败,则不带 capture 额外选项安装:

pip install videodb python-dotenv

2. 配置 API 密钥

用户必须使用任一方法设置 VIDEO_DB_API_KEY:

  • 在终端中导出(在启动 Claude 之前):export VIDEO_DB_API_KEY=your-key
  • 项目 .env 文件:将 VIDEO_DB_API_KEY=your-key 保存到项目的 .env 文件中

在 https://console.videodb.io 获取免费 API 密钥(50 次免费上传,无需信用卡)。

请勿自行读取、写入或处理 API 密钥。始终让用户自行设置。

快速参考

上传媒体

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# 本地文件
video = coll.upload(file_path="/path/to/video.mp4")

转录 + 字幕

# force=True 在视频已索引时跳过错误
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

在视频中搜索

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() 在没有结果时抛出 InvalidRequestError。
# 始终用 try/except 包裹,并将“未找到结果”视为空。
try:
    results = video.search("产品演示")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

场景搜索

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() 没有 force 参数 —— 如果场景索引已存在则抛出错误。
# 从错误中提取现有索引 ID。
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="描述此场景中的视觉内容。",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# 使用 score_threshold 过滤低相关性噪音(推荐:0.3+)
try:
    results = video.search(
        query="人在白板上写字",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

时间线编辑

重要: 在构建时间线之前始终验证时间戳:

  • start 必须 >= 0(负值会被静默接受但产生损坏输出)
  • start 必须 < end
  • end 必须 <= video.length
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="结尾", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

转码视频(分辨率/质量更改)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# 在服务端更改分辨率、质量或宽高比
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

重新调整宽高比(适用于社交平台)

警告: reframe() 是耗时的服务端操作。对于长视频,可能需要几分钟并可能超时。最佳实践:

  • 尽可能使用 start/end 限制为短片段
  • 对于完整长度视频,使用 callback_url 进行异步处理
  • 先在 Timeline 上裁剪视频,然后对短结果重新调整
from videodb import ReframeMode

# 始终优先调整短视频片段:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# 完整长度视频的异步调整(返回 None,结果通过 webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# 预设:"vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# 自定义尺寸
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

生成媒体

image = coll.generate_image(
    prompt="山上的日落",
    aspect_ratio="16:9",
)

错误处理

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("检查你的 VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"上传失败: {e}")

常见陷阱

场景错误信息解决方案
索引已索引的视频Spoken word index for video already exists使用 video.index_spoken_words(force=True) 在已索引时跳过
场景索引已存在Scene index with id XXXX already exists使用 re.search(r"id\s+([a-f0-9]+)", str(e)) 从错误中提取现有 scene_index_id
搜索无匹配InvalidRequestError: No results found捕获异常并视为空结果 (shots = [])
重新调整超时长时间视频无限制阻塞使用 start/end 限制片段,或传递 callback_url 进行异步
时间线上负数时间戳静默产生损坏流在创建 VideoAsset 之前始终验证 start >= 0
generate_video() / create_collection() 失败Operation not allowed 或 maximum limit计划限制功能 — 告知用户计划限制

附加文档

参考文档位于与此 SKILL.md 文件相邻的 reference/ 目录中。如有需要,使用文件搜索工具(Glob tool)定位。

屏幕录制(桌面捕获)

在录制会话期间使用 ws_listener.py 捕获 WebSocket 事件。桌面捕获仅支持 macOS。

快速开始

  1. 启动监听器:python scripts/ws_listener.py &
  2. 获取 WebSocket ID:cat /tmp/videodb_ws_id
  3. 运行捕获代码(参见 reference/capture.md 获取完整工作流)
  4. 事件写入:/tmp/videodb_events.jsonl

查询事件

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# 获取所有转录

# 获取最后 5 分钟的视觉描述
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

实用脚本

有关完整的捕获工作流,请参见 reference/capture.md。

当 VideoDB 支持该操作时,不要使用 ffmpeg、moviepy 或本地编码工具。 以下操作均由 VideoDB 在服务端处理:裁剪、合并剪辑、叠加音频或音乐、添加字幕、文本/图片叠加、转码、分辨率更改、宽高比转换、按平台要求调整大小、转录和媒体生成。仅在 reference/editor.md 中“限制”部分列出的操作(过渡、速度更改、裁剪/缩放、调色、音量混合)回退到本地工具。

何时使用何种方案

问题VideoDB 解决方案
平台拒绝视频宽高比或分辨率video.reframe() 或带 VideoConfig 的 conn.transcode()
需要为 Twitter/Instagram/TikTok 调整视频大小video.reframe(target="vertical") 或 target="square"
需要更改分辨率(例如 1080p → 720p)带 VideoConfig(resolution=720) 的 conn.transcode()
需要在视频上叠加音频/音乐Timeline 上的 AudioAsset
需要添加字幕video.add_subtitle() 或 CaptionAsset
需要组合/裁剪剪辑Timeline 上的 VideoAsset
需要生成画外音、音乐或音效coll.generate_voice()、generate_music()、generate_sound_effect()

仓库

https://github.com/video-db/skills

维护者: VideoDB

Individual skills in this repo

This repo contains 16 individual skills — each has its own dedicated page.

Desesbraker/agentes-vip

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

Desesbraker/agentes-vip

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

Desesbraker/agentes-vip

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

Desesbraker/agentes-vip

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

Desesbraker/agentes-vip

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

Desesbraker/agentes-vip

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

Desesbraker/agentes-vip

Best practices for Remotion - Video creation in React

Desesbraker/agentes-vip

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

Desesbraker/agentes-vip

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

Desesbraker/agentes-vip

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

Desesbraker/agentes-vip

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

Desesbraker/agentes-vip

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

Desesbraker/agentes-vip

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

Desesbraker/agentes-vip

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Desesbraker/agentes-vip

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

Desesbraker/agentes-vip

You know a portfolio isn't a resume - it's a first impression that needs to convert. You balance creativity with usability. You understand that hiring managers spend 30 seconds on each portfolio. You make those 30 seconds count. You help people stand out without being gimmicky.

相关技能