Communitygithub.com

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Videodb: Video and audio perception, indexing, and editing.

all-agent-skill 是什么?

这是一个专门为 VideoDB 平台设计的 AI 代理技能,专注于视频和音频的感知、索引和编辑。当开发者的任务涉及视频/音频处理、实时流监控、桌面会话录制或时间线编辑时,此技能是首选。它支持的文件类型包括本地文件、URL、YouTube 链接和 RTSP 直播流,并提供丰富的操作:上传、转码、索引(视觉/语音/关键词搜索)、字幕生成/翻译/烧录、叠加文本/图像/品牌、背景音乐/配音、场景搜索、以及基于时间线的程序化组合。该技能还支持桌面捕获(仅限 macOS),可实时捕获屏幕、麦克风和系统音频,并生成可搜索的会话摘要和可播放的证据链接。内置的 Python SDK 代码示例和错误处理模式(如使用 `force=True` 跳过重复索引,或捕获 `InvalidRequestError` 处理无结果情况)能帮助开发者快速集成。技能文档还强调了避免本地编码工具(如 ffmpeg)的使用,将所有服务器端操作(如转码、重新构图、叠加)交由 VideoDB 处理,仅在极少数局限性场景下回退到本地工具。总之,这是一个全面的视频/音频处理工作流套件,适合需要快速构建媒体感知、搜索和编辑功能的 AI 应用。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Anhvu1107/all-agent-skill/tree/HEAD/.agent/skills/videodb

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

VideoDB 技能

选择性阅读规则

从以下开始:

  • references/senior-master-standard.md
  • references/usage-routing.md
  • references/quality-checklist.md

然后仅加载与用户实际任务匹配的继承文档、脚本、资源或示例。

感知 + 记忆 + 动作,用于视频、直播流和桌面会话。

当您需要以下功能时使用此技能:

何时使用

  • 您需要来自文件、URL、桌面会话或直播流的视频或音频感知、索引、搜索或时间线编辑。
  • 任务涉及时间戳、可搜索的证据、字幕、剪辑、叠加或实时监控警报。
  • 您希望有一个工作流,将摄取、理解、检索和媒体操作结合在一起。

1)桌面感知

  • 启动/停止桌面会话,捕获屏幕、麦克风和系统音频
  • 流式传输实时上下文并存储情景会话记忆
  • 对所说的内容和屏幕上发生的事情运行实时警报/触发器
  • 生成会话摘要、可搜索的时间线和可播放的证据链接

2)视频摄取 + 流式传输

  • 摄取文件或 URL 并返回可播放的 Web 流链接
  • 转码/规范化:编解码器、比特率、帧率、分辨率、宽高比

3)索引 + 搜索(时间戳 + 证据)

  • 构建视觉、语音和关键词索引
  • 搜索并返回带有时间戳和可播放证据的精确时刻
  • 从搜索结果中自动创建剪辑

4)时间线编辑 + 生成

  • 字幕:生成、翻译、烧录
  • 叠加:文本/图像/品牌,动态字幕
  • 音频:背景音乐、画外音、配音
  • 通过时间线操作进行程序化组合和导出

5)直播流 (RTSP) + 监控

  • 连接 RTSP/直播源
  • 运行实时视觉和语音理解,并为监控工作流发出事件/警报

常见输入

  • 本地文件路径、公共 URL 或 RTSP URL
  • 桌面捕获请求:启动 / 停止 / 总结会话
  • 期望的操作:获取上下文以理解、转码规格、索引规格、搜索查询、剪辑范围、时间线编辑、警报规则

常见输出

  • 流 URL
  • 带有时间戳和证据链接的搜索结果
  • 生成的资源:字幕、音频、图像、剪辑
  • 用于直播流的事件/警报负载
  • 桌面会话摘要和记忆条目

规范提示(示例)

  • "启动桌面捕获,并在密码字段出现时发出警报。"
  • "录制我的会话,并在结束时生成可操作摘要。"
  • "摄取此文件并返回可播放的流链接。"
  • "索引此文件夹并找到每个有人物的场景,返回时间戳。"
  • "生成字幕,烧录它们,并添加轻柔的背景音乐。"
  • "连接此 RTSP URL,并在有人进入区域时发出警报。"

运行 Python 代码

在运行任何 VideoDB 代码之前,切换到项目目录并加载环境变量:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

这将从以下位置读取 VIDEO_DB_API_KEY:

  1. 环境(如果已导出)
  2. 当前目录中的项目 .env 文件

如果密钥缺失,videodb.connect() 将自动引发 AuthenticationError。

不要在简短内联命令即可工作时编写脚本文件。

在编写内联 Python (python -c "...") 时,始终使用格式正确的代码——使用分号分隔语句并保持可读性。对于超过约 3 条语句的代码,请改用 heredoc:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

设置

当用户要求 "setup videodb" 或类似内容时:

1. 安装 SDK

pip install "videodb[capture]" python-dotenv

如果 videodb[capture] 在 Linux 上失败,请安装不含 capture 扩展的版本:

pip install videodb python-dotenv

2. 配置 API 密钥

用户必须使用任一方法设置 VIDEO_DB_API_KEY:

  • 在终端中导出(在启动 Claude 之前):export VIDEO_DB_API_KEY=your-key
  • 项目 .env 文件:将 VIDEO_DB_API_KEY=your-key 保存到项目的 .env 文件中

在 https://console.videodb.io 获取免费 API 密钥(50 次免费上传,无需信用卡)。

不要自行读取、写入或处理 API 密钥。始终让用户设置它。

快速参考

上传媒体

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# 本地文件
video = coll.upload(file_path="/path/to/video.mp4")

转录 + 字幕

# force=True 在视频已索引时跳过错误
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

在视频中搜索

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() 在没有结果时引发 InvalidRequestError。
# 始终将其包装在 try/except 中,并将 "未找到结果" 视为空。
try:
    results = video.search("product demo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

场景搜索

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() 没有 force 参数——如果场景索引已存在,它会引发错误。
# 从错误中提取现有索引 ID。
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="描述此场景中的视觉内容。",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# 使用 score_threshold 过滤低相关性噪声(建议:0.3+)
try:
    results = video.search(
        query="在写字板上写字的人",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

时间线编辑

重要: 在构建时间线之前始终验证时间戳:

  • start 必须 >= 0(负值会被静默接受但会产生损坏的输出)
  • start 必须 < end
  • end 必须 <= video.length
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="结束", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

转码视频(分辨率/质量更改)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# 在服务端更改分辨率、质量或宽高比
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

重新构图宽高比(用于社交平台)

警告: reframe() 是一个缓慢的服务端操作。对于长视频,可能需要几分钟并可能超时。最佳实践:

  • 尽可能使用 start/end 限制为短片段
  • 对于完整长度视频,使用 callback_url 进行异步处理
  • 首先在 Timeline 上修剪视频,然后对较短的结果重新构图
from videodb import ReframeMode

# 始终优先重新构图短片段:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# 完整长度视频的异步重新构图(返回 None,结果通过 webhook):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# 预设:"vertical" (9:16)、"square" (1:1)、"landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# 自定义尺寸
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

生成式媒体

image = coll.generate_image(
    prompt="山脉上的日落",
    aspect_ratio="16:9",
)

错误处理

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("检查您的 VIDEO_DB_API_KEY")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"上传失败:{e}")

常见陷阱

场景错误消息解决方案
索引已索引的视频Spoken word index for video already exists使用 video.index_spoken_words(force=True) 在已索引时跳过
场景索引已存在Scene index with id XXXX already exists使用 re.search(r"id\s+([a-f0-9]+)", str(e)) 从错误中提取现有的 scene_index_id
搜索未找到匹配InvalidRequestError: No results found捕获异常并视为空结果(shots = [])
重新构图超时在长视频上无限阻塞使用 start/end 限制片段,或传递 callback_url 进行异步处理
时间线上的负时间戳静默产生损坏的流在创建 VideoAsset 之前始终验证 start >= 0
generate_video() / create_collection() 失败Operation not allowed 或 maximum limit计划限定的功能——告知用户计划限制

附加文档

参考文档位于此 SKILL.md 文件旁边的 reference/ 目录中。如有需要,可使用 Glob 工具定位它。

屏幕录制(桌面捕获)

使用 ws_listener.py 在录制会话期间捕获 WebSocket 事件。桌面捕获仅支持 macOS。

快速开始

  1. 启动监听器:python scripts/ws_listener.py &
  2. 获取 WebSocket ID:cat /tmp/videodb_ws_id
  3. 运行捕获代码(完整工作流请参见 reference/capture.md)
  4. 事件写入:/tmp/videodb_events.jsonl

查询事件

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# 获取所有转录
翻译 = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# 获取过去 5 分钟的视觉描述
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

实用脚本

有关完整的捕获工作流,请参阅 reference/capture.md。

当 VideoDB 支持该操作时,不要使用 ffmpeg、moviepy 或本地编码工具。以下所有操作均由 VideoDB 在服务端处理——修剪、合并剪辑、叠加音频或音乐、添加字幕、文本/图像叠加、转码、分辨率更改、宽高比转换、为平台要求调整大小、转录和媒体生成。仅在 reference/editor.md 中列出的限制(过渡、速度更改、裁剪/缩放、色彩分级、音量混合)下的操作才回退到本地工具。

何时使用什么

问题VideoDB 解决方案
平台拒绝视频宽高比或分辨率video.reframe() 或带 VideoConfig 的 conn.transcode()
需要为 Twitter/Instagram/TikTok 调整视频大小video.reframe(target="vertical") 或 target="square"
需要更改分辨率(例如 1080p → 720p)带 VideoConfig(resolution=720) 的 conn.transcode()
需要将音频/音乐叠加到视频上Timeline 上的 AudioAsset
需要添加字幕video.add_subtitle() 或 CaptionAsset
需要组合/修剪剪辑Timeline 上的 VideoAsset
需要生成画外音、音乐或音效coll.generate_voice()、generate_music()、generate_sound_effect()

仓库

https://github.com/video-db/skills

维护者: VideoDB

限制

  • 仅当任务明确匹配上述范围时使用此技能。
  • 不要将输出视为环境特定验证、测试或专家审查的替代品。
  • 如果所需输入、权限、安全边界或成功标准缺失,请停下来并要求澄清。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches 007: Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Agentfolio: Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Animejs Animation: Advanced JavaScript animation library skill for creating complex, high-performance web animations.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Astropy: Astropy is the core Python package for astronomy, providing essential functionality for astronomical research and data analysis.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Astro: Build content-focused websites with Astro — zero JS by default, islands architecture, multi-framework components, and Markdown/MDX support.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Emotional ARC Designer: One sentence - what this skill does and when to invoke it

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Fixing Motion Performance: Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches I18n Localization: Internationalization and localization patterns.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Interactive Portfolio: Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches JQ: Expert jq usage for JSON querying, filtering, transformation, and pipeline integration.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Landing Page Generator: Generates high-converting Next.js/React landing pages with Tailwind CSS.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches LEX: Centralized ''Truth Engine'' for cross-jurisdictional legal context (US, EU, CA) and contract scaffolding.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Magic Animator: AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Makepad Animation: CRITICAL: Use for Makepad animation system.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Nextjs APP Router Patterns: Comprehensive patterns for Next.js 14+ App Router architecture, Server Components, and modern full-stack React development.

Anhvu1107/all-agent-skill

ALWAYS use this when the user mentions Nextjs Best Practices, asks to build, debug, review, document, automate, test, configure, migrate, or make decisions in this domain, or the task clearly depends on Nextjs Best Practices; scope: Next.js App Router principles. Apply the bundled workflow, references, scripts, Senior Master standard, and Codex strict review gate before final output.

Anhvu1107/all-agent-skill

description: ALWAYS use this when the work is specifically about modern Next.js or React architecture, data flow, rendering strategy, routing, or performance-sensitive frontend behavior.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches Nextjs Supabase Auth: Expert integration of Supabase Auth with Next.js App Router

Anhvu1107/all-agent-skill

ALWAYS use this when the task involves reading, extracting, splitting, merging, rotating, creating, validating, OCR-ing, form-filling, or otherwise producing or modifying PDF files.

Anhvu1107/all-agent-skill

ALWAYS use this when the request matches React Nextjs Development: React and Next.js 14+ application development with App Router, Server Components, TypeScript, Tailwind CSS, and modern frontend patterns.

相关技能