Communitygithub.com

Desesbraker/agentes-vip

ビデオとオーディオの認識、インデックス化、編集。ファイル/URL/ライブストリームを取り込み、視覚/音声インデックスを構築し、タイムスタンプ付きで検索、タイムライン編集、オーバーレイ/字幕の追加、メディア生成、リアルタイムアラートを作成します。

agentes-vip とは?

このスキルは、VideoDBプラットフォームを活用して、ビデオ、ライブストリーム、デスクトップセッションの知覚・記憶・アクションを統合するためのものです。主な機能として、デスクトップ画面・マイク・システム音声のキャプチャ、セッションの要約と検索可能なタイムラインの生成、ビデオファイルやURLの取り込みと再生可能なストリームリンクの提供、視覚・音声・キーワードインデックスの構築とタイムスタンプ付き検索、タイムライン編集(字幕生成・翻訳・焼き込み、テキスト/画像オーバーレイ、BGM・ナレーション・吹き替え)、RTSPライブフィードの監視とリアルタイムアラート発行が含まれます。Claude Code、Cursor、CodexなどのAIエージェントと連携して動作し、ユーザーは自然言語の指示でこれらの機能を実行できます。SDKはPythonで提供され、環境変数または.envファイルでAPIキーを設定することで利用可能です。プロジェクトのリポジトリは https://github.com/video-db/skills で管理されています。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Desesbraker/agentes-vip/tree/HEAD/full%20skill/plugins/antigravity-awesome-skills-claude/skills/videodb

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

VideoDB スキル

ビデオ、ライブストリーム、デスクトップセッションのための知覚 + 記憶 + アクション

以下のような場合にこのスキルを使用します:

1) デスクトップ知覚

  • デスクトップセッションを開始/停止し、画面、マイク、システム音声をキャプチャ
  • ライブコンテキストをストリーミングし、エピソード的なセッション記憶を保存
  • 画面上で話されている内容や発生しているイベントに対するリアルタイムアラート/トリガーを実行
  • セッションの要約、検索可能なタイムライン、再生可能な証拠リンクを生成

2) ビデオの取り込み + ストリーミング

  • ファイルまたはURLを取り込み、再生可能なWebストリームリンクを返す
  • トランスコード/正規化: コーデック、ビットレート、fps、解像度、アスペクト比

3) インデックス化 + 検索(タイムスタンプ + 証拠)

  • 視覚、音声、キーワードのインデックスを構築
  • 正確な瞬間をタイムスタンプと再生可能な証拠とともに検索して返す
  • 検索結果からクリップを自動生成

4) タイムライン編集 + 生成

  • 字幕: 生成、翻訳、焼き込み
  • オーバーレイ: テキスト/画像/ブランディング、モーションキャプション
  • オーディオ: BGM、ナレーション、吹き替え
  • タイムライン操作によるプログラム的な合成とエクスポート

5) ライブストリーム (RTSP) + 監視

  • RTSP/ライブフィードに接続
  • リアルタイムの視覚・音声理解を実行し、監視ワークフローのためのイベント/アラートを発行

一般的な入力

  • ローカルのファイルパス、公開URL、またはRTSP URL
  • デスクトップキャプチャリクエスト: 開始 / 停止 / セッションの要約
  • 目的の操作: 理解のためのコンテキスト取得、トランスコード仕様、インデックス仕様、検索クエリ、クリップ範囲、タイムライン編集、アラートルール

一般的な出力

  • ストリームURL
  • タイムスタンプと証拠リンクを含む検索結果
  • 生成されたアセット: 字幕、オーディオ、画像、クリップ
  • ライブストリーム用のイベント/アラートペイロード
  • デスクトップセッションの要約とメモリエントリ

代表的なプロンプト(例)

  • 「デスクトップキャプチャを開始し、パスワードフィールドが表示されたらアラートを出して。」
  • 「セッションを記録し、終了時に実行可能な要約を生成して。」
  • 「このファイルを取り込み、再生可能なストリームリンクを返して。」
  • 「このフォルダをインデックス化し、人がいるすべてのシーンをタイムスタンプ付きで見つけて。」
  • 「字幕を生成し、焼き込んで、軽いBGMを追加して。」
  • 「このRTSP URLに接続し、人物がゾーンに入ったらアラートを出して。」

Pythonコードの実行

VideoDBコードを実行する前に、プロジェクトディレクトリに移動し、環境変数を読み込みます:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

これにより、VIDEO_DB_API_KEY が以下の場所から読み込まれます:

  1. 環境変数(すでにエクスポートされている場合)
  2. カレントディレクトリのプロジェクト .env ファイル

キーがない場合、videodb.connect() は自動的に AuthenticationError を発生させます。

短いインラインコマンドで済む場合は、スクリプトファイルを作成しないでください。

インラインPython(python -c "...")を書く場合は、常に適切にフォーマットされたコードを使用し、セミコロンでステートメントを区切り、読みやすく保ってください。3文以上の場合は、代わりにヒアドキュメントを使用してください:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"動画数: {len(coll.get_videos())}")
EOF

セットアップ

ユーザーが「videodbをセットアップして」などと依頼した場合:

1. SDKのインストール

pip install "videodb[capture]" python-dotenv

videodb[capture] がLinuxで失敗する場合は、capture拡張なしでインストール:

pip install videodb python-dotenv

2. APIキーの設定

ユーザーは以下のいずれかの方法で VIDEO_DB_API_KEY を設定する必要があります:

  • ターミナルでエクスポート(Claude起動前): export VIDEO_DB_API_KEY=your-key
  • プロジェクトの .env ファイル: VIDEO_DB_API_KEY=your-key をプロジェクトの .env ファイルに保存

無料のAPIキーは https://console.videodb.io で取得できます(50回の無料アップロード、クレジットカード不要)。

APIキーを自分で読み書きしたり扱ったりしないでください。 常にユーザーに設定させるようにしてください。

クイックリファレンス

メディアのアップロード

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# ローカルファイル
video = coll.upload(file_path="/path/to/video.mp4")

文字起こし + 字幕

# force=True により、動画がすでにインデックス化されている場合のエラーをスキップ
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

動画内検索

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() は結果がない場合に InvalidRequestError を発生させます。
# 常に try/except でラップし、「結果なし」は空として扱います。
try:
    results = video.search("製品デモ")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

シーン検索

import re
from videodb import SearchType, IndexType, SceneExtractionType
from videodb.exceptions import InvalidRequestError

# index_scenes() には force パラメータがありません — シーンインデックスが
# すでに存在する場合はエラーを発生させます。エラーから既存のインデックスIDを抽出します。
try:
    scene_index_id = video.index_scenes(
        extraction_type=SceneExtractionType.shot_based,
        prompt="このシーンの視覚的な内容を説明してください。",
    )
except Exception as e:
    match = re.search(r"id\s+([a-f0-9]+)", str(e))
    if match:
        scene_index_id = match.group(1)
    else:
        raise

# score_threshold を使用して低関連性ノイズをフィルタリング(推奨: 0.3以上)
try:
    results = video.search(
        query="ホワイトボードに書いている人",
        search_type=SearchType.semantic,
        index_type=IndexType.scene,
        scene_index_id=scene_index_id,
        score_threshold=0.3,
    )
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

タイムライン編集

重要: タイムラインを構築する前に、必ずタイムスタンプを検証してください:

  • start は 0 以上である必要があります(負の値は黙って受け入れられますが、壊れた出力を生成します)
  • start は end より小さい必要があります
  • end は video.length 以下である必要があります
from videodb.timeline import Timeline
from videodb.asset import VideoAsset, TextAsset, TextStyle

timeline = Timeline(conn)
timeline.add_inline(VideoAsset(asset_id=video.id, start=10, end=30))
timeline.add_overlay(0, TextAsset(text="終了", duration=3, style=TextStyle(fontsize=36)))
stream_url = timeline.generate_stream()

動画のトランスコード(解像度/品質の変更)

from videodb import TranscodeMode, VideoConfig, AudioConfig

# サーバーサイドで解像度、品質、アスペクト比を変更
job_id = conn.transcode(
    source="https://example.com/video.mp4",
    callback_url="https://example.com/webhook",
    mode=TranscodeMode.economy,
    video_config=VideoConfig(resolution=720, quality=23, aspect_ratio="16:9"),
    audio_config=AudioConfig(mute=False),
)

アスペクト比の変更(ソーシャルプラットフォーム向け)

警告: reframe() は低速なサーバーサイド処理です。長い動画の場合は数分かかり、タイムアウトする可能性があります。ベストプラクティス:

  • 可能な場合は常に start/end を使用して短いセグメントに制限する
  • 全長の動画の場合は、callback_url を使用して非同期処理を行う
  • まず Timeline で動画をトリミングし、その後短い結果をリフレームする
from videodb import ReframeMode

# 常に短いセグメントのリフレームを優先:
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)

# 全長動画の非同期リフレーム(None を返し、結果は webhook 経由):
video.reframe(target="vertical", callback_url="https://example.com/webhook")

# プリセット: "vertical" (9:16), "square" (1:1), "landscape" (16:9)
reframed = video.reframe(start=0, end=60, target="square")

# カスタムサイズ
reframed = video.reframe(start=0, end=60, target={"width": 1280, "height": 720})

生成メディア

image = coll.generate_image(
    prompt="山の上の夕日",
    aspect_ratio="16:9",
)

エラーハンドリング

from videodb.exceptions import AuthenticationError, InvalidRequestError

try:
    conn = videodb.connect()
except AuthenticationError:
    print("VIDEO_DB_API_KEY を確認してください")

try:
    video = coll.upload(url="https://example.com/video.mp4")
except InvalidRequestError as e:
    print(f"アップロードに失敗しました: {e}")

よくある落とし穴

シナリオエラーメッセージ解決策
すでにインデックス化された動画を再度インデックス化Spoken word index for video already existsvideo.index_spoken_words(force=True) を使用してスキップ
シーンインデックスがすでに存在Scene index with id XXXX already existsre.search(r"id\s+([a-f0-9]+)", str(e)) で既存の scene_index_id を抽出
検索で一致なしInvalidRequestError: No results found例外をキャッチし、空の結果として扱う(shots = [])
リフレームがタイムアウト長い動画で無期限にブロックstart/end でセグメントを制限するか、callback_url で非同期処理
タイムラインでの負のタイムスタンプ壊れたストリームを黙って生成VideoAsset を作成する前に start >= 0 を常に検証
generate_video() / create_collection() が失敗Operation not allowed または maximum limitプランに応じた機能 — プランの制限についてユーザーに通知

追加ドキュメント

リファレンスドキュメントは、この SKILL.md ファイルと同じディレクトリにある reference/ ディレクトリ内にあります。必要に応じて Glob ツールを使用して見つけてください。

画面録画(デスクトップキャプチャ)

ws_listener.py を使用して、録画セッション中のWebSocketイベントをキャプチャします。デスクトップキャプチャは macOS のみ対応です。

クイックスタート

  1. リスナーを起動: python scripts/ws_listener.py &
  2. WebSocket ID を取得: cat /tmp/videodb_ws_id
  3. キャプチャコードを実行(完全なワークフローは reference/capture.md を参照)
  4. イベントは次の場所に書き込まれます: /tmp/videodb_events.jsonl

イベントのクエリ

import json
events = [json.loads(l) for l in open("/tmp/videodb_events.jsonl")]

# すべての文字起こしを取得
transcripts = [e["data"]["text"] for e in events if e.get("channel") == "transcript"]

# 最近5分間の視覚的説明を取得
import time
cutoff = time.time() - 300
recent_visual = [e for e in events 
                 if e.get("channel") == "visual_index" and e["unix_ts"] > cutoff]

ユーティリティスクリプト

完全なキャプチャワークフローについては、reference/capture.md を参照してください。

VideoDB が操作をサポートしている場合は、ffmpeg、moviepy、またはローカルエンコーディングツールを使用しないでください。 以下の操作はすべて VideoDB によってサーバーサイドで処理されます — トリミング、クリップの結合、オーディオや音楽のオーバーレイ、字幕の追加、テキスト/画像オーバーレイ、トランスコード、解像度変更、アスペクト比変換、プラットフォーム要件に合わせたリサイズ、文字起こし、メディア生成。ローカルツールにフォールバックするのは、reference/editor.md の「制限事項」に記載されている操作のみにしてください(トランジション、速度変更、クロップ/ズーム、カラーグレーディング、音量ミキシング)。

何を使うべきかのガイド

問題VideoDB での解決策
プラットフォームが動画のアスペクト比または解像度を拒否video.reframe() または VideoConfig を指定した conn.transcode()
Twitter/Instagram/TikTok 用に動画をリサイズvideo.reframe(target="vertical") または target="square"
解像度変更(例: 1080p → 720p)VideoConfig(resolution=720) を指定した conn.transcode()
動画にオーディオ/音楽をオーバーレイTimeline 上の AudioAsset
字幕を追加video.add_subtitle() または CaptionAsset
クリップの結合/トリミングTimeline 上の VideoAsset
ナレーション、音楽、効果音を生成coll.generate_voice()、generate_music()、generate_sound_effect()

リポジトリ

https://github.com/video-db/skills

メンテナー: VideoDB

Individual skills in this repo

This repo contains 16 individual skills — each has its own dedicated page.

Desesbraker/agentes-vip

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

Desesbraker/agentes-vip

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

Desesbraker/agentes-vip

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

Desesbraker/agentes-vip

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

Desesbraker/agentes-vip

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

Desesbraker/agentes-vip

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

Desesbraker/agentes-vip

Best practices for Remotion - Video creation in React

Desesbraker/agentes-vip

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

Desesbraker/agentes-vip

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

Desesbraker/agentes-vip

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

Desesbraker/agentes-vip

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

Desesbraker/agentes-vip

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

Desesbraker/agentes-vip

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

Desesbraker/agentes-vip

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Desesbraker/agentes-vip

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

Desesbraker/agentes-vip

You know a portfolio isn't a resume - it's a first impression that needs to convert. You balance creativity with usability. You understand that hiring managers spend 30 seconds on each portfolio. You make those 30 seconds count. You help people stand out without being gimmicky.

関連スキル