Communitygithub.com

The-AIOS/aios

動画や音声ソースを実際に視聴・聴取し、コンテキスト内に保持することで、内容に関する質問への回答、要約、引用の抽出、指示に基づくアクションを可能にします。Claudeが単独では発見できないローカルメディアフック(長尺音声の文字起こし、スライド・コード・図表を含む画面の視覚分析)をカバーします。

aios とは?

このスキルは、ユーザーが共有するビデオや音声ファイル、YouTube URLなどのメディアコンテンツを「視聴」または「聴取」し、その内容をセッション内で理解可能な形で保持するためのものです。単なるファイル整理パイプラインとは異なり、コンテンツに即座に応答する「クイックコンプリヘンション」ツールとして機能します。macOS / Apple Silicon環境で、`hooks/transcribe.py`(長尺音声をオンデバイスで高速文字起こし)と`hooks/video-watch.py`(トランスクリプトだけでは失われるスライド、コード、図表、ターミナル画面などの視覚情報をOCRまたはVLMで抽出)の2つのフックを提供します。ユーザーが「これを見て」「この動画は何と言っている?」「Xについて言及しているか?」「このトークを要約して」「文字起こしして」などと依頼した際に、適切なツールを選択し、結果を要約や引用として返します。他のプラットフォームではMarkItDownなどにフォールバックします。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/The-AIOS/aios/tree/HEAD/skills/aios/watch-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

ビデオを見る — 理解のため、ファイル整理のためではない

誰かがビデオを共有し、あなたにそれについて質問します。2つのフックがそれを可能にしますが、どちらも単独では発見できません — フックには意味的なマッチングがなく、「これを見て」と依頼されたセッションは何も見つけられず、即興で対応することになります。このスキルが存在する理由はまさにそのギャップです。

境界 — これを最初に読んでください

このスキルは「視聴」します。「ファイリング」はしません。 その出力は セッション内で保持される理解 であり、保管庫のアーティファクトではありません。メモ、フロントマター、相互リンク、_indexの更新、アクションアイテムのルーティングは一切行いません。作業ファイルはスクラッチパス(/tmp)に置かれ、決して vault/ に書き込まれません。

/aios:ingest はファイリングパイプラインです — これは、ソースを恒久的で相互リンクされた保管庫ノートに変換することを意図的な行為と規約にするために存在します。オペレーターがそれを望む場合は、引き継いでください(「これを /aios:ingest して reflections/ingests/ に相互リンク付きで配置しますか?」)— ここで中途半端に実装しないでください。2つのパス、1つの境界、重複はありません。

したがって、実行の流れは次のようになります:コンテキストに取り込む → 依頼されたことを実行する → 提案する、前提としない。 依頼がオープンエンド(質問なしで「これを見て」)の場合は、視聴した後、2〜3行で内容を説明し、何を求めているか尋ねてください。誰も依頼していない成果物を作り出さないでください。

どのツールを使うか — 実際の判断基準

ソースの種類使用するツール理由
ドキュメント(PDF、docx、スライド、スプレッドシート)MarkItDown または document-skillsこのスキルの担当ではありません。これらはすでに意味的にマッチングされます
長尺音声/動画、音声だけで十分hooks/transcribe.pyMarkItDownは音声をGoogle Web Speechに単発送信します — 一文には使えますが、49分のインタビューには役に立ちません
YouTube、音声だけで十分最初にMarkItDownのキャプションを試す文字起こしよりもはるかに高速。キャプションがない、または品質が低い場合のフォールバックとして transcribe.py を使用
画面に信号が含まれているトランスクリプトに加えて hooks/video-watch.py を使用トランスクリプトはすべてのフレーム(スライド、コード、図表、ターミナル、チャート、画面上のテキスト)を破棄します

画面に信号が含まれるのは、ソースがスライド付きのトーク、スクリーンキャスト、コードウォークスルー、ツールデモ、図解入りの講義、または「ご覧のとおり」と言われたら見えないものがある場合です。迷ったら確認してください — ビジュアルパスには実際に時間がかかります。

コマンド

# トランスクリプトの基盤(オンデバイス:ffmpeg → mlx-whisper large-v3-turbo、任意の長さ)
python3 ~/aios/hooks/transcribe.py <ファイルまたはURL> /tmp/watch-transcript.txt

# ビジュアルチャネル、トランスクリプトに重ねて使用 — 決してトランスクリプトの代わりにはしない
python3 ~/aios/hooks/video-watch.py <ファイルまたはURL> \
  --transcript /tmp/watch-transcript.txt --reader ocr --code

リーダーの選択が唯一の重要なフラグ判断です:

  • --reader ocr — Apple Visionによる画面上のテキストをそのまま取得します。スライド、コード、ターミナル、正確に引用する必要があるもののデフォルト。 フレームにコードが含まれる場合は --code を追加します。
  • --reader vlm — Claude Visionが各フレームを説明します。図、チャート、アーキテクチャ、UI向け — 文字通りのテキストよりも構造を重視します。
  • --reader both — 正確な単語と画像の意味の両方が必要な場合。フレームあたりのコストが約2倍になります。

その他のオプション(--scene-threshold、--max-frames、--sample-every、--max-width、--phash-threshold)には適切なデフォルト値があります。最初のパスが明らかに少なすぎる、またはノイズが多い場合にのみ調整してください。--help で一覧を表示できます。

プラットフォームの現実 — 実行する前に伝える

両方のフックは macOS / Apple Silicon 向けです(mlx-whisper、hooks/ocr-image.swift によるApple Vision)。LinuxまたはWindowsの場合は、その旨を伝え、MarkItDown にフォールバックします。MarkItDownはYouTubeのキャプションと短い音声をクロスプラットフォームで処理できます。オペレーターにコマンドの失敗を見せてこれを学ばせないでください。

時間をかける前に期待値を設定する

長い録音の文字起こしとフレームの読み取りは 秒ではなく数分 かかります — 45分のトークにビジュアルパスを追加するのは、このスキルで最も負荷の高い処理です。事前に見積もりを伝え、確認を取ってください。特にビジュアルパスについては。力技よりも効果的な2つの簡単な方法:

  • 常に最初にトランスクリプトを取得する。 これが意味の基盤であり、より高速で、しばしば質問に直接答えられます。その場合、ビジュアルパスは不要です。
  • 依頼が狭い場合(「彼女は価格について言及していますか?」)、全体を読み返すのではなく、トランスクリプトを検索します。

知っておくべき障害モード

  • トランスクリプトはビデオではありません。 オペレーターが表示されたものについて質問した場合、それについて言及のないきれいなトランスクリプトは存在しないことの証拠ではありません — 間違った道具を使っているのです。ビジュアルパスを実行するか、まだ答えられないと伝えてください。
  • YouTubeのキャプションは自動生成で間違っている可能性があります(名前、専門用語、数字)。引用が重要な場合は、transcribe.py で検証してから帰属させてください。
  • 読んでいないものを引用しないでください。 フレームはシーンチェンジでサンプリングされ、重複除去されるため、ビジュアルパスは サンプル であり、完全な記録ではありません。主張が1つのフレームに基づく場合は、そのタイムスタンプを明記してください。
  • スクラッチファイルはスクラッチです。 処理が終わったら /tmp/watch-* をクリーンアップするか、どこに残したかを伝えてください。決して vault/ に書き込まないでください。

引き継ぎ

マテリアルを保存する価値があると判明した場合:

  • 適切にファイルする → /aios:ingest(reflections/ingests/ に {source}-{slug} という命名、フロントマター、相互リンク、アクションアイテムはプロジェクトのToDoにルーティングされます)。
  • プロジェクトの状態を変更した場合 → その旨を伝え、プロジェクトノートを更新するよう提案します。
  • 永続的な洞察が得られた場合 → それは通常のセッション終了パスを介して保管庫に属するものであり、何かを視聴した副作用としてではありません。

視聴は安価で繰り返し可能です。ファイリングは判断を伴います。この2つは分離してください。

関連スキル