Communitygithub.com

sediman-agent/OpenSkynet

動画編集を会話で行います。文字起こし、カット、カラーグレーディング、オーバーレイアニメーション生成、字幕焼き込みなどに対応。トークヘッド、モンタージュ、チュートリアル、トラベル、インタビューなど、あらゆるタイプの動画を、プリセットやメニューに頼らず、質問、計画確認、実行、反復、永続化のプロセスで編集します。制作の正確性を保つハードルールは厳守し、それ以外は芸術的自由を尊重します。

OpenSkynet とは?

OpenSkynetは、開発者向けAIエージェントスキルであり、ユーザーとの自然な会話を通じて動画編集を実現します。音声を一次情報として扱い、文字起こしから編集候補を導き出し、視覚的な判断は必要な時だけ行います。Claude Code, Cursor, CodexなどのAIエージェント環境で動作し、ffmpegとPILを基盤として利用します。このスキルは、トークヘッド動画からモンタージュ、チュートリアル、インタビューまで幅広いジャンルに対応し、カット、カラーグレーディング、オーバーレイアニメーション、字幕生成などを実行します。プロセスは「質問→確認→実行→反復→永続化」を基本とし、すべてのセッションは指定されたディレクトリに保存され、プロジェクトの履歴が蓄積されます。ハードルール(非交渉の制作正確性ルール)が厳格に定義されており、例えば字幕はフィルターチェーンの最後に適用すること、セグメント境界には30msのオーディオフェードを適用することなどが含まれます。それ以外の編集上の判断(カラーグレードの色味、アニメーション、カットのタイミングなど)は、素材とユーザーの意図に基づいて自由に創作することを推奨しています。

対応✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/sediman-agent/OpenSkynet/tree/HEAD/skills/browser-use_video-use/video-use

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

動画編集の使い方

原則

  1. LLMは生の文字起こしとオンデマンドのビジュアルから推論します。 保存する価値のある唯一の派生成果物は、フレーズレベルのパックされた文字起こし(takes_packed.md)です。それ以外(フィラーのタグ付け、リテイク検出、ショット分類、強調スコアリング)は、判断時にその場で導き出します。
  2. 音声が主、ビジュアルは従です。 カットの候補は発話の境界と無音のギャップから生まれます。ビジュアルの検討は判断ポイントでのみ行います。
  3. 質問→確認→実行→反復→永続化。 ユーザーが平易な英語で戦略を確認するまでは、決してカットに触れてはいけません。
  4. 一般化します。 これがどのような種類の動画かを決めつけないでください。素材を見て、ユーザーに尋ね、それから編集します。
  5. 芸術的自由がデフォルトです。 このドキュメント内のすべての特定の値、プリセット、フォント、色、持続時間、ピッチ構造、およびテクニックは、ある実績のある動画からの実例であり、強制ではありません。それらを読んで、何が可能で、なぜそれぞれが機能したかを理解してください。そして、素材が実際に何であるか、ユーザーが実際に何を望んでいるかに基づいて、自分自身のセンスで判断を下してください。絶対に実行しなければならないのは、以下の「ハードルール」セクションだけです。 それ以外はすべてあなたの自由です。
  6. 自由に発明してください。 素材がここに記載されていないテクニック(分割画面、ピクチャーインピクチャー、ローワーサードのアイデンティティカード、リアクションカット、スピードランプ、フリーズフレーム、クロスフェード、マッチカット、Lカット、Jカット、息継ぎ部分でのスピードランプなど)を必要とするなら、それを作ってください。ヘルパーはffmpegとPILです。フォーマットがサポートするあらゆることを実行できます。許可を待ってはいけません。
  7. ユーザーに提示する前に、自分の出力を検証してください。 自分が出荷できないと思うものは、提示しないでください。

ハードルール(制作の正確性 — 譲歩不可)

これらは、逸脱すると無言の失敗や破損した出力を引き起こすものです。これは趣味の問題ではなく、正確性の問題です。暗記してください。

  1. 字幕はフィルターチェーンの最後に適用します。すべてのオーバーレイの後。そうしないとオーバーレイがキャプションを隠してしまいます。無言の失敗。
  2. セグメントごとに抽出 → ロスレス -c copy で結合。シングルパスのフィルターグラフは使用しません。そうしないと、オーバーレイが追加されたときにすべてのセグメントが2回エンコードされます。
  3. すべてのセグメント境界で30msのオーディオフェード(afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03)。そうしないと、すべてのカットで可聴なポップ音が発生します。
  4. オーバーレイでは setpts=PTS-STARTPTS+T/TB を使用して、オーバーレイのフレーム0をそのウィンドウの開始位置にシフトします。そうしないと、オーバーレイウィンドウ中にアニメーションの途中が表示されます。
  5. マスターSRTは出力タイムラインオフセットを使用:output_time = word.start - segment_start + segment_offset。そうしないと、セグメント結合後にキャプションの位置がずれます。
  6. 単語の途中でカットしてはいけません。 すべてのカットエッジをScribe文字起こしの単語境界にスナップさせます。
  7. すべてのカットエッジにパディングを追加します。 作業ウィンドウ:30~200ms。Scribeのタイムスタンプは50~100msずれます。パディングはそのずれを吸収します。テンポの速いものではよりタイトに、シネマティックなものではより緩めに。
  8. 単語レベルの逐語的ASRのみを使用します。 SRT/フレーズモードは使用しないでください(サブ秒のギャップデータが失われます)。正規化されたフィラーは使用しないでください(編集上のシグナルが失われます)。
  9. ソースごとに文字起こしをキャッシュします。 ソースファイル自体が変更されない限り、再文字起こしは行いません。
  10. 複数のアニメーションは並列サブエージェントで実行します。 決して逐次的ではありません。Agentツールを介してN個を一度に起動します。総ウォールタイムは最も遅いものとほぼ同じになります。
  11. 実行前に戦略を確認します。 ユーザーが平易な英語の計画を承認するまでは、決してカットに触れてはいけません。
  12. すべてのセッション出力は <videos_dir>/edit/ に出力します。 video-use/ プロジェクトディレクトリ内に決して書き込まないでください。

このドキュメントの他のすべては実例です。素材が必要とする場合はいつでも逸脱して構いません。

ディレクトリ構成

スキルは video-use/ にあります。ユーザーの映像はユーザーが配置した場所にあります。すべてのセッション出力は <videos_dir>/edit/ に出力されます。

<videos_dir>/
├── <ソースファイル、未編集>
└── edit/
    ├── project.md              ← メモリ。セッションごとに追記
    ├── takes_packed.md         ← フレーズレベルの文字起こし。LLMの主要な読み取りビュー
    ├── edl.json                ← カットの決定
    ├── transcripts/<name>.json ← キャッシュされた生のScribe JSON
    ├── animations/slot_<id>/   ← アニメーションごとのソース + レンダリング + 推論
    ├── clips_graded/           ← グレーディングとフェードを含むセグメントごとの抽出
    ├── master.srt              ← 出力タイムラインの字幕
    ├── downloads/              ← yt-dlpの出力
    ├── verify/                 ← デバッグフレーム / タイムラインPNG
    ├── preview.mp4
    └── final.mp4

セットアップ

初回インストールは install.md にあります(クローン、依存関係、ffmpeg、スキル登録、APIキー)。毎セッション実行する必要はありません。コールドスタート時は以下を確認するだけです。

  • ELEVENLABS_API_KEY が解決されること — 環境変数またはvideo-useリポジトリルートの .env にあること。不足している場合は、ユーザーに貼り付けてもらい、.env に書き込むよう依頼します(ユーザーの <videos_dir> には決して書き込まない)。
  • ffmpeg + ffprobe がPATHに存在すること。
  • Pythonの依存関係がインストールされていること(リポジトリ内で uv sync または pip install -e .)。
  • セッションでHyperFramesまたはRemotionスロットが必要な場合、Node.js + npmが利用可能であること。HyperFramesは現在Node.js 22+を必要とします。
  • yt-dlp、HyperFrames、Remotion、Manimは初回使用時にのみインストールされます。
  • 初回使用時のアニメーションセットアップはスロットディレクトリ内で行われ、video-useリポジトリルートでは行われません。HyperFramesは npx --yes hyperframes ... で呼び出すことができます。Remotionは npx create-video@latest でスキャフォールドするか、プロジェクトローカルの依存関係としてインストールしてから remotion render コマンドを使用します。
  • このスキルは skills/manim-video/ をベンダリングしています。Manimスロットを構築する際は、そのSKILL.mdを読んでください。

ヘルパー(helpers/transcribe.py、helpers/render.py など)はこのSKILL.mdと同じ場所にあります。それらのパスは、このファイルを含むディレクトリからの相対パスで解決してください。スキルは通常、~/.claude/skills/video-use/ または ~/.codex/skills/video-use/ にシンボリックリンクされています。

ヘルパー

  • transcribe.py <video> — 単一ファイルのScribe呼び出し。--num-speakers N はオプション。キャッシュされます。
  • transcribe_batch.py <videos_dir> — 4ワーカーのパラレル文字起こし。マルチテイクの場合に使用します。
  • pack_transcripts.py --edit-dir <dir> — transcripts/*.json → takes_packed.md(フレーズレベル、0.5秒以上の無音で区切る)。
  • timeline_view.py <video> <start> <end> — フィルムストリップ + 波形PNG。オンデマンドのビジュアルドリルダウン。スキャンツールではありません — 判断ポイントでのみ使用し、常時使用しないでください。
  • render.py <edl.json> -o <out> — セグメントごとの抽出 → 結合 → オーバーレイ(PTSシフト) → 字幕(最後)。--preview で720p高速プレビュー。--build-subtitles でインラインでmaster.srtを生成します。
  • grade.py <in> -o <out> — ffmpegフィルターチェーングレーディング。プリセット + --filter '<raw>' でカスタムフィルタ。

アニメーションについては、Bash で <edit>/animations/slot_<id>/ を作成し、Agent ツールを介してサブエージェントを起動します。

プロセス

  1. インベントリ。 すべてのソースに対して ffprobe を実行します。ディレクトリに対して transcribe_batch.py を実行します。pack_transcripts.py を実行して takes_packed.md を生成します。視覚的な最初の印象を得るために、1~2つの timeline_view をサンプリングします。

  2. 事前スキャン(問題の検出)。 takes_packed.md を一通り確認し、言葉の滑り、明らかな言い間違い、避けるべき言い回しをメモします。プレーンなリストとして、エディターブリーフィングに渡します。

  3. 会話。 見えているものを平易な英語で説明します。素材に基づいて形成された質問をします。収集する情報:コンテンツタイプ、目標の長さ/アスペクト、美的感覚/ブランドの方向性、ペース感、絶対に残したい瞬間、絶対にカットしたい瞬間、アニメーションとグレーディングの設定、字幕の必要性。固定のチェックリストは使用しないでください。適切な質問は毎回異なります。

  4. 戦略を提案。 4~8文で:構成、テイク選択、カットの方向性、アニメーションプラン、グレーディングの方向性、字幕スタイル、長さの見積もり。確認を待ちます。

  5. 実行。 エディターサブエージェントのブリーフィングを介して edl.json を生成します。曖昧な瞬間には timeline_view でドリルダウンします。並列サブエージェントでアニメーションを構築します。セグメントごとにグレーディングを適用します。render.py で合成します。

  6. プレビュー。 render.py --preview。

  7. 自己評価(ユーザーに提示する前)。 すべてのカット境界(±1.5秒ウィンドウ)で、レンダリングされた出力(ソースではない)に対して timeline_view を実行します。各画像で以下をチェックします:

    • カット部分での視覚的な不連続性 / フラッシュ / ジャンプ
    • 境界での波形スパイク(30msフェードをすり抜けたオーディオポップ)
    • オーバーレイの背後に隠れた字幕(ルール1違反)
    • オーバーレイの位置ずれまたは間違ったフレームの表示(ルール4違反)

    また、最初の2秒、最後の2秒、および中間の2~3ポイントをサンプリングします。グレーディングの一貫性、字幕の読みやすさ、全体的なまとまりをチェックします。出力に対して ffprobe を実行し、持続時間がEDLの期待値と一致することを確認します。

    何か問題があれば:修正 → 再レンダリング → 再評価。自己評価は最大3パスまで — 3回経過しても問題が残る場合は、無限ループせずにユーザーに問題を知らせます。自己評価が合格した場合のみ、プレビューを提示します。

  8. 反復 + 永続化。 自然言語でのフィードバック、再計画、再レンダリング。再文字起こしは決して行いません。確認後に最終レンダリング。project.md に追記します。

カットの技術(テクニック)

  • 音声ファースト。 カットの候補は単語境界と無音のギャップから生成します。
  • ピークを保持。 笑い、決めゼリフ、強調のビート。決めゼリフの後にはリアクションを含めるように延長します。笑い自体がビートなのです。
  • 話者の交代は、発話の間に間を置くことで効果が高まります。一般的な値:400~600ms。テンポの速いものではより短く、シネマティックなものではより長く。センスの問題です。
  • オーディオイベントをシグナルとして。 (laughs)、(sighs)、(applause) はビートを示します。それらを超えて延長します。
  • 無音ギャップはカットの候補です。 400ms以上の無音は通常最もクリーンです。150~400msのフレーズ境界は視覚的な確認があれば使用可能です。150ms未満は安全ではありません(フレーズ途中)。
  • カットパディングの例(このスキルが出荷された起動動画):最初の保持単語の前に50ms、最後の単語の後に80ms。モンタージュのエネルギーにはよりタイトに、ドキュメンタリーにはより緩めに。30~200msの作業ウィンドウ内に収めてください(ハードルール7)。
  • 音声とビジュアルを独立して推論してはいけません。 すべてのカットは両方のトラックで機能しなければなりません。

パックされた文字起こし(主要な読み取りビュー)

pack_transcripts.py はすべての transcripts/*.json を読み取り、各テイクがフレーズレベルの行のリストであり、それぞれが [開始-終了] の時間範囲でプレフィックスされた1つのマークダウンファイルを生成します。フレーズは0.5秒以上の無音または話者変更で区切られます。これは、エディターサブエージェントがカットを選択するために読み取る成果物であり、生のJSONの1/10のトークンで、テキストのみから単語境界の精度を提供します。

行の例:

## C0103  (持続時間: 43.0s, 8フレーズ)
  [002.52-005.36] S0 Webエージェントが行うことの90%は完全に無駄です。
  [006.08-006.74] S0 私たちはこれを修正しました。

エディターサブエージェントブリーフィング(マルチテイク選択用)

タスクが「複数のクリップから各ビートの最良のテイクを選択する」である場合、以下のように形成されたブリーフィングで専用のサブエージェントを起動します。構造は重要であり、ピッチシェイプの例はそうではありません。

あなたは<タイプ>の動画を編集しています。各ビートの最良のテイクを選択し、
ソースクリップの順序ではなく、ビートごとに時系列で組み立ててください。

入力:
  - takes_packed.md(すべてのテイクの時間注釈付きフレーズレベル文字起こし)
  - 製品/ナラティブコンテキスト:<ユーザーからの2文>
  - 話者:<名前、役割、配信スタイルのメモ>
  - 期待される構造:<アーキタイプを選択するか、発明する>
  - 避けるべき言葉の滑り:<事前スキャンパスからのリスト>
  - 目標実行時間:<秒>

一般的な構造アーキタイプ(選択、適応、または発明):
  - 技術ローンチ/デモ:   フック → 問題 → 解決策 → 利点 → 例 → CTA
  - チュートリアル:         イントロ → セットアップ → ステップ → ハマりポイント → まとめ
  - インタビュー:          (質問 → 回答 → フォローアップ)を繰り返し
  - 旅行/イベント:       到着 → ハイライト → 静かな瞬間 → 出発
  - ドキュメンタリー:     テーゼ → 証拠 → 反論 → 結論
  - 音楽/パフォーマンス:  イントロ → ヴァース → コーラス → ブリッジ → アウトロ
  - または独自のものを発明してください。

ルール:
  - 開始/終了時間は、文字起こしの単語境界に揃える必要があります。
  - カット境界にパディングを追加します(作業ウィンドウ30~200ms)。
  - カットターゲットとしては、400ms以上の無音を優先します。
  - より良いテイクが存在しない場合、避けられない滑りは保持します。その理由を

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

関連スキル