動画編集の使い方
原則
- LLMは生の文字起こしとオンデマンドのビジュアルから推論します。 保存する価値のある唯一の派生成果物は、フレーズレベルのパックされた文字起こし(
takes_packed.md)です。それ以外(フィラーのタグ付け、リテイク検出、ショット分類、強調スコアリング)は、判断時にその場で導き出します。 - 音声が主、ビジュアルは従です。 カットの候補は発話の境界と無音のギャップから生まれます。ビジュアルの検討は判断ポイントでのみ行います。
- 質問→確認→実行→反復→永続化。 ユーザーが平易な英語で戦略を確認するまでは、決してカットに触れてはいけません。
- 一般化します。 これがどのような種類の動画かを決めつけないでください。素材を見て、ユーザーに尋ね、それから編集します。
- 芸術的自由がデフォルトです。 このドキュメント内のすべての特定の値、プリセット、フォント、色、持続時間、ピッチ構造、およびテクニックは、ある実績のある動画からの実例であり、強制ではありません。それらを読んで、何が可能で、なぜそれぞれが機能したかを理解してください。そして、素材が実際に何であるか、ユーザーが実際に何を望んでいるかに基づいて、自分自身のセンスで判断を下してください。絶対に実行しなければならないのは、以下の「ハードルール」セクションだけです。 それ以外はすべてあなたの自由です。
- 自由に発明してください。 素材がここに記載されていないテクニック(分割画面、ピクチャーインピクチャー、ローワーサードのアイデンティティカード、リアクションカット、スピードランプ、フリーズフレーム、クロスフェード、マッチカット、Lカット、Jカット、息継ぎ部分でのスピードランプなど)を必要とするなら、それを作ってください。ヘルパーはffmpegとPILです。フォーマットがサポートするあらゆることを実行できます。許可を待ってはいけません。
- ユーザーに提示する前に、自分の出力を検証してください。 自分が出荷できないと思うものは、提示しないでください。
ハードルール(制作の正確性 — 譲歩不可)
これらは、逸脱すると無言の失敗や破損した出力を引き起こすものです。これは趣味の問題ではなく、正確性の問題です。暗記してください。
- 字幕はフィルターチェーンの最後に適用します。すべてのオーバーレイの後。そうしないとオーバーレイがキャプションを隠してしまいます。無言の失敗。
- セグメントごとに抽出 → ロスレス
-c copyで結合。シングルパスのフィルターグラフは使用しません。そうしないと、オーバーレイが追加されたときにすべてのセグメントが2回エンコードされます。 - すべてのセグメント境界で30msのオーディオフェード(
afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03)。そうしないと、すべてのカットで可聴なポップ音が発生します。 - オーバーレイでは
setpts=PTS-STARTPTS+T/TBを使用して、オーバーレイのフレーム0をそのウィンドウの開始位置にシフトします。そうしないと、オーバーレイウィンドウ中にアニメーションの途中が表示されます。 - マスターSRTは出力タイムラインオフセットを使用:
output_time = word.start - segment_start + segment_offset。そうしないと、セグメント結合後にキャプションの位置がずれます。 - 単語の途中でカットしてはいけません。 すべてのカットエッジをScribe文字起こしの単語境界にスナップさせます。
- すべてのカットエッジにパディングを追加します。 作業ウィンドウ:30~200ms。Scribeのタイムスタンプは50~100msずれます。パディングはそのずれを吸収します。テンポの速いものではよりタイトに、シネマティックなものではより緩めに。
- 単語レベルの逐語的ASRのみを使用します。 SRT/フレーズモードは使用しないでください(サブ秒のギャップデータが失われます)。正規化されたフィラーは使用しないでください(編集上のシグナルが失われます)。
- ソースごとに文字起こしをキャッシュします。 ソースファイル自体が変更されない限り、再文字起こしは行いません。
- 複数のアニメーションは並列サブエージェントで実行します。 決して逐次的ではありません。
Agentツールを介してN個を一度に起動します。総ウォールタイムは最も遅いものとほぼ同じになります。 - 実行前に戦略を確認します。 ユーザーが平易な英語の計画を承認するまでは、決してカットに触れてはいけません。
- すべてのセッション出力は
<videos_dir>/edit/に出力します。video-use/プロジェクトディレクトリ内に決して書き込まないでください。
このドキュメントの他のすべては実例です。素材が必要とする場合はいつでも逸脱して構いません。
ディレクトリ構成
スキルは video-use/ にあります。ユーザーの映像はユーザーが配置した場所にあります。すべてのセッション出力は <videos_dir>/edit/ に出力されます。
<videos_dir>/
├── <ソースファイル、未編集>
└── edit/
├── project.md ← メモリ。セッションごとに追記
├── takes_packed.md ← フレーズレベルの文字起こし。LLMの主要な読み取りビュー
├── edl.json ← カットの決定
├── transcripts/<name>.json ← キャッシュされた生のScribe JSON
├── animations/slot_<id>/ ← アニメーションごとのソース + レンダリング + 推論
├── clips_graded/ ← グレーディングとフェードを含むセグメントごとの抽出
├── master.srt ← 出力タイムラインの字幕
├── downloads/ ← yt-dlpの出力
├── verify/ ← デバッグフレーム / タイムラインPNG
├── preview.mp4
└── final.mp4
セットアップ
初回インストールは install.md にあります(クローン、依存関係、ffmpeg、スキル登録、APIキー)。毎セッション実行する必要はありません。コールドスタート時は以下を確認するだけです。
ELEVENLABS_API_KEYが解決されること — 環境変数またはvideo-useリポジトリルートの.envにあること。不足している場合は、ユーザーに貼り付けてもらい、.envに書き込むよう依頼します(ユーザーの<videos_dir>には決して書き込まない)。ffmpeg+ffprobeがPATHに存在すること。- Pythonの依存関係がインストールされていること(リポジトリ内で
uv syncまたはpip install -e .)。 - セッションでHyperFramesまたはRemotionスロットが必要な場合、Node.js + npmが利用可能であること。HyperFramesは現在Node.js 22+を必要とします。
yt-dlp、HyperFrames、Remotion、Manimは初回使用時にのみインストールされます。- 初回使用時のアニメーションセットアップはスロットディレクトリ内で行われ、video-useリポジトリルートでは行われません。HyperFramesは
npx --yes hyperframes ...で呼び出すことができます。Remotionはnpx create-video@latestでスキャフォールドするか、プロジェクトローカルの依存関係としてインストールしてからremotion renderコマンドを使用します。 - このスキルは
skills/manim-video/をベンダリングしています。Manimスロットを構築する際は、そのSKILL.mdを読んでください。
ヘルパー(helpers/transcribe.py、helpers/render.py など)はこのSKILL.mdと同じ場所にあります。それらのパスは、このファイルを含むディレクトリからの相対パスで解決してください。スキルは通常、~/.claude/skills/video-use/ または ~/.codex/skills/video-use/ にシンボリックリンクされています。
ヘルパー
transcribe.py <video>— 単一ファイルのScribe呼び出し。--num-speakers Nはオプション。キャッシュされます。transcribe_batch.py <videos_dir>— 4ワーカーのパラレル文字起こし。マルチテイクの場合に使用します。pack_transcripts.py --edit-dir <dir>—transcripts/*.json→takes_packed.md(フレーズレベル、0.5秒以上の無音で区切る)。timeline_view.py <video> <start> <end>— フィルムストリップ + 波形PNG。オンデマンドのビジュアルドリルダウン。スキャンツールではありません — 判断ポイントでのみ使用し、常時使用しないでください。render.py <edl.json> -o <out>— セグメントごとの抽出 → 結合 → オーバーレイ(PTSシフト) → 字幕(最後)。--previewで720p高速プレビュー。--build-subtitlesでインラインでmaster.srtを生成します。grade.py <in> -o <out>— ffmpegフィルターチェーングレーディング。プリセット +--filter '<raw>'でカスタムフィルタ。
アニメーションについては、Bash で <edit>/animations/slot_<id>/ を作成し、Agent ツールを介してサブエージェントを起動します。
プロセス
-
インベントリ。 すべてのソースに対して
ffprobeを実行します。ディレクトリに対してtranscribe_batch.pyを実行します。pack_transcripts.pyを実行してtakes_packed.mdを生成します。視覚的な最初の印象を得るために、1~2つのtimeline_viewをサンプリングします。 -
事前スキャン(問題の検出)。
takes_packed.mdを一通り確認し、言葉の滑り、明らかな言い間違い、避けるべき言い回しをメモします。プレーンなリストとして、エディターブリーフィングに渡します。 -
会話。 見えているものを平易な英語で説明します。素材に基づいて形成された質問をします。収集する情報:コンテンツタイプ、目標の長さ/アスペクト、美的感覚/ブランドの方向性、ペース感、絶対に残したい瞬間、絶対にカットしたい瞬間、アニメーションとグレーディングの設定、字幕の必要性。固定のチェックリストは使用しないでください。適切な質問は毎回異なります。
-
戦略を提案。 4~8文で:構成、テイク選択、カットの方向性、アニメーションプラン、グレーディングの方向性、字幕スタイル、長さの見積もり。確認を待ちます。
-
実行。 エディターサブエージェントのブリーフィングを介して
edl.jsonを生成します。曖昧な瞬間にはtimeline_viewでドリルダウンします。並列サブエージェントでアニメーションを構築します。セグメントごとにグレーディングを適用します。render.pyで合成します。 -
プレビュー。
render.py --preview。 -
自己評価(ユーザーに提示する前)。 すべてのカット境界(±1.5秒ウィンドウ)で、レンダリングされた出力(ソースではない)に対して
timeline_viewを実行します。各画像で以下をチェックします:- カット部分での視覚的な不連続性 / フラッシュ / ジャンプ
- 境界での波形スパイク(30msフェードをすり抜けたオーディオポップ)
- オーバーレイの背後に隠れた字幕(ルール1違反)
- オーバーレイの位置ずれまたは間違ったフレームの表示(ルール4違反)
また、最初の2秒、最後の2秒、および中間の2~3ポイントをサンプリングします。グレーディングの一貫性、字幕の読みやすさ、全体的なまとまりをチェックします。出力に対して
ffprobeを実行し、持続時間がEDLの期待値と一致することを確認します。何か問題があれば:修正 → 再レンダリング → 再評価。自己評価は最大3パスまで — 3回経過しても問題が残る場合は、無限ループせずにユーザーに問題を知らせます。自己評価が合格した場合のみ、プレビューを提示します。
-
反復 + 永続化。 自然言語でのフィードバック、再計画、再レンダリング。再文字起こしは決して行いません。確認後に最終レンダリング。
project.mdに追記します。
カットの技術(テクニック)
- 音声ファースト。 カットの候補は単語境界と無音のギャップから生成します。
- ピークを保持。 笑い、決めゼリフ、強調のビート。決めゼリフの後にはリアクションを含めるように延長します。笑い自体がビートなのです。
- 話者の交代は、発話の間に間を置くことで効果が高まります。一般的な値:400~600ms。テンポの速いものではより短く、シネマティックなものではより長く。センスの問題です。
- オーディオイベントをシグナルとして。
(laughs)、(sighs)、(applause)はビートを示します。それらを超えて延長します。 - 無音ギャップはカットの候補です。 400ms以上の無音は通常最もクリーンです。150~400msのフレーズ境界は視覚的な確認があれば使用可能です。150ms未満は安全ではありません(フレーズ途中)。
- カットパディングの例(このスキルが出荷された起動動画):最初の保持単語の前に50ms、最後の単語の後に80ms。モンタージュのエネルギーにはよりタイトに、ドキュメンタリーにはより緩めに。30~200msの作業ウィンドウ内に収めてください(ハードルール7)。
- 音声とビジュアルを独立して推論してはいけません。 すべてのカットは両方のトラックで機能しなければなりません。
パックされた文字起こし(主要な読み取りビュー)
pack_transcripts.py はすべての transcripts/*.json を読み取り、各テイクがフレーズレベルの行のリストであり、それぞれが [開始-終了] の時間範囲でプレフィックスされた1つのマークダウンファイルを生成します。フレーズは0.5秒以上の無音または話者変更で区切られます。これは、エディターサブエージェントがカットを選択するために読み取る成果物であり、生のJSONの1/10のトークンで、テキストのみから単語境界の精度を提供します。
行の例:
## C0103 (持続時間: 43.0s, 8フレーズ)
[002.52-005.36] S0 Webエージェントが行うことの90%は完全に無駄です。
[006.08-006.74] S0 私たちはこれを修正しました。
エディターサブエージェントブリーフィング(マルチテイク選択用)
タスクが「複数のクリップから各ビートの最良のテイクを選択する」である場合、以下のように形成されたブリーフィングで専用のサブエージェントを起動します。構造は重要であり、ピッチシェイプの例はそうではありません。
あなたは<タイプ>の動画を編集しています。各ビートの最良のテイクを選択し、
ソースクリップの順序ではなく、ビートごとに時系列で組み立ててください。
入力:
- takes_packed.md(すべてのテイクの時間注釈付きフレーズレベル文字起こし)
- 製品/ナラティブコンテキスト:<ユーザーからの2文>
- 話者:<名前、役割、配信スタイルのメモ>
- 期待される構造:<アーキタイプを選択するか、発明する>
- 避けるべき言葉の滑り:<事前スキャンパスからのリスト>
- 目標実行時間:<秒>
一般的な構造アーキタイプ(選択、適応、または発明):
- 技術ローンチ/デモ: フック → 問題 → 解決策 → 利点 → 例 → CTA
- チュートリアル: イントロ → セットアップ → ステップ → ハマりポイント → まとめ
- インタビュー: (質問 → 回答 → フォローアップ)を繰り返し
- 旅行/イベント: 到着 → ハイライト → 静かな瞬間 → 出発
- ドキュメンタリー: テーゼ → 証拠 → 反論 → 結論
- 音楽/パフォーマンス: イントロ → ヴァース → コーラス → ブリッジ → アウトロ
- または独自のものを発明してください。
ルール:
- 開始/終了時間は、文字起こしの単語境界に揃える必要があります。
- カット境界にパディングを追加します(作業ウィンドウ30~200ms)。
- カットターゲットとしては、400ms以上の無音を優先します。
- より良いテイクが存在しない場合、避けられない滑りは保持します。その理由を