ビデオ作成マトリクス (v3 — 機能ベース) は何をしますか?
このマトリクスは、エージェントが必要に応じて構成できる機能を記述しています。固定のパイプラインではありません。「ビデオ作成」ワークフローは、必要な機能のレシピを選択し、機能ごとにタスク要件と以下の事前確認情報からプロバイダを選択します。
スキーマ: docs/cli-matrix/matrix_registry.schema.md.
インストール (インストール可能部分)
cli-hub matrix install video-creation # 登録されたマトリクスCLIのみをインストール
cli-hub matrix info video-creation # プロバイダとレシピを表示
cli-hub matrix preflight video-creation # この環境で利用可能なプロバイダを確認
このマトリクスのすべてが cli-hub matrix install でインストールされるわけではありません。クラウドAPI、Pythonパッケージ、ネイティブバイナリ、サードパーティ公開CLI、外部スキルも第一級のプロバイダですが、実際にタスクでそのプロバイダが必要になった場合にのみインストールしてください。
CLI-Anythingマトリクスメンバーのために pip install ...#subdirectory=... を手書きしないでください。サポートされているハーネスは cli-hub matrix install video-creation でインストールし、preflightを使用して他に何が利用可能かを確認してください。
プロバイダ選択の制約 (エージェント: 機能ごとに評価)
- preflightは可用性レポートとして使用し、プロバイダセレクタとして使用しないでください。
- ユーザーの目標、品質基準、予算、オフライン要件、認証情報の状態、インストールコスト、要求されたワークフローからプロバイダを選択してください。
- レジストリ/プロバイダの順序はドキュメント上の順序としてのみ扱い、最初のプロバイダが正しいと想定しないでください。
- Pythonライブラリ、ネイティブバイナリ、ハーネスクLI、公開CLI、エージェントスキルは、タスクの制約に適合する場合にのみインストールしてください。
- 有料または従量課金のAPIへのエスカレーションは、ユーザーが認証情報を提供したか、明示的に同意した場合のみ行ってください。決して有料APIを黙って呼び出さないでください。
- タスクが必須プロバイダルールのあるジャンルに該当する場合、そのプロバイダはオプションではありません。ローカルで便利だからといって、より安価または簡単な代替に置き換えないでください。
オフラインコンテキストの場合は、offline: true のプロバイダのみにフィルタリングしてください。
Preflight (セッションごとに1回実行し、結果をキャッシュ)
最初に組み込みのマトリクスpreflightを実行します:
cli-hub matrix preflight video-creation --json
cli-hub matrix preflight video-creation --capability composite.assemble
cli-hub matrix preflight video-creation --offline
生のチェックが必要な場合、または最新の cli-hub なしで実行する場合は、手動ブロックを使用します:
cli-hub list --json
python - <<'PY'
import importlib.util
for m in ("moviepy","whisper","pydub","PIL","edge_tts","pysrt","pysubs2","yt_dlp","spotdl","scenedetect","paddleocr","twelvelabs"):
print(m, importlib.util.find_spec(m) is not None)
PY
for b in ffmpeg ffprobe sox convert magick screencapture yt-dlp spotdl scdl bandcamp-dl you-get lux BBDown scenedetect mediainfo ffmpeg-quality-metrics paddleocr hyperframes; do command -v "$b" >/dev/null && echo "$b: yes" || echo "$b: no"; done
for e in RUNWAY_API_KEY KLING_API_KEY PIKA_API_KEY SEEDANCE_API_KEY \
ELEVENLABS_API_KEY MINIMAX_API_KEY OPENAI_API_KEY GOOGLE_CLOUD_PROJECT \
ASSEMBLYAI_API_KEY DEEPGRAM_API_KEY \
SUNO_API_KEY UDIO_API_KEY IDEOGRAM_API_KEY STABILITY_API_KEY \
TWELVELABS_API_KEY GOOGLE_APPLICATION_CREDENTIALS; do
[ -n "${!e}" ] && echo "$e: set" || echo "$e: unset"
done
ユーザーへの提案テンプレート (エージェントはエスカレーション時にそのまま使用)
<機能>を<プロバイダ>経由で有効にするには、<ENV_VAR>を設定してください。
コスト: <コストメモ>
品質: <品質レベル>
'skip'と返信すると、<次のプロバイダ>にフォールバックします。
例:
- Runway Gen-4でシネマティックAI動画を有効にするには、
RUNWAY_API_KEYを設定してください。コスト: 2026年4月現在、約$0.05/秒。品質: sota。'skip'と返信すると、設定されていればgenerate-veo-videoまたはjimengにフォールバックします。 - ByteDance Seedance動画生成を有効にするには、
SEEDANCE_API_KEYを設定してください。コスト: クリップごとの従量課金。品質: リアルなモーションでsota。'skip'と返信すると、ByteDanceモデルファミリーを共有するjimeng(Dreamina) にフォールバックします。
機能
script.storyboard — 概要からクリエイティブディレクション、スクリプト、ショットリスト、タイミング、アセット計画へ
これを、ユーザーが漠然としたコンセプトを与えた場合や完全なビデオを要求した場合に、生成、検索、キャプチャ、またはアセンブリの前に使用します。デフォルトでは、エージェント作業として直接計画を実行します。ダウンロードや生成に時間を費やす前に、構造化された概要、全体的なクリエイティブディレクション、ナラティブ/感情アーク、オーディオアーク、スクリプト/ナレーション、ショットリスト、タイミングマップ、アセット要件、レビュー可能なストーリーボードを作成します。
重要なビデオについては、最終アセンブリの前に references/story-structure-audio.md を読み、creative_direction.md を保存してください。これは、トレーラー、スポーツ/ミュージックモンタージュ、映画評論、ファウンドフッテージ編集、製品発表ビデオ、および平坦なランダムクリップや退屈な音楽では要件を満たせないあらゆる出力に対して必須です。
ハードゲート: 重要なビデオの最終アセンブリは、creative_direction.md が存在するまで開始しないでください。plan.md は代用できません。ファイルには、目標時間または要求された時間範囲、出力言語、時間、ビート、ソース/ショットロール、オーディオイベント、キャプション/タイトルロール、失敗リスクを含むショットロールテーブルが含まれている必要があります。エンディング/最終幕に、ジャンルに適した見返り、クライマックス、暴露、有用な要約、または意図的な未解決のフックがない計画は拒否してください。言語ルール: ユーザーが出力言語を指定した場合は、エージェントが作成する視聴者向けコンテンツにその言語を使用します。それ以外の場合は、ユーザーが会話で使用している言語を使用します。
| プロバイダ | 種類 | 必要条件 | コスト | 品質 | オフライン |
|---|---|---|---|---|---|
| エージェントネイティブ計画 | agent-native | なし | 無料 | 高い | はい |
storyboard-creation スキル | agent-skill | インストール済みスキル | 無料 | 高い | はい |
remotion-best-practices スキル | agent-skill | インストール済みスキル | 無料 | コード駆動モーションビデオに高い | はい |
選択:
- 通常のスクリプト、ショットリスト、タイミングマップ、アセット計画には、エージェントネイティブ計画から始めてください。
creative_direction.mdには、一文の約束、ストーリーアーク、感情曲線、オーディオアーク、カット密度曲線、ビジュアルモチーフ、ソースロール、平坦さ回避のガードレールを含めてください。storyboard-creationは、明示的なストーリーボードパネル規則、カメラアングル文法、連続性チェック、またはアニマティック計画が必要な場合にのみ使用してください。remotion-best-practicesは、ストーリーボードがRemotion/Reactモーションビデオコードとして実装される場合にのみ使用してください。
video.search — インターネット上の候補動画を発見
これを video.download の前に、ユーザーがファウンドフッテージ、Bロール、パブリックドメインクリップ、ストックフッテージ、YouTube/Bilibili素材、または特定の映画/TV/ゲーム/アニメの瞬間を要求した場合に使用します。無料/オープンソースを優先し、編集前にソースURL、ライセンス、作成者、帰属要件を記録してください。
ファウンドフッテージ納品物またはプラットフォームオリジンの主張については、references/source-triage.md を読み、各候補を直接プラットフォームソース、検証済みプラットフォームオリジントランスポート、または弱いミラーとして分類してください。
| プロバイダ | 種類 | 必要条件 | コスト | 品質 | オフライン |
|---|---|---|---|---|---|
| Web検索 + ソースフィルタ | web-search | オンライン検索アクセス | 無料 | 良い | いいえ |
検索規律:
- 再利用可能/商用安全なBロールの場合、Wikimedia Commons、YouTube Creative Commons、またはブラウザ検索可能なストック/パブリックドメインページから始め、ダウンロードしたすべてのファイルの横に帰属メタデータを保持してください。
- Bilibili/YouTubeの参照用またはファン編集ワークフローの場合、汎用用語ではなく特定のシーン名を検索してください。
1080p、4K、HD、BD、蓝光、高清などの品質修飾子を追加してください。 - Bilibiliの場合、
site:bilibili.com "Game of Thrones" S3E09 BVなどのターゲットWeb検索を使用してください。スタンドアロンの/video/BV...アップロードは通常、地域制限のあるバングミURLよりも処理が簡単です。 - ダウンロード可能性を許可と見なさないでください。ライセンスまたはユーザー認可が不明な場合は、納品物でフッテージを使用する前に確認を取ってください。
video.download — Web動画をワークスペースにダウンロード/インポート
これを video.search が候補URLを特定した後、またはユーザーが直接URLを指定した場合に使用します。すべての生ダウンロードを1つの sources/ ディレクトリに保持し、sources.json をURL/ライセンス/作成者/来歴とともに保存し、ダウンストリーム編集の前にファイル名を正規化してください。
インターネットフッテージの場合、sources.json は、プラットフォームURL、トランスポートURL(異なる場合)、コマンド、使用したクッキーファイルパス、ローカルファイル、プローブサマリー、選択範囲、ソースロール、ライセンス/権利メモ、品質の注意点を記録する必要があります。
| プロバイダ | 種類 | 必要条件 | コスト | 品質 | オフライン |
|---|---|---|---|---|---|
yt-dlp | public-cli | yt-dlp + ffmpeg | 無料 | 高い | いいえ |
you-get | public-cli | you-get bin | 無料 | 良い | いいえ |
lux | public-cli | lux + ffmpeg | 無料 | 良い | いいえ |
BBDown | public-cli | BBDown + ffmpeg | 無料 | Bilibiliに高い | いいえ |
運用上の注意:
- 品質が重要な場合は、YouTube/Bilibili URLには
yt-dlp -f "bestvideo[height>=1080]+bestaudio/best" --merge-output-format mp4を優先して使用してください。ユーザーがコンテンツへのアクセスを許可している場合にのみ、クッキーを使用してください。 - Bilibiliの音声のみの抽出の場合、
yt-dlp -x --audio-format mp3は避けてください。生のm4aをダウンロードし、ffmpegで変換し、使用前に音量を確認してください。 - Bilibili固有のメタデータ、字幕、弾幕、プレイリスト、または高品質メンバー限定ストリームがタスクの中心となる場合は、
BBDownを使用してください。
music.search — 既存の曲、BGM、またはクリーンな音声ソースを発見
これを music.download の前に、ユーザーが既存の曲、サウンドトラックキュー、ロイヤリティフリートラック、プラットフォームオーディオ、または特定のカバー/バージョンを要求した場合に使用します。検索は、単なる利用可能なオーディオではなく、要求された音楽に焦点を当ててください。タイトル、アーティスト、プラットフォームURL、アップローダー、ソースタイプ、バージョンメモ、権利/ライセンス、帰属を music_sources.json に記録してください。
| プロバイダ | 種類 | 必要条件 | コスト | 品質 | オフライン |
|---|---|---|---|---|---|
| Web検索 + ソースフィルタ | web-search | オンライン検索アクセス | 無料 | 良い | いいえ |
yt-dlp 検索抽出器 | public-cli | yt-dlp | 無料 | 良い | いいえ |
spotdl メタデータ/検索 | public-cli | spotdl | 無料 | Spotify連携曲に良い | いいえ |
検索規律:
- クリーンなオーディオの場合、アーティストの公式アップロード、レーベルアップロード、公式オーディオ/MV、検証済み歌詞ビデオ、または余分な記述子のないスタンドアロンオーディオアップロードを探してください。
- ユーザーが
女生版、デュエット、ピアノ、アコースティック、ライブ、DJ、カラオケ、インストゥルメンタルなどの特定のバージョンを要求した場合は、コミットする前にタイトル/アップローダー/メタデータがその正確なバージョンと一致していることを確認してください。 リミックス、カバー、ファン編集、AMV、MAD、マッシュアップ、コンピレーション、トレーラーミックス、または無関係なサウンドトラック/OSTなど、間違ったソースを暗示する候補タイトルは、ユーザーが明示的にそのバリアントを要求した場合を除き、拒否してください。- タイアップ曲やプロモトラックの場合、ダイアログ/ボイスオーバー/SFXの混入が可能性があります。
{artist} {song} 纯音乐、{song} 无对白、{song} 歌词版、official audio、lyric videoなどの代替を、リスクのあるソースを受け入れるようユーザーに求める前に検索してください。 - ダウンロード可能性を許可と見なさないでください。権利、ライセンス、またはユーザー認可が不明な場合は、納品物で音楽を使用する前に確認を取ってください。
music.download — 既存の音楽をワークスペースにダウンロード/インポート
これを music.search が候補を特定した後、またはユーザーが音楽URL/ローカルファイルを直接指定した場合に使用します。生のダウンロードを sources/music/ に保持し、music_sources.json を保存し、編集用に正規化された作業ファイルを作成してください。
| プロバイダ | 種類 | 必要条件 | コスト | 品質 | オフライン |
|---|---|---|---|---|---|
yt-dlp 音声ダウンロード | public-cli | yt-dlp + ffmpeg | 無料 | 高い | いいえ |
spotdl | public-cli | spotdl + ffmpeg | 無料 | Spotify連携メタデータに良い | いいえ |
scdl | public-cli | scdl | 無料 | SoundCloudに良い | いいえ |
bandcamp-dl | public-cli | bandcamp-dl | 無料 | Bandcampに良い | いいえ |
ローカルファイルインポート + ffmpeg | native | ffmpeg | 無料 | 高い | はい |
運用上の注意:
- ユーザーが使用を許可されている音楽、または納品物に対して明確にライセンスされている音楽のみを使用してください。DRM、ペイウォール、アクセス制御を回避しないでください。
- 一般的な音声URLの場合、まずソース音声をダウンロードし、次に明示的に変換します:
yt-dlp -f "bestaudio[ext=m4a]/bestaudio" -o "sources/music/audio_raw.%(ext)s" "URL"
ffmpeg -i sources/music/audio_raw.m4a -vn -c:a libmp3lame -q:a 0 sources/music/audio.mp3
- Bilibiliの音声のみのダウンロードの場合、
yt-dlp -x --audio-format mp3は使用しないでください。見た目は正常でもほぼ無音のMP3を生成する可能性があります。生のm4aをダウンロードし、ffmpegで変換し、音量を確認してください:
yt-dlp -f 30280 -o "sources/music/audio_raw.%(ext)s" "BILIBILI_URL"
ffmpeg -i sources/music/audio_raw.m4a -c:a libmp3lame -q:a 0 sources/music/audio.mp3
ffmpeg -i sources/music/audio.mp3 -af volumedetect -f null - 2>&1 | grep mean_volume
平均音量がおおよそ -40dB 未満のファイルは、無音が予想される場合を除き、拒否してください。
- 編集前に、特にプロモ/OST/タイアップ曲の場合は、少なくとも3箇所サンプルリスニング:
ffplay -ss 30 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 90 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 150 -t 5 -autoexit sources/music/audio.mp3
- ソースが正しい曲/バージョンであり、ダイアログやSFXの混入がないことを確認した後にのみ、ノーマライズまたはラウドネスマッチングを行ってください。
visual.capture — 画面/ウェブカム/ウィンドウを録画
| プロバイダ | 種類 | 必要条件 | コスト | 品質 | オフライン |
|---|---|---|---|---|---|
cli-anything-openscreen | harness-cli | ハーネスインストール済み | 無料 | 高い | はい |
cli-anything-obs-studio | harness-cli | OBSインストール済み | 無料 | 高い | はい |
ffmpeg -f x11grab / avfoundation | native | ffmpeg | 無料 | 高い | はい |
screencapture | native | macOS | 無料 | 高い | はい |
mss / pyautogui + cv2 | python | パッケージ | 無料 | 良い | はい |
visual.generate — プロンプト/参照からビデオクリップを生成
| プロバイダ | 種類 | 必要条件 | コスト | 品質 | オフライン | |---|---|---|---|
…[翻訳のため省略]