影片創作矩陣(v3 — 基於能力)
此矩陣描述了代理可以按需組合的能力,而非固定流程。一個「影片創作」工作流程會選擇一個配方(需要哪些能力),並根據任務需求與下方預檢事實,為每個能力選擇一個供應商。
架構:docs/cli-matrix/matrix_registry.schema.md。
安裝(可安裝部分)
cli-hub matrix install video-creation # 僅安裝註冊的矩陣 CLI
cli-hub matrix info video-creation # 檢查供應商與配方
cli-hub matrix preflight video-creation # 檢查此環境中可用的供應商
並非此矩陣中的所有內容都由 cli-hub matrix install 安裝。雲端 API、Python 套件、原生二進位檔、第三方公開 CLI 和外部技能也是第一級的供應商,但僅在任務實際需要該供應商時才安裝它們。
對於 CLI-Anything 矩陣成員,請勿手動編寫 pip install ...#subdirectory=...;請透過 cli-hub matrix install video-creation 安裝受支援的工具,然後使用 preflight 查看還有哪些其他工具可用。
供應商選擇限制(代理:按能力評估)
- 將 preflight 視為可用性報告,而非供應商選擇器。
- 根據用戶的目標、品質水準、預算、離線需求、憑證狀態、安裝成本和請求的工作流程來選擇供應商。
- 將註冊/供應商順序視為僅供參考的文件順序;不要假設第一個供應商就是正確的。
- 僅在符合任務限制時,才安裝 Python 庫、原生二進位檔、工具 CLI、公開 CLI 或代理技能。
- 僅在用戶已提供憑證或明確同意的情況下,才升級到付費或按量計費的 API。切勿在未通知的情況下呼叫付費 API。
- 如果任務屬於具有強制供應商規則的類型,則該供應商不是可選的。請勿僅因為本地方便就使用更便宜/更簡單的替代方案。
需要離線環境?僅篩選 offline: true 的供應商。
預檢(每次 session 執行一次,並快取結果)
首先執行內建的矩陣預檢:
cli-hub matrix preflight video-creation --json
cli-hub matrix preflight video-creation --capability composite.assemble
cli-hub matrix preflight video-creation --offline
如果您需要執行原始檢查或在不使用最新版 cli-hub 的情況下執行,請使用手動區塊:
cli-hub list --json
python - <<'PY'
import importlib.util
for m in ("moviepy","whisper","pydub","PIL","edge_tts","pysrt","pysubs2","yt_dlp","spotdl","scenedetect","paddleocr","twelvelabs"):
print(m, importlib.util.find_spec(m) is not None)
PY
for b in ffmpeg ffprobe sox convert magick screencapture yt-dlp spotdl scdl bandcamp-dl you-get lux BBDown scenedetect mediainfo ffmpeg-quality-metrics paddleocr hyperframes; do command -v "$b" >/dev/null && echo "$b: yes" || echo "$b: no"; done
for e in RUNWAY_API_KEY KLING_API_KEY PIKA_API_KEY SEEDANCE_API_KEY \
ELEVENLABS_API_KEY MINIMAX_API_KEY OPENAI_API_KEY GOOGLE_CLOUD_PROJECT \
ASSEMBLYAI_API_KEY DEEPGRAM_API_KEY \
SUNO_API_KEY UDIO_API_KEY IDEOGRAM_API_KEY STABILITY_API_KEY \
TWELVELABS_API_KEY GOOGLE_APPLICATION_CREDENTIALS; do
[ -n "${!e}" ] && echo "$e: set" || echo "$e: unset"
done
建議給用戶的範本(代理在升級時逐字使用)
若要透過 <provider> 啟用 <capability>,請設定 <ENV_VAR>。
成本:<cost notes>
品質:<quality tier>
回覆 'skip' 以回退至 <next provider>。
範例:
- 若要透過 Runway Gen-4 啟用電影級 AI 影片生成,請設定
RUNWAY_API_KEY。成本:截至 2026 年 4 月約為 $0.05/秒。品質:業界頂尖。回覆 'skip' 以回退至generate-veo-video或設定的jimeng。 - 若要啟用字節跳動 Seedance 影片生成,請設定
SEEDANCE_API_KEY。成本:按片段計費。品質:真實動態效果業界頂尖。回覆 'skip' 以回退至jimeng(Dreamina),其與 Seedance 共享字節跳動模型系列。
能力
script.storyboard — 簡要說明到創作方向、劇本、鏡頭列表、時間安排和素材計劃
在用戶提出模糊概念或要求製作完整影片時,請在生成、搜索、捕捉或組裝之前使用此能力。預設情況下,直接將規劃工作作為代理的任務來完成:在花費時間進行下載或生成之前,產出一份結構化的簡要說明、整體創作方向、敘事/情感弧線、音訊弧線、腳本/旁白、鏡頭列表、時間映射、素材需求和可供審查的分鏡板。
對於任何非平凡的影片,請在最終組裝前閱讀 references/story-structure-audio.md 並儲存 creative_direction.md。這對於預告片、體育/音樂混剪、影評、原始素材剪輯、產品發表影片以及任何使用隨機剪輯或無趣音樂會導致失敗的輸出是強制性的。
硬性門檻:在 creative_direction.md 文件存在之前,不得開始非平凡影片的最終組裝。plan.md 不能替代它。該文件必須包含目標時長或要求的時長範圍、輸出語言、一個包含時間、節拍、來源/鏡頭角色、音訊事件、字幕/標題角色和失敗風險的鏡頭角色表;拒絕那些結尾/最終幕沒有適當的結局、高潮、揭露、有用回顧或符合類型的有意未解伏筆的計劃。語言規則:如果用戶指定了輸出語言,請將其用於所有代理創作的面向觀眾的內容;否則使用用戶在對話中使用的語言。
| 提供者 | 類型 | 需求 | 成本 | 品質 | 離線 |
|---|---|---|---|---|---|
| 代理本地規劃 | agent-native | 無 | 免費 | 高 | 是 |
storyboard-creation 技能 | agent-skill | 已安裝技能 | 免費 | 高 | 是 |
remotion-best-practices 技能 | agent-skill | 已安裝技能 | 免費 | 適合程式碼驅動的動態影片:高 | 是 |
選擇:
- 對於常規的腳本、鏡頭列表、時間映射和素材計劃,從代理本地規劃開始。
- 包含
creative_direction.md,其中包含一句話承諾、故事弧線、情感曲線、音訊弧線、剪輯密度曲線、視覺主題、來源角色和平淡防止機制。 - 僅在需要明確的分鏡面板慣例、鏡頭角度語法、連續性檢查或動畫分鏡規劃時,才使用
storyboard-creation。 - 僅在分鏡板將作為 Remotion/React 動態影片程式碼實現時,才使用
remotion-best-practices。
video.search — 發現候選的網路素材
在用戶要求尋找現有素材、B-roll、公共領域剪輯、庫存影片、YouTube/Bilibili 內容或指定的電影/電視/遊戲/動漫片段時,請在 video.download 之前使用此能力。優先選擇免費/開源來源,並在編輯前記錄來源 URL、許可證、創作者和署名要求。
對於現有素材交付物或平台來源主張,請閱讀 references/source-triage.md,並將每個候選項目分類為直接平台來源、經過驗證的平台來源傳輸或弱鏡像。
| 提供者 | 類型 | 需求 | 成本 | 品質 | 離線 |
|---|---|---|---|---|---|
| 網路搜尋 + 來源過濾 | web-search | 線上搜尋權限 | 免費 | 良好 | 否 |
搜尋紀律:
- 對於可重複使用/商業安全的 B-roll,從 Wikimedia Commons、YouTube Creative Commons 或其他可瀏覽搜尋的庫存/公共領域頁面開始,並在每個下載的檔案旁保留歸屬元數據。
- 對於 Bilibili/YouTube 參考或粉絲剪輯工作流程,搜尋特定的場景名稱而非通用術語。加入品質修飾詞,如
1080p、4K、HD、BD、藍光或高清。 - 對於 Bilibili,使用有針對性的網路搜尋,例如
site:bilibili.com "Game of Thrones" S3E09 BV;獨立的/video/BV...上傳通常比受地理限制的 bangumi URL 更容易處理。 - 不要將可下載性視為許可。如果許可證或用戶授權不明確,請在使用該素材於交付物之前進行詢問。
video.download — 將網路影片下載/匯入到工作區
在 video.search 識別出候選 URL 後,或當用戶直接提供 URL 時,使用此能力。將所有原始下載內容保存在一個 sources/ 目錄中,儲存 sources.json 檔案(包含 URL/許可證/創作者/來源),並在下游編輯前規範化檔案名稱。
對於網路素材,sources.json 必須記錄平台 URL、傳輸 URL(若不同)、命令、使用的 cookie 檔案路徑(若有)、本地檔案、探測摘要、選定的範圍、來源角色、許可證/權利說明和品質注意事項。
| 提供者 | 類型 | 需求 | 成本 | 品質 | 離線 |
|---|---|---|---|---|---|
yt-dlp | public-cli | yt-dlp + ffmpeg | 免費 | 高 | 否 |
you-get | public-cli | you-get 二進位檔 | 免費 | 良好 | 否 |
lux | public-cli | lux + ffmpeg | 免費 | 良好 | 否 |
BBDown | public-cli | BBDown + ffmpeg | 免費 | 適合 Bilibili:高 | 否 |
操作說明:
- 對於 YouTube/Bilibili URL,當品質重要時,優先使用
yt-dlp -f "bestvideo[height>=1080]+bestaudio/best" --merge-output-format mp4。僅在用戶授權存取內容時才使用 cookies。 - 對於 Bilibili 僅音訊提取,避免使用
yt-dlp -x --audio-format mp3;下載原始 m4a 並使用ffmpeg進行轉換,然後在使用前驗證音量。 - 當 Bilibili 特定的元數據、字幕、彈幕、播放清單或高品質會員串流是任務的核心時,請使用
BBDown。
music.search — 發現現有歌曲、背景音樂或純音訊來源
在用戶想要現有歌曲、原聲帶提示、免版稅曲目、平台音訊或特定的翻唱/版本時,請在 music.download 之前使用此能力。將搜尋重點放在所要求的音樂上,而不僅僅是任何可用的音訊。在 music_sources.json 中記錄標題、藝術家、平台 URL、上傳者、來源類型、版本說明、權利/許可和歸屬。
| 提供者 | 類型 | 需求 | 成本 | 品質 | 離線 |
|---|---|---|---|---|---|
| 網路搜尋 + 來源過濾 | web-search | 線上搜尋權限 | 免費 | 良好 | 否 |
yt-dlp 搜尋提取器 | public-cli | yt-dlp | 免費 | 良好 | 否 |
spotdl 元數據/搜尋 | public-cli | spotdl | 免費 | 適合與 Spotify 連結的歌曲:良好 | 否 |
搜尋紀律:
- 對於純音訊,請尋找藝術家的官方上傳、唱片公司上傳、官方音訊/MV、經過驗證的歌詞影片或沒有額外描述的獨立音訊上傳。
- 如果用戶要求特定版本,例如
女生版、二重唱、鋼琴、原聲、現場、DJ、卡拉OK 或純音樂,請在確認前驗證標題/上傳者/元數據是否與該確切版本相符。 - 拒絕標題暗示來源錯誤的候選項目:
remix、cover、fan edit、AMV、MAD、mashup、合輯、預告片混音或不相關的原聲帶/OST,除非用戶明確要求該變體。 - 對於合作歌曲和宣傳曲,假設可能會有對話/旁白/音效滲透。在要求用戶接受有風險的來源之前,先使用
{artist} {song} 纯音乐、{song} 无对白、{song} 歌词版、official audio或lyric video搜尋替代方案。 - 不要將可下載性視為許可。如果權利、許可或用戶授權不明確,請在使用該音樂於交付物之前進行詢問。
music.download — 將現有音樂下載/匯入到工作區
在 music.search 識別出候選項目後,或當用戶提供音樂 URL/本地檔案時,使用此能力。將原始下載內容保存在 sources/music/ 中,儲存 music_sources.json,並為編輯建立一個標準化的工作檔案。
| 提供者 | 類型 | 需求 | 成本 | 品質 | 離線 |
|---|---|---|---|---|---|
yt-dlp 音訊下載 | public-cli | yt-dlp + ffmpeg | 免費 | 高 | 否 |
spotdl | public-cli | spotdl + ffmpeg | 免費 | 適合與 Spotify 連結的元數據:良好 | 否 |
scdl | public-cli | scdl | 免費 | 適合 SoundCloud:良好 | 否 |
bandcamp-dl | public-cli | bandcamp-dl | 免費 | 適合 Bandcamp:良好 | 否 |
本地檔案匯入 + ffmpeg | native | ffmpeg | 免費 | 高 | 是 |
操作說明:
- 僅使用用戶被授權使用或明確許可於該交付物的音樂。請勿繞過 DRM、付費牆或存取控制。
- 對於一般音訊 URL,首先下載原始音訊,然後明確進行轉換:
yt-dlp -f "bestaudio[ext=m4a]/bestaudio" -o "sources/music/audio_raw.%(ext)s" "URL"
ffmpeg -i sources/music/audio_raw.m4a -vn -c:a libmp3lame -q:a 0 sources/music/audio.mp3
- 對於 Bilibili 的僅音訊下載,請勿使用
yt-dlp -x --audio-format mp3;它可能會產生一個看似正常但幾乎無聲的 MP3。下載原始 m4a,使用ffmpeg進行轉換,然後驗證音量:
yt-dlp -f 30280 -o "sources/music/audio_raw.%(ext)s" "BILIBILI_URL"
ffmpeg -i sources/music/audio_raw.m4a -c:a libmp3lame -q:a 0 sources/music/audio.mp3
ffmpeg -i sources/music/audio.mp3 -af volumedetect -f null - 2>&1 | grep mean_volume
拒絕平均音量低於大約 -40dB 的檔案,除非預期是靜音。
- 在編輯之前,至少抽樣聆聽三個時間點,特別是對於宣傳曲/原聲帶/合作歌曲:
ffplay -ss 30 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 90 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 150 -t 5 -autoexit sources/music/audio.mp3
- 僅在確認來源是正確的歌曲/版本且沒有對話/音效滲透後,再進行標準化或響度匹配。
visual.capture — 錄製螢幕 / 網路攝影機 / 視窗
| 提供者 | 類型 | 需求 | 成本 | 品質 | 離線 |
|---|---|---|---|---|---|
cli-anything-openscreen | harness-cli | 已安裝工具 | 免費 | 高 | 是 |
cli-anything-obs-studio | harness-cli | 已安裝 OBS | 免費 | 高 | 是 |
ffmpeg -f x11grab / avfoundation | native | ffmpeg | 免費 | 高 | 是 |
screencapture | native | macOS | 免費 | 高 | 是 |
mss / pyautogui + cv2 | python | 套件 | 免費 | 良好 | 是 |
visual.generate — 根據提示/參考生成影片剪輯
| 提供者 | 類型 | 需求 | 成本 | 品質 | 離線 | |---|---|---|---|
…
[因翻譯而截斷]