视频制作矩阵(v3 — 基于能力)
此矩阵描述了智能体可以按需组合的能力,而非固定的流水线。一个“视频制作”工作流会选择一个配方(它需要哪些能力),并根据任务要求和下面的预检信息,为每个能力选择一个提供商。
模式:docs/cli-matrix/matrix_registry.schema.md
安装(可安装部分)
cli-hub matrix install video-creation # 仅安装注册的矩阵 CLI
cli-hub matrix info video-creation # 检查提供商和配方
cli-hub matrix preflight video-creation # 检查当前环境可用的提供商
并非此矩阵中的所有内容都通过 cli-hub matrix install 安装。云 API、Python 包、原生二进制文件、第三方公共 CLI 和外部技能同样是一等提供商,但仅在任务实际需要该提供商时才进行安装。
不要手动编写 pip install ...#subdirectory=... 来安装 CLI-Anything 矩阵成员;请通过 cli-hub matrix install video-creation 安装支持的 HUB 工具,然后使用预检命令查看其他可用的内容。
提供商选择约束(智能体:按能力评估)
- 将预检视为一个可用性报告,而非提供商选择器。
- 根据用户的目标、质量要求、预算、离线需求、凭证状态、安装成本以及请求的工作流来选择提供商。
- 将注册表/提供商的顺序视为文档顺序;不要假设第一个提供商就是正确的选择。
- 仅当 Python 库、原生二进制文件、HUB CLI、公共 CLI 或智能体技能符合任务约束时才安装它们。
- 仅在用户已提供凭证或明确同意时,才升级到付费或按量计费 API。切勿在不通知的情况下调用付费 API。
- 如果某个任务属于具有强制性提供商规则的类别,则该提供商不是可选的。不要仅仅因为本地更方便就替换为更便宜/更简单的后备方案。
离线环境?仅筛选 offline: true 的提供商。
预检(每会话运行一次,缓存结果)
首先运行内置的矩阵预检:
cli-hub matrix preflight video-creation --json
cli-hub matrix preflight video-creation --capability composite.assemble
cli-hub matrix preflight video-creation --offline
如果你需要进行原始检查,或者在未安装最新 cli-hub 的环境中运行,请使用手动检查块:
cli-hub list --json
python - <<'PY'
import importlib.util
for m in ("moviepy","whisper","pydub","PIL","edge_tts","pysrt","pysubs2","yt_dlp","spotdl","scenedetect","paddleocr","twelvelabs"):
print(m, importlib.util.find_spec(m) is not None)
PY
for b in ffmpeg ffprobe sox convert magick screencapture yt-dlp spotdl scdl bandcamp-dl you-get lux BBDown scenedetect mediainfo ffmpeg-quality-metrics paddleocr hyperframes; do command -v "$b" >/dev/null && echo "$b: yes" || echo "$b: no"; done
for e in RUNWAY_API_KEY KLING_API_KEY PIKA_API_KEY SEEDANCE_API_KEY \
ELEVENLABS_API_KEY MINIMAX_API_KEY OPENAI_API_KEY GOOGLE_CLOUD_PROJECT \
ASSEMBLYAI_API_KEY DEEPGRAM_API_KEY \
SUNO_API_KEY UDIO_API_KEY IDEOGRAM_API_KEY STABILITY_API_KEY \
TWELVELABS_API_KEY GOOGLE_APPLICATION_CREDENTIALS; do
[ -n "${!e}" ] && echo "$e: set" || echo "$e: unset"
done
用户建议模板(智能体在升级时逐字使用)
要启用 <capability> 通过 <provider>,请设置 <ENV_VAR>。
成本:<cost notes>
质量:<quality tier>
回复 'skip' 以回退到 <next provider>。
示例:
- 要启用通过 Runway Gen-4 的影视级 AI 视频,请设置
RUNWAY_API_KEY。成本:约 $0.05/秒(截至 2026-04)。质量:顶尖。回复 'skip' 以回退到generate-veo-video或jimeng(如果已配置)。 - 要启用字节跳动 Seedance 视频生成,请设置
SEEDANCE_API_KEY。成本:按片段计费。质量:在逼真动态方面处于顶尖水平。回复 'skip' 以回退到共享字节跳动模型家族的jimeng(Dreamina)。
能力
script.storyboard — 从需求简报到创意方向、脚本、镜头列表、时间线和资产计划
当用户给出一个模糊的概念或要求制作完整视频时,在生成、搜索、采集或组装之前使用此能力。默认情况下,直接作为智能体工作完成规划:生成结构化的简报、全局创意方向、叙事/情感弧线、音频弧线、脚本/旁白、镜头列表、时间线图、资产需求和可审阅的故事板,然后再花时间进行下载或生成。
对于任何非平凡的视频,请在最终组装之前阅读 references/story-structure-audio.md 并保存 creative_direction.md。这对于预告片、体育/音乐混剪、电影评论、发现素材剪辑、产品发布视频以及任何如果仅用平淡的随机片段或无聊的音乐将无法满足需求的输出来说,是强制性的要求。
硬性关卡:在 creative_direction.md 文件存在之前,不得开始非平凡视频的最终组装。plan.md 不能替代它。该文件必须包括目标时长或请求的时长范围、输出语言、一个包含时间、节拍、来源/片段角色、音频事件、字幕/标题角色和失败风险的镜头角色表;拒绝那些结尾/最后一幕没有与体裁相匹配的回报、高潮、揭露、有效总结或故意未解决的悬念的计划。语言规则:如果用户指定了输出语言,则所有智能体编写的面向观众的内容都应使用该语言;否则使用用户在对话中使用的语言。
| 提供商 | 类型 | 需要 | 成本 | 质量 | 离线 |
|---|---|---|---|---|---|
| 智能体原生规划 | agent-native | 无 | 免费 | 高 | 是 |
storyboard-creation 技能 | agent-skill | 已安装技能 | 免费 | 高 | 是 |
remotion-best-practices 技能 | agent-skill | 已安装技能 | 免费 | 高(适用于代码驱动的动态视频) | 是 |
选择:
- 对于常规脚本、镜头列表、时间线图和资产计划,从智能体原生规划开始。
- 包含带有单句承诺、故事弧线、情绪曲线、音频弧线、剪辑密度曲线、视觉主题、片段角色以及无平淡护栏的
creative_direction.md。 - 仅在你需要明确的故事板面板规范、镜头角度语法、连续性检查或动态故事板规划时,才使用
storyboard-creation技能。 - 仅当故事板将被实现为 Remotion/React 动态视频代码时,才使用
remotion-best-practices技能。
video.search — 发现候选的网络视频素材
当用户要求查找素材、B-roll、公共领域片段、库存视频、YouTube/Bilibili 素材或指定的电影/电视/游戏/动漫片段时,在 video.download 之前使用此能力。优先选择免费/开源来源,并在编辑前记录来源 URL、许可证、创作者和归属要求。
对于发现素材交付物或平台来源声明,请阅读 references/source-triage.md 并将每个候选源分类为直接平台源、已验证的平台来源传输或弱镜像。
| 提供商 | 类型 | 需要 | 成本 | 质量 | 离线 |
|---|---|---|---|---|---|
| 网络搜索 + 来源过滤器 | web-search | 在线搜索访问 | 免费 | 良好 | 否 |
搜索准则:
- 对于可复用/商用安全的 B-roll,首先搜索 Wikimedia Commons、YouTube Creative Commons 或其他可通过浏览器搜索的库存/公共领域页面,并在每个下载的文件旁保留归属元数据。
- 对于 Bilibili/YouTube 参考或粉丝编辑工作流,搜索特定的场景名称而非通用术语。添加质量修饰符,如
1080p、4K、HD、BD、蓝光或高清。 - 对于 Bilibili,使用针对性的网络搜索,如
site:bilibili.com "Game of Thrones" S3E09 BV;独立的/video/BV...上传通常比受地域限制的番剧 URL 更容易处理。 - 不要将可下载性视为许可。如果许可证或用户授权不明确,请在使用该素材前询问。
video.download — 将网络视频下载/导入到工作区
在 video.search 识别出候选 URL 后使用此能力,或者在用户直接提供 URL 时使用。将所有原始下载内容保留在一个 sources/ 目录中,保存包含 URL/许可证/创作者/来源信息的 sources.json 文件,并在下游编辑前标准化文件名。
对于网络素材,sources.json 必须记录平台 URL、传输 URL(如果不同)、命令、使用的 cookie 文件路径、本地文件、探测摘要、选定的范围、片段角色、许可证/版权说明和质量注意事项。
| 提供商 | 类型 | 需要 | 成本 | 质量 | 离线 |
|---|---|---|---|---|---|
yt-dlp | public-cli | yt-dlp + ffmpeg | 免费 | 高 | 否 |
you-get | public-cli | you-get 二进制文件 | 免费 | 良好 | 否 |
lux | public-cli | lux + ffmpeg | 免费 | 良好 | 否 |
BBDown | public-cli | BBDown + ffmpeg | 免费 | 高(适用于 Bilibili) | 否 |
操作注意事项:
- 对于 YouTube/Bilibili URL,当质量重要时,优先使用
yt-dlp -f "bestvideo[height>=1080]+bestaudio/best" --merge-output-format mp4。仅在用户已授权访问内容时才使用 cookies。 - 对于 Bilibili 纯音频提取,避免使用
yt-dlp -x --audio-format mp3;应下载原始 m4a 并用ffmpeg转换,然后在使用前验证音量。 - 当与 Bilibili 相关的元数据、字幕、弹幕、播放列表或高质量会员流是任务核心时,使用
BBDown。
music.search — 发现现有的歌曲、背景音乐或干净的音频源
当用户想要一首现有的歌曲、原声提示、免版税曲目、平台音频或特定的翻唱/版本时,在 music.download 之前使用此能力。使搜索专注于请求的音乐,而非任何可用的音频。在 music_sources.json 中记录标题、艺术家、平台 URL、上传者、来源类型、版本说明、版权/许可和归属。
| 提供商 | 类型 | 需要 | 成本 | 质量 | 离线 |
|---|---|---|---|---|---|
| 网络搜索 + 来源过滤器 | web-search | 在线搜索访问 | 免费 | 良好 | 否 |
yt-dlp 搜索提取器 | public-cli | yt-dlp | 免费 | 良好 | 否 |
spotdl 元数据/搜索 | public-cli | spotdl | 免费 | 良好(适用于与 Spotify 关联的歌曲) | 否 |
搜索准则:
- 对于干净的音频,寻找艺术家的官方上传、唱片公司上传、官方音频/MV、经过验证的歌词视频或没有额外描述的独立音频上传。
- 如果用户要求特定版本,如
女生版、合唱、钢琴、原声、现场、DJ、卡拉OK 或器乐版,在确认前要验证标题/上传者/元数据名称是否与该精确版本匹配。 - 拒绝标题暗示来源不正确的候选者:
remix、cover、fan edit、AMV、MAD、mashup、合辑、预告片混音或不相关的原声/OST,除非用户明确要求该变体。 - 对于联动歌曲和宣传曲目,假设可能存在对白/配音/音效干扰。在询问用户是否接受有风险的来源之前,使用
{artist} {song} 纯音乐、{song} 无对白、{song} 歌词版、official audio或lyric video搜索替代方案。 - 不要将可下载性视为许可。如果权利、许可证或用户授权不明确,请在使用该音乐前询问。
music.download — 将现有音乐下载/导入到工作区
在 music.search 识别出候选者后使用此能力,或者在用户提供音乐 URL/本地文件时直接使用。将原始下载内容保留在 sources/music/ 中,保存 music_sources.json,并为编辑创建一个标准化的工作文件。
| 提供商 | 类型 | 需要 | 成本 | 质量 | 离线 |
|---|---|---|---|---|---|
yt-dlp 音频下载 | public-cli | yt-dlp + ffmpeg | 免费 | 高 | 否 |
spotdl | public-cli | spotdl + ffmpeg | 免费 | 良好(适用于与 Spotify 关联的元数据) | 否 |
scdl | public-cli | scdl | 免费 | 良好(适用于 SoundCloud) | 否 |
bandcamp-dl | public-cli | bandcamp-dl | 免费 | 良好(适用于 Bandcamp) | 否 |
本地文件导入 + ffmpeg | native | ffmpeg | 免费 | 高 | 是 |
操作注意事项:
- 仅使用用户有权使用或明确许可用于交付物的音乐。不要绕过 DRM、付费墙或访问控制。
- 对于一般音频 URL,先下载源音频,然后明确转换:
yt-dlp -f "bestaudio[ext=m4a]/bestaudio" -o "sources/music/audio_raw.%(ext)s" "URL"
ffmpeg -i sources/music/audio_raw.m4a -vn -c:a libmp3lame -q:a 0 sources/music/audio.mp3
- 对于 Bilibili 纯音频下载,不要使用
yt-dlp -x --audio-format mp3;它可能产生一个看起来有效但几乎无声的 MP3。下载原始 m4a,用ffmpeg转换,然后验证音量:
yt-dlp -f 30280 -o "sources/music/audio_raw.%(ext)s" "BILIBILI_URL"
ffmpeg -i sources/music/audio_raw.m4a -c:a libmp3lame -q:a 0 sources/music/audio.mp3
ffmpeg -i sources/music/audio.mp3 -af volumedetect -f null - 2>&1 | grep mean_volume
拒绝平均音量低于大约 -40dB 的文件,除非预期是静音。
- 在编辑前,至少采样试听三个点,特别是对于宣传曲/OST/联动歌曲:
ffplay -ss 30 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 90 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 150 -t 5 -autoexit sources/music/audio.mp3
- 仅在确认源是正确歌曲/版本且没有对白/音效干扰后,再进行归一化或响度匹配。
visual.capture — 录制屏幕 / 摄像头 / 窗口
| 提供商 | 类型 | 需要 | 成本 | 质量 | 离线 |
|---|---|---|---|---|---|
cli-anything-openscreen | harness-cli | 已安装 HUB | 免费 | 高 | 是 |
cli-anything-obs-studio | harness-cli | 已安装 OBS | 免费 | 高 | 是 |
ffmpeg -f x11grab / avfoundation | native | ffmpeg | 免费 | 高 | 是 |
screencapture | native | macOS | 免费 | 高 | 是 |
mss / pyautogui + cv2 | python | 包 | 免费 | 良好 | 是 |
visual.generate — 从提示/参考生成视频片段
| 提供商 | 类型 | 需要 | 成本 | 质量 | 离线 |
|---|---|---|---|---|---|
| ... | ... | ... | ... | ... | ... |
[为翻译而截断]