Communitygithub.com

HKUDS/CLI-Anything

一个基于能力的多工具矩阵,用于视频制作。AI 智能体根据能力而非固定流程选择提供商(CLI-Anything 工具集、公共 CLI、Python 库、原生二进制文件、云 API),涵盖从故事板规划、故事/音频指导、素材筛选、网络视频/音乐搜索下载、采集/生成、分析、音效设计、高端字幕设计、非线性编辑/渲染问题排查、审查到最终打包的完整流程。

CLI-Anything 是什么?

这是 CLI-Anything 项目中用于视频制作的“能力矩阵”技能。它旨在使 AI 智能体(如 Claude Code、Cursor 或 Codex)能够通过组合独立的“能力”,根据任务需求动态选择最佳“提供商”,从而构建复杂的视频工作流,而不是遵循一个预设的固定流水线。该矩阵支持多种提供商类型,包括原生 CLI、Python 库、云 API 和外部工具,使智能体拥有极大的灵活性。该技能强调 T-shaped 能力:在规划(`script.storyboard`)和素材组织(`video.search`/`download`)等关键环节有严格的检查和约束,同时在生成和执行环节保持开放。它包含严格的指导原则,例如在执行耗时的生成或下载任务之前必须先生成`creative_direction.md`文件,优先使用免费和开源工具,并要求在调用付费 API 前获得用户明确同意。此矩阵适用于需要高质量、特定风格视频(如预告片或音乐混剪)的单次工作流,以及需要重复制作的流水线场景。

兼容平台✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/HKUDS/CLI-Anything/tree/HEAD/cli-hub-matrix/video-creation

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

视频制作矩阵(v3 — 基于能力)

此矩阵描述了智能体可以按需组合的能力,而非固定的流水线。一个“视频制作”工作流会选择一个配方(它需要哪些能力),并根据任务要求和下面的预检信息,为每个能力选择一个提供商。

模式:docs/cli-matrix/matrix_registry.schema.md

安装(可安装部分)

cli-hub matrix install video-creation   # 仅安装注册的矩阵 CLI
cli-hub matrix info    video-creation   # 检查提供商和配方
cli-hub matrix preflight video-creation # 检查当前环境可用的提供商

并非此矩阵中的所有内容都通过 cli-hub matrix install 安装。云 API、Python 包、原生二进制文件、第三方公共 CLI 和外部技能同样是一等提供商,但仅在任务实际需要该提供商时才进行安装。 不要手动编写 pip install ...#subdirectory=... 来安装 CLI-Anything 矩阵成员;请通过 cli-hub matrix install video-creation 安装支持的 HUB 工具,然后使用预检命令查看其他可用的内容。


提供商选择约束(智能体:按能力评估)

  1. 将预检视为一个可用性报告,而非提供商选择器。
  2. 根据用户的目标、质量要求、预算、离线需求、凭证状态、安装成本以及请求的工作流来选择提供商。
  3. 将注册表/提供商的顺序视为文档顺序;不要假设第一个提供商就是正确的选择。
  4. 仅当 Python 库、原生二进制文件、HUB CLI、公共 CLI 或智能体技能符合任务约束时才安装它们。
  5. 仅在用户已提供凭证或明确同意时,才升级到付费或按量计费 API。切勿在不通知的情况下调用付费 API。
  6. 如果某个任务属于具有强制性提供商规则的类别,则该提供商不是可选的。不要仅仅因为本地更方便就替换为更便宜/更简单的后备方案。

离线环境?仅筛选 offline: true 的提供商。


预检(每会话运行一次,缓存结果)

首先运行内置的矩阵预检:

cli-hub matrix preflight video-creation --json
cli-hub matrix preflight video-creation --capability composite.assemble
cli-hub matrix preflight video-creation --offline

如果你需要进行原始检查,或者在未安装最新 cli-hub 的环境中运行,请使用手动检查块:

cli-hub list --json
python - <<'PY'
import importlib.util
for m in ("moviepy","whisper","pydub","PIL","edge_tts","pysrt","pysubs2","yt_dlp","spotdl","scenedetect","paddleocr","twelvelabs"):
    print(m, importlib.util.find_spec(m) is not None)
PY
for b in ffmpeg ffprobe sox convert magick screencapture yt-dlp spotdl scdl bandcamp-dl you-get lux BBDown scenedetect mediainfo ffmpeg-quality-metrics paddleocr hyperframes; do command -v "$b" >/dev/null && echo "$b: yes" || echo "$b: no"; done
for e in RUNWAY_API_KEY KLING_API_KEY PIKA_API_KEY SEEDANCE_API_KEY \
         ELEVENLABS_API_KEY MINIMAX_API_KEY OPENAI_API_KEY GOOGLE_CLOUD_PROJECT \
         ASSEMBLYAI_API_KEY DEEPGRAM_API_KEY \
         SUNO_API_KEY UDIO_API_KEY IDEOGRAM_API_KEY STABILITY_API_KEY \
         TWELVELABS_API_KEY GOOGLE_APPLICATION_CREDENTIALS; do
  [ -n "${!e}" ] && echo "$e: set" || echo "$e: unset"
done

用户建议模板(智能体在升级时逐字使用)

要启用 <capability> 通过 <provider>,请设置 <ENV_VAR>。
  成本:<cost notes>
  质量:<quality tier>
回复 'skip' 以回退到 <next provider>。

示例:

  • 要启用通过 Runway Gen-4 的影视级 AI 视频,请设置 RUNWAY_API_KEY。成本:约 $0.05/秒(截至 2026-04)。质量:顶尖。回复 'skip' 以回退到 generate-veo-video 或 jimeng(如果已配置)。
  • 要启用字节跳动 Seedance 视频生成,请设置 SEEDANCE_API_KEY。成本:按片段计费。质量:在逼真动态方面处于顶尖水平。回复 'skip' 以回退到共享字节跳动模型家族的 jimeng (Dreamina)。

能力

script.storyboard — 从需求简报到创意方向、脚本、镜头列表、时间线和资产计划

当用户给出一个模糊的概念或要求制作完整视频时,在生成、搜索、采集或组装之前使用此能力。默认情况下,直接作为智能体工作完成规划:生成结构化的简报、全局创意方向、叙事/情感弧线、音频弧线、脚本/旁白、镜头列表、时间线图、资产需求和可审阅的故事板,然后再花时间进行下载或生成。

对于任何非平凡的视频,请在最终组装之前阅读 references/story-structure-audio.md 并保存 creative_direction.md。这对于预告片、体育/音乐混剪、电影评论、发现素材剪辑、产品发布视频以及任何如果仅用平淡的随机片段或无聊的音乐将无法满足需求的输出来说,是强制性的要求。

硬性关卡:在 creative_direction.md 文件存在之前,不得开始非平凡视频的最终组装。plan.md 不能替代它。该文件必须包括目标时长或请求的时长范围、输出语言、一个包含时间、节拍、来源/片段角色、音频事件、字幕/标题角色和失败风险的镜头角色表;拒绝那些结尾/最后一幕没有与体裁相匹配的回报、高潮、揭露、有效总结或故意未解决的悬念的计划。语言规则:如果用户指定了输出语言,则所有智能体编写的面向观众的内容都应使用该语言;否则使用用户在对话中使用的语言。

提供商类型需要成本质量离线
智能体原生规划agent-native无免费高是
storyboard-creation 技能agent-skill已安装技能免费高是
remotion-best-practices 技能agent-skill已安装技能免费高(适用于代码驱动的动态视频)是

选择:

  • 对于常规脚本、镜头列表、时间线图和资产计划,从智能体原生规划开始。
  • 包含带有单句承诺、故事弧线、情绪曲线、音频弧线、剪辑密度曲线、视觉主题、片段角色以及无平淡护栏的 creative_direction.md。
  • 仅在你需要明确的故事板面板规范、镜头角度语法、连续性检查或动态故事板规划时,才使用 storyboard-creation 技能。
  • 仅当故事板将被实现为 Remotion/React 动态视频代码时,才使用 remotion-best-practices 技能。

video.search — 发现候选的网络视频素材

当用户要求查找素材、B-roll、公共领域片段、库存视频、YouTube/Bilibili 素材或指定的电影/电视/游戏/动漫片段时,在 video.download 之前使用此能力。优先选择免费/开源来源,并在编辑前记录来源 URL、许可证、创作者和归属要求。

对于发现素材交付物或平台来源声明,请阅读 references/source-triage.md 并将每个候选源分类为直接平台源、已验证的平台来源传输或弱镜像。

提供商类型需要成本质量离线
网络搜索 + 来源过滤器web-search在线搜索访问免费良好否

搜索准则:

  • 对于可复用/商用安全的 B-roll,首先搜索 Wikimedia Commons、YouTube Creative Commons 或其他可通过浏览器搜索的库存/公共领域页面,并在每个下载的文件旁保留归属元数据。
  • 对于 Bilibili/YouTube 参考或粉丝编辑工作流,搜索特定的场景名称而非通用术语。添加质量修饰符,如 1080p、4K、HD、BD、蓝光 或 高清。
  • 对于 Bilibili,使用针对性的网络搜索,如 site:bilibili.com "Game of Thrones" S3E09 BV;独立的 /video/BV... 上传通常比受地域限制的番剧 URL 更容易处理。
  • 不要将可下载性视为许可。如果许可证或用户授权不明确,请在使用该素材前询问。

video.download — 将网络视频下载/导入到工作区

在 video.search 识别出候选 URL 后使用此能力,或者在用户直接提供 URL 时使用。将所有原始下载内容保留在一个 sources/ 目录中,保存包含 URL/许可证/创作者/来源信息的 sources.json 文件,并在下游编辑前标准化文件名。

对于网络素材,sources.json 必须记录平台 URL、传输 URL(如果不同)、命令、使用的 cookie 文件路径、本地文件、探测摘要、选定的范围、片段角色、许可证/版权说明和质量注意事项。

提供商类型需要成本质量离线
yt-dlppublic-cliyt-dlp + ffmpeg免费高否
you-getpublic-cliyou-get 二进制文件免费良好否
luxpublic-clilux + ffmpeg免费良好否
BBDownpublic-cliBBDown + ffmpeg免费高(适用于 Bilibili)否

操作注意事项:

  • 对于 YouTube/Bilibili URL,当质量重要时,优先使用 yt-dlp -f "bestvideo[height>=1080]+bestaudio/best" --merge-output-format mp4。仅在用户已授权访问内容时才使用 cookies。
  • 对于 Bilibili 纯音频提取,避免使用 yt-dlp -x --audio-format mp3;应下载原始 m4a 并用 ffmpeg 转换,然后在使用前验证音量。
  • 当与 Bilibili 相关的元数据、字幕、弹幕、播放列表或高质量会员流是任务核心时,使用 BBDown。

music.search — 发现现有的歌曲、背景音乐或干净的音频源

当用户想要一首现有的歌曲、原声提示、免版税曲目、平台音频或特定的翻唱/版本时,在 music.download 之前使用此能力。使搜索专注于请求的音乐,而非任何可用的音频。在 music_sources.json 中记录标题、艺术家、平台 URL、上传者、来源类型、版本说明、版权/许可和归属。

提供商类型需要成本质量离线
网络搜索 + 来源过滤器web-search在线搜索访问免费良好否
yt-dlp 搜索提取器public-cliyt-dlp免费良好否
spotdl 元数据/搜索public-clispotdl免费良好(适用于与 Spotify 关联的歌曲)否

搜索准则:

  • 对于干净的音频,寻找艺术家的官方上传、唱片公司上传、官方音频/MV、经过验证的歌词视频或没有额外描述的独立音频上传。
  • 如果用户要求特定版本,如 女生版、合唱、钢琴、原声、现场、DJ、卡拉OK 或器乐版,在确认前要验证标题/上传者/元数据名称是否与该精确版本匹配。
  • 拒绝标题暗示来源不正确的候选者:remix、cover、fan edit、AMV、MAD、mashup、合辑、预告片混音或不相关的原声/OST,除非用户明确要求该变体。
  • 对于联动歌曲和宣传曲目,假设可能存在对白/配音/音效干扰。在询问用户是否接受有风险的来源之前,使用 {artist} {song} 纯音乐、{song} 无对白、{song} 歌词版、official audio 或 lyric video 搜索替代方案。
  • 不要将可下载性视为许可。如果权利、许可证或用户授权不明确,请在使用该音乐前询问。

music.download — 将现有音乐下载/导入到工作区

在 music.search 识别出候选者后使用此能力,或者在用户提供音乐 URL/本地文件时直接使用。将原始下载内容保留在 sources/music/ 中,保存 music_sources.json,并为编辑创建一个标准化的工作文件。

提供商类型需要成本质量离线
yt-dlp 音频下载public-cliyt-dlp + ffmpeg免费高否
spotdlpublic-clispotdl + ffmpeg免费良好(适用于与 Spotify 关联的元数据)否
scdlpublic-cliscdl免费良好(适用于 SoundCloud)否
bandcamp-dlpublic-clibandcamp-dl免费良好(适用于 Bandcamp)否
本地文件导入 + ffmpegnativeffmpeg免费高是

操作注意事项:

  • 仅使用用户有权使用或明确许可用于交付物的音乐。不要绕过 DRM、付费墙或访问控制。
  • 对于一般音频 URL,先下载源音频,然后明确转换:
yt-dlp -f "bestaudio[ext=m4a]/bestaudio" -o "sources/music/audio_raw.%(ext)s" "URL"
ffmpeg -i sources/music/audio_raw.m4a -vn -c:a libmp3lame -q:a 0 sources/music/audio.mp3
  • 对于 Bilibili 纯音频下载,不要使用 yt-dlp -x --audio-format mp3;它可能产生一个看起来有效但几乎无声的 MP3。下载原始 m4a,用 ffmpeg 转换,然后验证音量:
yt-dlp -f 30280 -o "sources/music/audio_raw.%(ext)s" "BILIBILI_URL"
ffmpeg -i sources/music/audio_raw.m4a -c:a libmp3lame -q:a 0 sources/music/audio.mp3
ffmpeg -i sources/music/audio.mp3 -af volumedetect -f null - 2>&1 | grep mean_volume

拒绝平均音量低于大约 -40dB 的文件,除非预期是静音。

  • 在编辑前,至少采样试听三个点,特别是对于宣传曲/OST/联动歌曲:
ffplay -ss 30 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 90 -t 5 -autoexit sources/music/audio.mp3
ffplay -ss 150 -t 5 -autoexit sources/music/audio.mp3
  • 仅在确认源是正确歌曲/版本且没有对白/音效干扰后,再进行归一化或响度匹配。

visual.capture — 录制屏幕 / 摄像头 / 窗口

提供商类型需要成本质量离线
cli-anything-openscreenharness-cli已安装 HUB免费高是
cli-anything-obs-studioharness-cli已安装 OBS免费高是
ffmpeg -f x11grab / avfoundationnativeffmpeg免费高是
screencapturenativemacOS免费高是
mss / pyautogui + cv2python包免费良好是

visual.generate — 从提示/参考生成视频片段

提供商类型需要成本质量离线
..................

[为翻译而截断]

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

cli-anything-adguardhome

>-

cli-anything-anygen

>-

cli-anything-audacity

>-

cli-anything-blender

>-

cli-anything-browser

Browser automation CLI using DOMShell MCP server. Maps Chrome

cli-anything-calibre

>-

cli-anything-ccswitch

CLI interface for CC Switch — manage AI coding tool configurations from the terminal

cli-anything-chromadb

>-

cli-anything-cloudanalyzer

Command-line interface for CloudAnalyzer — Agent-friendly harness for CloudAnalyzer, a QA platform for mapping, localization, and perception outputs. Supports 27 commands across 8 groups: point cloud evaluation, trajectory evaluation, ground segmentation QA, config-driven quality gates, baseline evolution, processing, visualization, and interactive REPL.

cli-anything-cloudcompare

Command-line interface for CloudCompare — Agent-friendly harness for CloudCompare, the open-source 3D point cloud and mesh processing software. Supports 41 commands across 9 groups: project management, session control, point cloud operations (subsample, filter, segment, analyze), mesh operations, distance computation (C2C, C2M), transformations (ICP, matrix), export (LAS/LAZ/PLY/PCD/OBJ/STL/E57), and interactive REPL.

cli-anything-comfyui

>-

cli-anything-dify-workflow

Wrapper for the Dify workflow DSL CLI. Create, inspect, validate, edit, and export Dify workflow files through a CLI-Anything harness.

cli-anything-drawio

>-

cli-anything-eez-studio

Use EEZ Studio from the command line: inspect and modify native .eez-project files, edit LVGL screens/widgets, manage SCPI commands, and invoke the real EEZ Studio backend for LVGL builds.

cli-anything-eth2-quickstart

>-

cli-anything-exa

>-

cli-anything-firefly-iii

Firefly III CLI - Personal finance management via CLI-Anything

cli-anything-freecad

Complete CLI harness for FreeCAD parametric 3D CAD modeler (258 commands). Covers ALL workbenches: Part (29 primitives + boolean + mirror + loft + sweep), Sketcher (26 cmds: geometry + constraints + editing), PartDesign (38 cmds: pad/pocket/groove/fillet/chamfer/patterns/hole/datum), Assembly (11 cmds), Mesh (16 cmds), TechDraw (15 cmds: views + dimensions + PDF/SVG), Draft (33 cmds: 2D shapes + arrays + transforms), FEM (12 cmds), CAM/CNC (10 cmds), Surface (6 cmds), Spreadsheet (7 cmds), Import (13 formats), Export (17 formats), Measure (12 cmds), Materials (21 presets). Headless FreeCAD export to STEP/IGES/STL/OBJ/DXF/PDF/glTF/3MF.

cli-anything-gimp

>-

cli-anything-godot

>-

相关技能