Claude Video Studio
Claude 通过编写代码绘制每一帧来制作视频:使用 HTML、CSS 和 GSAP,由 HyperFrames 渲染为 MP4。它不像 Sora、Kling 或 Veo 那样生成像素。选择代码能良好绘制的风格,并诚实地说明其余部分。 对于 2D 角色动画,两者结合使用:Claude 渲染运动并完成所有后期工作,视频模型重新绘制每一帧的角色(第 5 节)。
0. 前提条件 — 先检查,未经询问不要安装任何东西
在首次构建之前,运行 python3 scripts/check_env.py [--project <video dir>]。 它只使用标准库且不安装任何东西。它会打印每个工作流所需的内容、缺失项、安装命令以及大致磁盘大小。向用户展示他们想要的工作流缺失的内容,并在安装任何东西之前征得同意。有些项目体积较大(带 OpenCV/jax 的 mediapipe 约 600 MB,无头 Chrome 约 400 MB,Blender 约 1 GB)。
| 工作流 | 需要 | 安装(仅在用户同意后) |
|---|---|---|
| 像素 / 扁平 MV(核心) | Python 3.9+、ffmpeg + ffprobe、Node 18+、HyperFrames 技能 | brew install ffmpeg(或 apt)· npx skills add heygen-com/hyperframes -s '*' -a claude-code -y |
| 从真实歌曲进行节拍同步 | HyperFrames 的 music-to-video 技能(其 analyze-beatgrid.py)+ librosa、soundfile、numpy | npx hyperframes skills update music-to-video(在项目中)· pip install librosa soundfile numpy(约 280 MB) |
旁白、重新配音(redub.py) | edge-tts(+ redub 的 soundfile) | pip install edge-tts soundfile(约 10 MB;合成时需要网络) |
| 2D 运动转移 | numpy、scipy、Pillow;带有 libvpx-vp9 的 ffmpeg | pip install -r requirements-2d.txt(约 150 MB) |
| 2D 嘴唇/虹膜检查 | mediapipe 0.10.14(旧版 FaceMesh API;Python 3.9–3.12) | pip install -r requirements-face.txt(约 600 MB);mediapipe 1.x 未经测试 |
| 编辑真实素材 | numpy、scipy、Pillow、OpenCV(用于引导滤波的 contrib);noisereduce | pip install -r requirements-edit.txt(约 250 MB)· pip install noisereduce |
| 人脸马赛克、人物抠图 | mediapipe 0.10.14;在 macOS 上使用 Apple Vision 替代(需要 Xcode 命令行工具的 swiftc,无需下载模型) | pip install -r requirements-face.txt(约 600 MB)· xcode-select --install |
| 中文转录 | FunASR + torch(Python 3.10–3.12) | pip install -r requirements-asr.txt(约 1 GB;首次运行需从 ModelScope 下载 1–3 GB 模型) |
| 3D / 驱动视频 | Blender 4.5 LTS | blender.org LTS 下载(约 1 GB) |
自行下载的内容(首次运行前告知):
npx [email protected] …首次使用时从 npm 获取 HyperFrames CLI。固定版本以使重新渲染保持一致。如果init期间技能获取挂起,请设置HYPERFRAMES_SKIP_SKILLS=1。- 首次
check/snapshot/render会在未缓存时下载 HyperFrames 的无头 Chrome(约 400 MB)。npx [email protected] browser ensure可提前完成此操作。 - 没有其他内容自行安装。
scripts/中的脚本会在缺少包或 ffmpeg 时显示确切的安装命令,并使用--help打印用法。 - 标准库脚本无需任何包:
timed_lyrics.py、align_beats.py、pixel_sprite.py和check_env.py。
加载 /hyperframes 获取核心创作契约:
npx --yes [email protected] init my-video
1. 首先选择风格
在构建任何内容之前,用此表格回答。不要承诺会令人失望的风格。
| 风格 | 可靠性 | 典型时间 | 用途 |
|---|---|---|---|
| 像素艺术(角色作为精灵表、游戏 UI) | ★★★★★ | 2分钟 MV ≈ 1–2 小时 | 歌词 MV、个人故事、公益广告、游戏风格叙事 |
| 扁平剪纸 / 动态图形(形状、扁平角色、动能排版) | ★★★★★ | 1分钟 ≈ 1.5–2 小时 | 著名时刻重制、产品发布、解说、数据 |
| 来自一张插图的 2D 角色,AI 运动转移(Kling「动作控制」在 Claude 渲染的驱动上;Veo 作为备选) | ★★★★ | 驱动 ≈ 1 小时,在用户的应用中生成,后期 ≈ 0.5 小时 | 保持插图风格的舞蹈和说唱片段;参见 references/2d-motion-transfer.md |
| 现有插图的 2D 骨骼动画(网格变形,如 Live2D 或 Spine) | ★★ | 20 秒 ≈ 1–3 小时,含逐帧 QA | 仅限小的空闲或说话循环:关节在舞蹈中读起来像木偶;参见 references/2d-rig-lessons.md |
| 从零在代码中绘制的 2D 角色 | ★★ | 变化 | 仅限电视剪纸木偶水平。不是逐帧手绘动画 |
| 3D 逼真(three.js 或 Blender) | ★ | 20 秒 ≈ 10–30+ 小时 | 仅当有高质量现成模型时;场景可以是真实的(扫描、Poly Haven) |
经验法则:
- 3D 中特定人物的逼真度几乎完全取决于模型。 给通用游戏角色换装永远不会变成那个人。提前说明,并提供:
- 下载的高质量模型(Sketchfab CC0/CC-BY、MetaHuman、Character Creator);
- 或用于人类镜头的 AI 视频模型,Claude 负责编辑、字幕和包装。
- 某人的少量或低分辨率照片 → 从中绘制一个像素角色,而不是直接使用照片。
- 真人的肖像:未经真实同意,不要制作真人的逼真替身。使用虚构或 AI 生成的人,或风格化的角色。
2. 具有精确时间线的音乐(用于歌词 MV)
当你逐小节提供时,AI 音乐应用(Gemini/Lyria、Suno 等)能更好地遵循时间。
- 将歌词写成每行一个小节。固定节奏:96 BPM 给出 1 小节 = 2.5 秒;120 BPM 给出 2.0 秒。
python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…"会写入:prompt.txt以粘贴到音乐应用;lyrics.json包含每行的开始和结束时间;lyrics.srt。
- 用户生成歌曲并将 MP3 交给你。
- 在其上运行 HyperFrames 的
analyze-beatgrid.py→audiomap.json。该脚本随music-to-video技能一起提供(npx hyperframes skills update music-to-video),需要 librosa、soundfile 和 numpy;参见第 0 节。 python3 scripts/align_beats.py audiomap.json --bpm 96测量计划网格与实际强拍之间的偏移量。通常为 +0.1 到 +0.3 秒。每个歌词和剪辑时间则为plan + offset。- 如果生成的歌曲较短或提前结束,请根据实际音频重新调整结尾时间。切勿拉伸音乐。
3. 像素管线
- 角色。
- 在 Python 中手工编写精灵网格:
scripts/pixel_sprite.py是一个带调色板、自动描边和预览表的标准库 PNG 写入器。 - 每个主角使用 15–25 个姿势:空闲、眨眼、说话、走路 a/b、跳跃/蹲下、欢呼、悲伤、指向,以及故事中特定的动作。
- 根据照片特征绘制:发型和颜色、眼镜、服装。
- 在 Python 中手工编写精灵网格:
- 骨骼(安全寻道)。
- 每个姿势堆叠一个
<img>。 - 姿势切换是一个
tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t)。同一时刻的两个集合会破坏向后寻道。 - 隐藏的姿势以
visibility: hidden; opacity: 0开头。 - 仅按整数缩放,使用
image-rendering: pixelated。
- 每个姿势堆叠一个
- 结构。
- 按段落将歌曲分成 6–8 帧(子合成),并让子代理从共享套件(CSS、骨骼、HUD)和包含硬规则的
WORKER-NOTES.md(参见references/hyperframes-gotchas.md)并行编写它们。
- 按段落将歌曲分成 6–8 帧(子合成),并让子代理从共享套件(CSS、骨骼、HUD)和包含硬规则的
4. 扁平剪纸 / 动态图形管线
- 套件。 将所有绘图保留在
assets/kit.js中:角色作为 SVG/DOM 部分、体育场、UI 装饰。将每个场景的一个文件放入assets/scene1..N.js,并将节拍时间放入assets/data.js。 - 时间。 命中节拍网格:每个剪辑、击中和文本弹出都落在
beats[i] + offset上。 - 参考驱动。 当用户发送参考视频时,首先逐节拍描述其结构,然后以您自己的绘图风格重建。不要复制素材。
5. 2D 角色动画:AI 运动转移 — 参见 references/2d-motion-transfer.md
当用户有一张插图并希望它跳舞或说唱时使用。一个正面视图的网格骨架读起来像木偶。
- 驱动视频。 使用 3D 替代角色(第 9 节的模型和运动)渲染编舞:一个人、静态摄像机、3–30 秒。
- 舞蹈的全景拍摄。
- 带歌词手势和口型同步嘴巴的腰部以上拍摄(在驱动上使用 MuseTalk)。
- 干净画面:相同摄像机但角色隐藏。
- 将插图框定到驱动的第一帧。 运行
scripts/make_green.py cut.png wide|close …将其放置在 #00B140 上。 - 在花费任何积分前预演摄像机计划。 使用
scripts/standin_from_driver.py将驱动键控到替代画面中,然后检查每一帧是否有剪断的手和可见的拍摄边缘。 - 将包交给用户(图像、驱动、提示、设置)。
- Kling「动作控制」, 人物朝向「与视频一致」,以插图自己的风格提供 20 秒。
- Veo(Gemini 应用)是 Kling 不可用时的备选:10 秒 720p/24 fps;它会漂移成 3D 卡通,嘴巴不同步。
- 后期。
- 使用
scripts/key_diff.py(色差抠像;--corner用于水印)进行键控。 - 测量与驱动的延迟;Kling 提前了 2 帧。
- 使用
scripts/lip_sync_check.py检查嘴巴与声音的同步。 - 在节拍上编辑,并以素材的 fps 渲染。
- 使用
- 每个角色保留一个生成器。 Kling 卡通和 Veo 3D 卡通并排放置看起来像是两幅不同的画。比较不同片段中的面孔;
scripts/recolor_iris.py修复眼睛颜色漂移。
6. 编辑真实素材(AI 编辑)— 参见 references/ai-editing.md
当用户提供自己的素材时使用(“剪辑我的失误、添加字幕、移除标志、添加特效”)。
- 本地转录。
scripts/transcribe_zh.py提供逐字符时间戳、暂停和失误候选(--nano用于方言)。剪辑进入 EDL;将其对齐到整帧并在连接处放置短溶解。 - 构图。 除非要求摄像机移动,否则保持固定构图。
- 时间冻结。
scripts/time_freeze.py:冻结区域是所有主题姿势的并集,因此没有幽灵肢体。 - 水印。
scripts/dewatermark.py:时间最小笔画蒙版加纹理移植。 - 图形。 在 HyperFrames 中完成:说话者下方的字幕带关键词强调、步骤卡加追踪器、冲击词、贴纸、结束卡。
- 音频。
noisereduce使用从暂停中提取的噪声样本进行降噪,然后以 −16 LUFS 进行 loudnorm 标准化,并在提示时间合成音效。 - 重新配音(方言 → 普通话,或不能发布的语音)。
scripts/redub.py:- 每个句子组一个 edge-tts 调用,速率匹配原始时间跨度;
- 字幕根据 WordBoundary 事件重新计时;
- 背景音是音调匹配的室内噪声,从无语音的暂停中截取,绝不能是原始语音;
- 同时在贴纸和标签中改写方言词汇。
- 隐私。 在显示未同意出场的人之前,使用
scripts/face_mosaic.py。 - 遮罩。
scripts/person_matte.py写入逐帧遮罩,供以下特效使用--mattes:- 在 macOS 上使用 Apple Vision(无需下载模型;头发和手指保持干净),其他平台使用 MediaPipe;
--backend vision-fg还会保留人物持有或骑乘的物品(如滑板);--drop-static移除被检测为主题的海报、壁画或停放车辆;- 在构建遮罩前查看
--preview表。MediaPipe 遮罩对于抠图来说过于粗糙。
- 流行编辑。
scripts/echo_trail.py(舞蹈残影;传递--mattes);scripts/freeze_intro.py(人物定格出场,适用于群组镜头;macOS 上使用 Vision 遮罩);scripts/speed_ramp.py(曲线变速卡点,带光流插值慢动作)。
- 扩展。
scripts/clone_squad.py(一人成团):克隆体站在舞者后方,按地平线缩放,偏移量拟合使得没有克隆体被框架边缘裁剪。scripts/pop_out.py(冲出画框 / 裸眼 3D):场景上方的白色条,主题在其前方通过。先将剪辑减慢为慢动作。- 使展示效果较弱的实用工具:
scripts/auto_reframe.py(横屏转竖屏)和scripts/time_scan.py(时间扫描)。
- 将结果与源内容对比显示。
scripts/before_after.py构建一个 原片 → AI 成片 卷轴:- 原始剪辑,带标签且静音;
- 标题卡;
- 带有自身音频的结果。
- “手动与 AI”对比文章。 一个特效一个特效,每个以相同顺序进行:
- 首先是原始效果:
scripts/tutorial_reel.py将教程剪辑为“正常速度的效果,然后快进的教学部分旁边加步骤列表”; - 然后是一个步骤图示:每个手动步骤一个带编号的截图;
- 然后我们的版本使用
before_after.py。 - 不要将所有教程放在一个部分,而将所有 AI 结果放在另一个部分。仅链接不会显示效果。
- 首先是原始效果:
- 版权。
- 别人的视频:默认提供链接。仅在用户决定时嵌入片段;保持简短,保留叠加的信用(作者、标题、版权归原作者),链接原始内容,并在交接笔记中说明如何替换为链接。
- 仅当逐字引用时才将教程或评论的引语放在引号中;对照转录进行检查。
- 使用许可的素材(例如 Mixkit 的免费许可证)和用户自己的音乐。
7. 旁白和音效(解说 / 公益广告)
- 脚本。 逐字接受用户的脚本;不要释义医疗或法律文本。
- 声音(edge-tts):
- 旁白
zh-CN-YunyangNeural; - 年轻男性
zh-CN-YunxiNeural; - 年轻女性
zh-CN-XiaoyiNeural; - 姐姐
zh-CN-XiaoxiaoNeural; - 医生
zh-CN-YunjianNeural。 - 逐行生成,修剪静音,然后将每行放在时间线上。
- 旁白
- 时间。 画面跟随声音:从实际行时长构建
timeline.json,然后进行动画。 - 音效。 使用 numpy 合成 8-bit 音效(哔哔声、脚步声、心跳声、倒带声),并将其混入一个…
…(其余内容被截断,保持原样)