Communitygithub.com

mengyuyuan/pixel-explainer-workflow

使用 Claude Code 作为代码驱动的动画师制作短视频(抖音/TikTok/Reels/Shorts)。当用户想要音乐视频、歌词 MV、像素艺术或扁平剪纸动画、解说视频或公益广告时使用,或询问 Claude 擅长哪种视频风格。它还能编辑真实素材(基于本地转录的剪辑、时间冻结特效、带关键词强调的字幕、步骤卡、去水印、人脸马赛克、流行的抖音特效如残影、定格出场和变速卡点)。

pixel-explainer-workflow 是什么?

这是一个专为 Claude Code 设计的视频制作技能包,让用户通过编写代码生成每一帧画面来制作短视频,适用于抖音、TikTok、Reels、Shorts 等平台。它使用 HTML、CSS 和 GSAP 配合 HyperFrames 渲染 MP4,而不是像 Sora 或 Kling 那样直接生成像素。该技能包支持多种风格:像素艺术、扁平剪纸动画、AI 运动转移的 2D 角色动画、以及 3D 渲染(有局限性)。此外,它还提供丰富的真实素材编辑功能,包括基于语音识别的时间线剪辑、去水印、人脸马赛克、音乐节拍同步和复杂特效(如残影、定格出场、变速卡点)。技能包内置了从歌词生成到音画同步的完整工作流,包括 AI 语音合成、节拍分析和帧级质量控制,确保发布前 MP4 文件的质量。

兼容平台✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/mengyuyuan/pixel-explainer-workflow/tree/HEAD/upstream/claude-video-studio

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

Claude Video Studio

Claude 通过编写代码绘制每一帧来制作视频:使用 HTML、CSS 和 GSAP,由 HyperFrames 渲染为 MP4。它不像 Sora、Kling 或 Veo 那样生成像素。选择代码能良好绘制的风格,并诚实地说明其余部分。 对于 2D 角色动画,两者结合使用:Claude 渲染运动并完成所有后期工作,视频模型重新绘制每一帧的角色(第 5 节)。

0. 前提条件 — 先检查,未经询问不要安装任何东西

在首次构建之前,运行 python3 scripts/check_env.py [--project <video dir>]。 它只使用标准库且不安装任何东西。它会打印每个工作流所需的内容、缺失项、安装命令以及大致磁盘大小。向用户展示他们想要的工作流缺失的内容,并在安装任何东西之前征得同意。有些项目体积较大(带 OpenCV/jax 的 mediapipe 约 600 MB,无头 Chrome 约 400 MB,Blender 约 1 GB)。

工作流需要安装(仅在用户同意后)
像素 / 扁平 MV(核心)Python 3.9+、ffmpeg + ffprobe、Node 18+、HyperFrames 技能brew install ffmpeg(或 apt)· npx skills add heygen-com/hyperframes -s '*' -a claude-code -y
从真实歌曲进行节拍同步HyperFrames 的 music-to-video 技能(其 analyze-beatgrid.py)+ librosa、soundfile、numpynpx hyperframes skills update music-to-video(在项目中)· pip install librosa soundfile numpy(约 280 MB)
旁白、重新配音(redub.py)edge-tts(+ redub 的 soundfile)pip install edge-tts soundfile(约 10 MB;合成时需要网络)
2D 运动转移numpy、scipy、Pillow;带有 libvpx-vp9 的 ffmpegpip install -r requirements-2d.txt(约 150 MB)
2D 嘴唇/虹膜检查mediapipe 0.10.14(旧版 FaceMesh API;Python 3.9–3.12)pip install -r requirements-face.txt(约 600 MB);mediapipe 1.x 未经测试
编辑真实素材numpy、scipy、Pillow、OpenCV(用于引导滤波的 contrib);noisereducepip install -r requirements-edit.txt(约 250 MB)· pip install noisereduce
人脸马赛克、人物抠图mediapipe 0.10.14;在 macOS 上使用 Apple Vision 替代(需要 Xcode 命令行工具的 swiftc,无需下载模型)pip install -r requirements-face.txt(约 600 MB)· xcode-select --install
中文转录FunASR + torch(Python 3.10–3.12)pip install -r requirements-asr.txt(约 1 GB;首次运行需从 ModelScope 下载 1–3 GB 模型)
3D / 驱动视频Blender 4.5 LTSblender.org LTS 下载(约 1 GB)

自行下载的内容(首次运行前告知):

  • npx [email protected] … 首次使用时从 npm 获取 HyperFrames CLI。固定版本以使重新渲染保持一致。如果 init 期间技能获取挂起,请设置 HYPERFRAMES_SKIP_SKILLS=1。
  • 首次 check / snapshot / render 会在未缓存时下载 HyperFrames 的无头 Chrome(约 400 MB)。npx [email protected] browser ensure 可提前完成此操作。
  • 没有其他内容自行安装。scripts/ 中的脚本会在缺少包或 ffmpeg 时显示确切的安装命令,并使用 --help 打印用法。
  • 标准库脚本无需任何包:timed_lyrics.py、align_beats.py、pixel_sprite.py 和 check_env.py。

加载 /hyperframes 获取核心创作契约:

npx --yes [email protected] init my-video

1. 首先选择风格

在构建任何内容之前,用此表格回答。不要承诺会令人失望的风格。

风格可靠性典型时间用途
像素艺术(角色作为精灵表、游戏 UI)★★★★★2分钟 MV ≈ 1–2 小时歌词 MV、个人故事、公益广告、游戏风格叙事
扁平剪纸 / 动态图形(形状、扁平角色、动能排版)★★★★★1分钟 ≈ 1.5–2 小时著名时刻重制、产品发布、解说、数据
来自一张插图的 2D 角色,AI 运动转移(Kling「动作控制」在 Claude 渲染的驱动上;Veo 作为备选)★★★★驱动 ≈ 1 小时,在用户的应用中生成,后期 ≈ 0.5 小时保持插图风格的舞蹈和说唱片段;参见 references/2d-motion-transfer.md
现有插图的 2D 骨骼动画(网格变形,如 Live2D 或 Spine)★★20 秒 ≈ 1–3 小时,含逐帧 QA仅限小的空闲或说话循环:关节在舞蹈中读起来像木偶;参见 references/2d-rig-lessons.md
从零在代码中绘制的 2D 角色★★变化仅限电视剪纸木偶水平。不是逐帧手绘动画
3D 逼真(three.js 或 Blender)★20 秒 ≈ 10–30+ 小时仅当有高质量现成模型时;场景可以是真实的(扫描、Poly Haven)

经验法则:

  • 3D 中特定人物的逼真度几乎完全取决于模型。 给通用游戏角色换装永远不会变成那个人。提前说明,并提供:
    • 下载的高质量模型(Sketchfab CC0/CC-BY、MetaHuman、Character Creator);
    • 或用于人类镜头的 AI 视频模型,Claude 负责编辑、字幕和包装。
  • 某人的少量或低分辨率照片 → 从中绘制一个像素角色,而不是直接使用照片。
  • 真人的肖像:未经真实同意,不要制作真人的逼真替身。使用虚构或 AI 生成的人,或风格化的角色。

2. 具有精确时间线的音乐(用于歌词 MV)

当你逐小节提供时,AI 音乐应用(Gemini/Lyria、Suno 等)能更好地遵循时间。

  1. 将歌词写成每行一个小节。固定节奏:96 BPM 给出 1 小节 = 2.5 秒;120 BPM 给出 2.0 秒。
  2. python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…" 会写入:
    • prompt.txt 以粘贴到音乐应用;
    • lyrics.json 包含每行的开始和结束时间;
    • lyrics.srt。
  3. 用户生成歌曲并将 MP3 交给你。
  4. 在其上运行 HyperFrames 的 analyze-beatgrid.py → audiomap.json。该脚本随 music-to-video 技能一起提供(npx hyperframes skills update music-to-video),需要 librosa、soundfile 和 numpy;参见第 0 节。
  5. python3 scripts/align_beats.py audiomap.json --bpm 96 测量计划网格与实际强拍之间的偏移量。通常为 +0.1 到 +0.3 秒。每个歌词和剪辑时间则为 plan + offset。
  6. 如果生成的歌曲较短或提前结束,请根据实际音频重新调整结尾时间。切勿拉伸音乐。

3. 像素管线

  • 角色。
    • 在 Python 中手工编写精灵网格:scripts/pixel_sprite.py 是一个带调色板、自动描边和预览表的标准库 PNG 写入器。
    • 每个主角使用 15–25 个姿势:空闲、眨眼、说话、走路 a/b、跳跃/蹲下、欢呼、悲伤、指向,以及故事中特定的动作。
    • 根据照片特征绘制:发型和颜色、眼镜、服装。
  • 骨骼(安全寻道)。
    • 每个姿势堆叠一个 <img>。
    • 姿势切换是一个 tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t)。同一时刻的两个集合会破坏向后寻道。
    • 隐藏的姿势以 visibility: hidden; opacity: 0 开头。
    • 仅按整数缩放,使用 image-rendering: pixelated。
  • 结构。
    • 按段落将歌曲分成 6–8 帧(子合成),并让子代理从共享套件(CSS、骨骼、HUD)和包含硬规则的 WORKER-NOTES.md(参见 references/hyperframes-gotchas.md)并行编写它们。

4. 扁平剪纸 / 动态图形管线

  • 套件。 将所有绘图保留在 assets/kit.js 中:角色作为 SVG/DOM 部分、体育场、UI 装饰。将每个场景的一个文件放入 assets/scene1..N.js,并将节拍时间放入 assets/data.js。
  • 时间。 命中节拍网格:每个剪辑、击中和文本弹出都落在 beats[i] + offset 上。
  • 参考驱动。 当用户发送参考视频时,首先逐节拍描述其结构,然后以您自己的绘图风格重建。不要复制素材。

5. 2D 角色动画:AI 运动转移 — 参见 references/2d-motion-transfer.md

当用户有一张插图并希望它跳舞或说唱时使用。一个正面视图的网格骨架读起来像木偶。

  1. 驱动视频。 使用 3D 替代角色(第 9 节的模型和运动)渲染编舞:一个人、静态摄像机、3–30 秒。
    • 舞蹈的全景拍摄。
    • 带歌词手势和口型同步嘴巴的腰部以上拍摄(在驱动上使用 MuseTalk)。
    • 干净画面:相同摄像机但角色隐藏。
  2. 将插图框定到驱动的第一帧。 运行 scripts/make_green.py cut.png wide|close … 将其放置在 #00B140 上。
  3. 在花费任何积分前预演摄像机计划。 使用 scripts/standin_from_driver.py 将驱动键控到替代画面中,然后检查每一帧是否有剪断的手和可见的拍摄边缘。
  4. 将包交给用户(图像、驱动、提示、设置)。
    • Kling「动作控制」, 人物朝向「与视频一致」,以插图自己的风格提供 20 秒。
    • Veo(Gemini 应用)是 Kling 不可用时的备选:10 秒 720p/24 fps;它会漂移成 3D 卡通,嘴巴不同步。
  5. 后期。
    • 使用 scripts/key_diff.py(色差抠像;--corner 用于水印)进行键控。
    • 测量与驱动的延迟;Kling 提前了 2 帧。
    • 使用 scripts/lip_sync_check.py 检查嘴巴与声音的同步。
    • 在节拍上编辑,并以素材的 fps 渲染。
  6. 每个角色保留一个生成器。 Kling 卡通和 Veo 3D 卡通并排放置看起来像是两幅不同的画。比较不同片段中的面孔;scripts/recolor_iris.py 修复眼睛颜色漂移。

6. 编辑真实素材(AI 编辑)— 参见 references/ai-editing.md

当用户提供自己的素材时使用(“剪辑我的失误、添加字幕、移除标志、添加特效”)。

  1. 本地转录。 scripts/transcribe_zh.py 提供逐字符时间戳、暂停和失误候选(--nano 用于方言)。剪辑进入 EDL;将其对齐到整帧并在连接处放置短溶解。
  2. 构图。 除非要求摄像机移动,否则保持固定构图。
  3. 时间冻结。 scripts/time_freeze.py:冻结区域是所有主题姿势的并集,因此没有幽灵肢体。
  4. 水印。 scripts/dewatermark.py:时间最小笔画蒙版加纹理移植。
  5. 图形。 在 HyperFrames 中完成:说话者下方的字幕带关键词强调、步骤卡加追踪器、冲击词、贴纸、结束卡。
  6. 音频。 noisereduce 使用从暂停中提取的噪声样本进行降噪,然后以 −16 LUFS 进行 loudnorm 标准化,并在提示时间合成音效。
  7. 重新配音(方言 → 普通话,或不能发布的语音)。scripts/redub.py:
    • 每个句子组一个 edge-tts 调用,速率匹配原始时间跨度;
    • 字幕根据 WordBoundary 事件重新计时;
    • 背景音是音调匹配的室内噪声,从无语音的暂停中截取,绝不能是原始语音;
    • 同时在贴纸和标签中改写方言词汇。
  8. 隐私。 在显示未同意出场的人之前,使用 scripts/face_mosaic.py。
  9. 遮罩。 scripts/person_matte.py 写入逐帧遮罩,供以下特效使用 --mattes:
    • 在 macOS 上使用 Apple Vision(无需下载模型;头发和手指保持干净),其他平台使用 MediaPipe;
    • --backend vision-fg 还会保留人物持有或骑乘的物品(如滑板);
    • --drop-static 移除被检测为主题的海报、壁画或停放车辆;
    • 在构建遮罩前查看 --preview 表。MediaPipe 遮罩对于抠图来说过于粗糙。
  10. 流行编辑。
    • scripts/echo_trail.py(舞蹈残影;传递 --mattes);
    • scripts/freeze_intro.py(人物定格出场,适用于群组镜头;macOS 上使用 Vision 遮罩);
    • scripts/speed_ramp.py(曲线变速卡点,带光流插值慢动作)。
  11. 扩展。
    • scripts/clone_squad.py(一人成团):克隆体站在舞者后方,按地平线缩放,偏移量拟合使得没有克隆体被框架边缘裁剪。
    • scripts/pop_out.py(冲出画框 / 裸眼 3D):场景上方的白色条,主题在其前方通过。先将剪辑减慢为慢动作。
    • 使展示效果较弱的实用工具:scripts/auto_reframe.py(横屏转竖屏)和 scripts/time_scan.py(时间扫描)。
  12. 将结果与源内容对比显示。 scripts/before_after.py 构建一个 原片 → AI 成片 卷轴:
    • 原始剪辑,带标签且静音;
    • 标题卡;
    • 带有自身音频的结果。
  13. “手动与 AI”对比文章。 一个特效一个特效,每个以相同顺序进行:
    • 首先是原始效果:scripts/tutorial_reel.py 将教程剪辑为“正常速度的效果,然后快进的教学部分旁边加步骤列表”;
    • 然后是一个步骤图示:每个手动步骤一个带编号的截图;
    • 然后我们的版本使用 before_after.py。
    • 不要将所有教程放在一个部分,而将所有 AI 结果放在另一个部分。仅链接不会显示效果。
  14. 版权。
    • 别人的视频:默认提供链接。仅在用户决定时嵌入片段;保持简短,保留叠加的信用(作者、标题、版权归原作者),链接原始内容,并在交接笔记中说明如何替换为链接。
    • 仅当逐字引用时才将教程或评论的引语放在引号中;对照转录进行检查。
    • 使用许可的素材(例如 Mixkit 的免费许可证)和用户自己的音乐。

7. 旁白和音效(解说 / 公益广告)

  • 脚本。 逐字接受用户的脚本;不要释义医疗或法律文本。
  • 声音(edge-tts):
    • 旁白 zh-CN-YunyangNeural;
    • 年轻男性 zh-CN-YunxiNeural;
    • 年轻女性 zh-CN-XiaoyiNeural;
    • 姐姐 zh-CN-XiaoxiaoNeural;
    • 医生 zh-CN-YunjianNeural。
    • 逐行生成,修剪静音,然后将每行放在时间线上。
  • 时间。 画面跟随声音:从实际行时长构建 timeline.json,然后进行动画。
  • 音效。 使用 numpy 合成 8-bit 音效(哔哔声、脚步声、心跳声、倒带声),并将其混入一个…

…(其余内容被截断,保持原样)

相关技能