Communitygithub.com

卡通音频短片

制作一个竖屏9:16动画卡通短片,采用平面2D豆形头角色,色彩鲜艳的墨线3D世界。提供10个经过验证的故事创意,编写定时脚本,并将用户配音转化为完成的1080x1920 MP4视频,配有音乐和音效,音量水平为配音的一半。

卡通音频短片 是什么?

本技能是一个完整的AI驱动动画短片制作管道,专为竖屏9:16格式设计,适合在短视频平台发布。它从故事创意生成(提供10个经网络验证的创意)开始,经过脚本编写(约3.7词/秒,包含钩子、设置、升级、转折和反转结构),最终将用户上传的配音音频与自动生成的音乐(进行曲风格)和音效(−6 dB相对于人声)混合,输出完整的MP4视频。技能支持Claude Code、Cursor等平台,通过Python、Three.js和FFmpeg等技术栈实现。核心特色包括:平面2D豆形头角色(独特外观和空闲动画)、色彩饱和的3D世界(使用平涂纹理和墨线轮廓)、动态摄像机运动(平滑、景深效果),以及严格的音频混音规则(保证人声清晰)。整个管道高度自动化,从设置、定时、镜头规划到最终渲染、质量检查,几乎无需人工干预,非常适合快速制作卡通短片、动画故事或历史/科学类短视频。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/sahildwibedy62-del/skill-animation/tree/HEAD

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

卡通音频短片 (v2)

由 WHATIF ANIMATIONSTORYS 频道创建。 流程:创意 → 脚本 → 配音 → 完成的 MP4。 参考构建:“从未离开的士兵”(19.7 秒,8 个镜头),包含在 kit/example/soldier/ 中。

视觉效果

  • 角色: 在画布上绘制的平面 2D 豆形头卡通“卡片”。它们有李子色轮廓和夸张可读的表情,并且始终处于空闲动画(呼吸、眨眼、点头)状态。
  • 世界: 由简单形状构建的饱和 3D 场景。使用带有深色接缝的平涂纹理、黑色墨水轮廓、卡通着色以及地平线颜色的雾效。
  • 摄像机: 平滑移动,带有缓和曲线,特写镜头有景深效果。没有任何东西是静止的。
  • 格式: 1080x1920,30 fps,时长与配音完全一致。
  • 声音: 用户的配音原样保留。合成的进行曲风格背景音乐和音效的音量设置为配音音量的 50%(−6 dB)。

硬性规则

  1. 仅限原创。切勿逐镜头复制其他创作者的作品;提供对同一创意的原创诠释。
  2. 不能有真实的、已命名的在世人物作为角色。不能有品牌吉祥物、标志或受版权保护的角色。
  3. 除非要求,否则不加字幕。故事内的文字(标志、雕刻)可以,但必须正确阅读,绝不能镜像。
  4. 切勿编辑、修剪、加速或重新调整配音的时间。画面根据配音计时。每个视觉反应应在对应词语之前 0–3 帧内到位。
  5. 音频比例固定:
    • 音乐相对于人声(门控 RMS)设置在 −6.0 dB。
    • 音效设置在 −6 dB 或以下,峰值最多为人声峰值的 0.7 倍。
    • 始终使用 mix.py 混音。不对混音进行闪避或压缩。
    • 整个混音只应用一个线性增益和一个峰值限制器(finish.sh)。
  6. 对陈述为事实的内容先进行网络搜索验证。将病毒式传说框架化为“传说称”。
  7. 不能有暴力、政治内容,也不能以真实在世人物为笑柄。
  8. 持续工作,无需审批暂停。仅当工作真正无法继续时提问。
  9. 通过任务列表保持用户知情。在长时间渲染前发送静帧联系表。

路径选择(选择入口点)

用户有前往
已附上音频(+ 脚本)直接进入阶段 4
有音频,无脚本索要脚本文本(Claude 在没有 ASR 的情况下无法听取音频)→ 阶段 4
有脚本,无配音阶段 3(收紧)→ 等待音频
仅有主题直接进入阶段 3(验证事实)
什么都没有 /“给我创意”阶段 2

如果不确定,问一个问题:“你从哪里开始?(创意 / 脚本 / 配音已就绪)”。如果未提供目标时长,也一并询问。默认是 20–30 秒;最长允许 60 秒。

阶段 2:10 个创意

恰好给出 10 个,编号,在一条回复中。以“回复一个数字,或‘更多’以获得 10 个新创意。”结束。

N. 标题(5-8 个单词,好奇心驱动)
   钩子:第一句台词——一个作为事实陈述的悖论。
   反转:具有讽刺意味的最后一句台词。
   主要视觉:2-3 个时刻(崩塌 / 揭示 / 追逐 / 转变)。
   状态:TRUE(有记录)· DISPUTED(有争议)· LEGEND(传说)

一个完美的创意具有:

  • 一个令人惊讶的故事,具有可以展示的物理因果关系。
  • 一个普通人英雄,不断升级的风险,以及最后一句台词中的反转。
  • 一个可以用盒子、圆柱体、球体加卡片(城镇、桥梁、船只、城堡、沙漠、实验室、宫殿、农场、港口、矿山)构建的场景。
  • 一个可以在一帧中看到的“前后对比”,能制作出强有力的缩略图。

将 10 个创意分布到古代、中世纪、19 世纪、现代、科学、动物、发明、灾难、奇怪的法律和幸运的意外。在列出之前,使用网络搜索验证每个 TRUE 或 DISPUTED 的创意。

阶段 3:脚本

脚本的规模约为每秒 3.7 个口语词:20 秒 ≈ 75 词,30 秒 ≈ 110 词,45 秒 ≈ 165 词,60 秒 ≈ 220 词。

结构:

  1. 钩子(第一句,零铺垫):荒谬的事实。它必须在最初的 1.5 秒内出现。
  2. 背景(1-2 行):何时、何地、何人,以及一个具体细节。
  3. 升级(2-4 个节拍,每个节拍更大)。其他人表示怀疑或嘲笑。包括一个夸张的笑话。
  4. 转折点:“但是当... / “你看... ”引入了真正的机制,理想情况下使用日常类比。
  5. 反转:简短且具有讽刺意味,并且是视频的最后几个词。额外好处:让它能循环回到钩子,以便短片自然重播。

风格:

  • 简单的口语化英语,带缩略形式。
  • 句子长度为 8-15 个词;数字用单词书写。
  • 口语文本中没有舞台指导。
  • 切勿描述观众已经看到的内容。

自我检查(如不符合则静默修复):词数在目标 ±10% 范围内;钩子是一个陈述句,而不是一个问题;每个句子都可以被字面诠释;反转在 12 个词以内并且放在最后;事实与来源匹配。

回复:

  • a) 代码块中的脚本,附词数和预计秒数。
  • b) 一段视觉计划。
  • c) 录制提示:
    • 一位温暖、稳定的叙述者。ElevenLabs 效果不错:一种深沉的叙述者声音,速度 ~1.05–1.1,稳定性 ~45–55%。
    • MP3 或 WAV 均可。
    • 在句子末尾留出自然停顿。
    • 导出时不要带音乐。
  • d) “配音准备好后上传,我将制作完整的视频。”

保留最终脚本文本,因为它驱动计时。如果他们录制了更改过的版本,索要最终文本。

阶段 4:构建(从这里开始不停顿)

创建任务列表:设置 · 计时 · 镜头计划 · 世界 · 角色 · 动作 · 联系表 → 用户 · 声音 · 完整渲染 · 完成 + 质量保证 · 交付。

4.0 设置

SK=$(dirname "$(find / -name SKILL.md -path '*cartoon-audio-short*' 2>/dev/null | head -1)")
bash "$SK/kit/tools/setup.sh" ~/shorts/<slug>      # 将 $SK/kit 视为只读
cd ~/shorts/<slug> && cp <uploaded voice> voice.mp3 && printf '%s' "<final script>" > script.txt
./short.sh doctor
  • setup.sh 复制引擎、工具和工作示例(作为起点 web/story.js 和 audio.py)。它安装 three.js r160 和来自 kit/vendor/ 的卡通基础材质(无需网络),构建并语法检查 web/toon.js,并链接 Playwright。如果缺少 three.js,则退出代码 3。
  • 要求:Node 22.6+,Python 3 + numpy + Pillow,ffmpeg (libx264, alimiter, ebur128),Playwright + Chromium。如果缺少 Playwright:npm i -g playwright && npx playwright install chromium。
  • 切勿禁用 TLS 或绕过代理。如果安装被阻止,请说明是哪个包并使用已安装的内容继续。
  • Chromium 每个工作线程使用 CPU WebGL (swiftshader),每帧约 3-5 秒。一个 20 秒的短片(600 帧)大约需要 20-50 分钟;请做好计划。

4.1 计时:./short.sh timing

  • 如果安装了 whisper 或 faster-whisper,则使用单词时间戳。否则,使用基于音节/时长的动态规划将脚本短语对齐到静默检测出的语音。
  • 它会打印带帧范围的短语和 WARN 行(非常短的短语、重叠、长尾、延迟开始、录音与脚本不匹配)。通过合并镜头、手动修复 work/phrases.json 或索要最终文本来解决警告。
  • N = 总帧数 = work/phrases.json 中的 frames30(从解码的音频测量)。

4.2 镜头计划:work/PLAN.md,在任何代码之前

每个镜头一行:| # | frames | words | setting | light | camera | cast/pose/face | FX | SFX |

  • 帧 0 就是钩子图像:无淡入,无标题卡片。
  • 大约每个短语一个镜头。将短于 0.6 秒的短语合并到下一个镜头。
  • 逐字诠释每个句子;道具承载笑话。
  • 镜头大小节奏:钩子中景 → 宽景揭示 → 双人镜头 → 关键物体的插入镜头 → 反应特写 → 环境移动以达到效果。切勿连续两次使用相同的大小。
  • 光照设定情绪:日间(正常),金色(戏剧/衰退),夜间蓝色(解释)。时间跳跃获得 6 帧白色闪白。
  • 反转获得一个重音:音乐停止,一个低沉的敲击,一个带有 3–5° 旋转的推近。物理效果在最后一个词上到位。
  • 最后一帧应该是一个强有力的静帧,能够干净地切回第 0 帧以实现循环。

4.3 世界(web/main.js、web/story.js)

  • 保留 main.js 中的引擎部分:卡通材质、墨线收缩、add/tbox、天空、灯光、卡片、渲染目标/后期、applyLight、drawActors、swapForNd、renderFrame。
  • 仅替换 // ---------- world ---------- 和 // ---------- cards ---------- 之间的示例世界,以及 worldState() 的故事部分和任何道具(士兵示例有一个 3D 头盔道具)。
  • story.js 导出 SHOTS、TOTAL、shotAt、camAt、dofAt、LIGHTS/lightFor、worldAt、actorsAt(f, T) 和 fxAt(f, T)。所有都是帧的纯函数。将 TOTAL 设置为 N。
  • 纹理来自 paint.js:planks、beam、rotten、stone、mossy、grass、dirt、plaster、roof、marble、banner、carved text。新的绘制器使用相同的平涂颜色带深色接缝风格。
  • 使用 tbox 获得恒定纹素密度,一个 2 步卡通渐变,以及雾效 = 地平线颜色。
  • 背景层:半埋的球体山丘、带雪顶的圆锥山脉、柏树/松树、远处的房屋和绘制的云广告牌。
  • 布景(坍塌、坠落、门)是由 worldAt(f) 驱动的 0..1 进度控制、具有缓动和错开效果的分组轴心。
  • 弯曲的故事内文字使用平面 UV。检查它没有被镜像。

4.4 角色(web/roman.js → web/toon.js)

  • romanFront(p, outfitKey, opts) 在一个 600x1000 的设计画布上绘制,脚底在 y=975。卡片高 2.25 米,因此 1 个设计单位 = 0.00225 米。
  • 服装(OUTFITS):legion、old、toga、civA、civB、civC、workA、workB。使用 tunic/cape/armor/helmet/hair/cap/beard/apron/dress/toga 键添加新的。
  • 手臂姿势:hang、spear、point、up、wave、hip、belly、temple(+swirl)、lift、reach(+lift)、cheek、shield、cross、thumb。
  • 面部:toon base 的 FACE 集合加上 snore、stubborn 和 squint。扩展 FACE 以获得更多。
  • 角色编辑后,使用 cat web/toonbase.js web/roman.js > web/toon.js 重建。然后运行 ./short.sh cast 并在使用设计之前查看 stills/cast_sheet.png。
  • 广告牌仅开启偏航,获得一个接触阴影和一个 Alpha 测试的阴影,并且永远不会被世界渲染的墨线阶段处理。
  • 使用 q() 四舍五入的值构建卡片键,以便画布仅在可见变化时重新绘制。
  • 分离的部件(例如,抬起的头盔)是其自己的卡片:y = DECK + (partY − hc) × 0.00225,与 headCenter(seed) 对齐。
  • 给主角一个标志性特征(颜色、帽子、道具),以便在手机尺寸下能立即识别。

4.5 动作(web/motion.js):平滑且生动

摄像机:

  • 使用 camFromKeys(keys, f, {kicks}):18–45 帧的 smootherstep 滑行,reveals 和 whips 使用 easeOut,曲线使用 path 经由点(Catmull-Rom)。
  • 每一个保持都有微动;没有东西静止超过 4 帧。
  • 戏剧场景有 3–5° 旋转;冲击有通过 kicks 实现的 7 帧翻转抖动。
  • 优先使用连续运动(拉远、拉焦、升降、推近)。仅在位置或时间跳跃时使用硬切,并伴随闪白。

角色:

  • 它们从不冻结:对每张卡片应用 idle(f, seed),blinkAt 用于眨眼,以及重读单词上的点头。
  • 动作遵循预期 → 过冲 → 弹簧稳定(M.anticip,M.back,M.spring)。踩脚是 2 帧的下沉 + 灰尘噗 + 踢。笑是交替倾斜 + 点头。
  • 行走:walk() 提供距离和步态相位。通过 3–7% 的上下起伏保持脚步着地。

次级动作始终存在:布料、树叶、灰尘、滴水、Zzz、水。

镜头: 特写和中景使用景深(cInf 8–14 像素),聚焦于眼睛。广角保持清晰。拉焦需要大约 14 帧。

4.6 视觉效果检查(在完整渲染前必须执行)

运行 ./short.sh stills "5,40,90,..." a,选择每个镜头的中间帧以及过渡和关键动作。它会写入带帧标签的 stills/sheet_a.jpg。打开它并修复每个陷阱:

  • 构图: 半宽 = d·tan(hfov/2),其中 hfov = 2·atan(tan(vfov/2)·0.5625)。在 4 米和 fov 40 时,这仅为 ±0.8 米,因此要在深度上布置角色。
  • 遮挡: 没有栏杆或柱子遮挡面部;摄像机不应在栏杆、房屋、屋顶或灌木丛内部。
  • 间距: 没有前景道具距离小于约 2 米;主角绝不能隐藏在柱子后面。
  • 文字和部件: 文字没有被镜像;分离部件卡片偏移正确。
  • 挤出组: 0 = 盖子,1 = 侧面 + 顶部。
  • 墨线: 各处都存在。如果没有,使用 HASH=#e(仅边缘)和 HASH=#nd(法线/深度)进行调试。墨线半径在 1080 下约为 2.5 像素;天空被视为远深度,而不是卡片。
  • 手机尺寸: 以 25% 查看联系表时,面部仍然可读。

向用户发送联系表,每镜头一行摘要,然后开始完整渲染,无需等待。

4.7 声音:./short.sh sound

  • 先锁定画面计时。任何计时更改都需要重新运行声音。
  • audio.py 仅保存提示表。合成器位于 synth.py 中:
    • 音乐: march、drone、PROG_MINOR/PROG_MAJOR、pluck、brass、drum。
    • 音效: whoosh、thunk、rumble、crash、scrape、ting、sting、creak、snap、splash、snore、leaves、water、cuckoo、pop、boing、footstep/steps、wind、crowd。
  • 音乐在反转台词处停止(march(..., end=TWIST)),然后 drone 继续到结束。
  • 使用 crest_db=14 保存音效音轨。这能控制瞬态,使音效可以在峰值上限下接近 50%。
  • mix.py 打印电平。确认音乐显示相对于人声为 −6.0 dB(正常),音效低于或等于该值(正常)。切勿手动调整;而是修复音轨。

4.8 渲染 + 完成

  • 使用 WORKERS=2 ./short.sh render 通过 Bash run_in_background 进行渲染。从 Monitor 循环检查 ./short.sh progress(完成、秒/帧、预计完成时间)。
  • 帧以原子方式写入。中断后,使用 RESUME=1 WORKERS=2 ./short.sh render。
  • 在核数为 4 或更少的机器上使用 WORKERS=1。请勿同时运行繁重的 Python 任务。
  • 然后运行 ./short.sh finish "标题":
    • 它检查帧是否完整且连续。
    • 它应用一个经测量的线性增益至 −14 LUFS 并加上 −1 dBFS 限制器,并编码为 H.264 CRF 17 + AAC。
    • 质量检查涵盖大小、时长与配音的匹配、冻结/黑帧、响度和混音电平。它会写入 out/qa.txt 和 out/qa_sheet.jpg,并在任何 FAIL 时退出代码 1。

4.9 完成标准

  • 时长 = 配音时长(±1 帧);1080x1920;30 fps。
  • 所有 10 条硬性规则已检查并遵守。
  • 所有阶段已成功完成。
  • 最终视频的响度在 −14 ± 1 LUFS,真实峰值 ≤ −1 dBFS。
  • 音乐电平在 −6.0 dB(相对于人声的音量门控 RMS),音效电平在 −6.0 dB 或以下。
  • 所有音效提示已实现,包括反转处的重音。
  • 视频在第一帧(帧 0)处干净循环。
  • 输出文件:out/cartoon-audio-short.mp4。

故障排除和常见问题

问题:setup.sh 失败,退出代码 3。 解决方案:确保 three.js 安装在 kit/vendor/ 中。如果缺少,从 kit/tools/install-three.js 运行安装脚本。

问题:./short.sh timing 显示“录音与脚本不匹配”。 解决方案:

  1. 检查 script.txt 是否与录制的脚本完全匹配。
  2. 使用 work/phrases.json 手动对齐。
  3. 如果录音与脚本显著不同,寻找最终文本并更新 script.txt。

问题:渲染太慢。 解决方案:

  • 使用更多工作线程(如果您的机器有足够核心,增加到 WORKERS=4)。
  • 关闭其他资源密集型应用程序。
  • 考虑缩短视频长度。

问题:墨线在渲染中不可见。 解决方案:

  • 调试:使用 HASH=#e(仅边缘)和 HASH=#nd(法线/深度)渲染测试帧。
  • 检查 main.js 中的 ink 实现。
  • 确保场景的所有元素都正确分类。

问题:角色动画看起来僵硬。 解决方案:

  • 对每张卡片应用 idle(f, seed)。
  • 使用 blinkAt 进行自然的眨眼计时。
  • 为重读单词添加点头。
  • 使用 M.anticip、M.back 和 M.spring 实现自然动作曲线。

工具参考

short.sh 命令

  • ./short.sh setup:设置短片目录。
  • ./short.sh doctor:检查依赖项。
  • ./short.sh timing:分析配音并生成时间戳。
  • ./short.sh stills <frames> [sheet_label]:渲染联系表。
  • ./short.sh cast:重建角色并生成联系表。
  • ./short.sh sound:生成音频音轨。
  • ./short.sh render:渲染帧。变量:WORKERS、RESUME。
  • ./short.sh finish "标题":组装最终视频。
  • ./short.sh progress:显示渲染进度。

关键目录

  • kit/:只读引擎和工具。
  • web/:包含 main.js、story.js、roman.js、motion.js、toon.js。
  • work/:生成的工作文件(phrases.json、PLAN.md)。
  • stills/:渲染的静帧。
  • out/:最终输出视频和质量检查文件。

此技能由 WHATIF ANIMATIONSTORYS 频道开发。有关详细示例,请参阅 kit/example/soldier/。

相关技能