渲染卡通音乐视频
根据配置文件组装一个 卡通音乐视频 广告:一个动画/插图/手工制作的故事(定格毛毡和泡沫、黏土动画、2D卡通、剪纸风格),其中一首演唱的歌曲是整个脚本,一个重复出现的动画角色承载每一个镜头,切到小节,高潮台词落在节拍重音上。此功能是 免费的、确定性的组装 — 切到小节、硬拼接、标志徽章 + 字幕烧录,以及纯色结束卡片。
scripts/config.example.json 是实例(Coinbase "Bet on anything",约55秒 1080×1920 9:16,16个小节主体 + 3秒结束卡片 — 其毛毡外观、角色、故事和歌曲是该演示的选定项,绝非默认值);scripts/PIPELINE.md 将每个配置块映射到其源步骤,scripts/README.md 记录了免费的组装流程。
选择
创意决定由调用者做出(视频格式配方会询问用户);此组装流程从不替用户选择。演示的价值仅在于提供一个示例:
- 艺术风格 / 外观包(毛毡定格动画、黏土动画、2D卡通、剪纸风格…)— 演示:毛毡和泡沫立体布景。
- 角色 — 那 一个 重复出现的动画形象 — 演示:一个身穿品牌蓝色球衣的中性毛毡人物。
- 故事弧线 — 演示:弱者的胜利。
- 歌曲风格 + 主唱 — 演示:热情舞曲流行/EDM陷阱,男性半说唱主唱。
运行
这是 免费的、确定性的 组装阶段 — 它不花费任何成本。付费输入是独立的技能:一首演唱的歌曲(create-music-elevenlabs,或用户提供的mp3 + Whisper单词时间戳)通过librosa进行节拍跟踪,以便 小节网格 设定时间线;一个锁定的重复角色 + 每个小节一个关键帧,在一个外观包内(create-image-fal,Nano Banana);以及每个小节一个Seedance图像转视频片段(create-video-fal)。给定歌曲 + word-timestamps.json + bars.json + 每个小节一个片段 + 品牌字标SVG,render-cartoon-music-video 将每个片段剪切到其小节窗口,在小节上硬拼接,烧录标志徽章 + 字幕,附加纯色结束卡片,并将歌曲混流在下方 → 生成母版。重新剪辑会复用现有的歌曲/关键帧/片段,成本为 0美元。
合约(免费组装)
- 演唱的歌曲承载叙事 — 没有单独的旁白。 生成/提供的音轨就是基底(无需在其下掩盖旁白);不要添加口语画外音或第二个基底。
- 围绕交付歌曲的 小节网格 规划时间线。 使用librosa对歌曲进行节拍跟踪(假设4/4拍);一个小节 = 一个镜头(默认)。将每个场景窗口对齐到小节边界 — 永远不要为了适应预先规划好的网格而修剪歌曲。
- 字幕来自歌曲的单词时间戳,对照锁定歌词重新拼写。 Whisper可能会误听重读强调的发音("BETS" → "Hearts");对照锁定歌词文件重新拼写定时令牌(永远不要为了匹配Whisper而编辑歌词)。VEED-whisper格式,白色 粗体无衬线 字体,位于 画面下方三分之一处(对齐方式2,
margin_v在左下角标志徽章上方),每句提示约4–5个单词,没有背景药丸;字幕在结束卡片边界处停止。绝不在画面中间 — 它会遮住角色(固定于2026-07)。如果宿主ffmpeg缺少libass,则将提示渲染为定时PIL PNG叠加层(ffmpegoverlay=…:enable='between(t,st,en)'),放置在相同的底部位置。 - 让高潮台词落在节拍重音上。 高潮场景的时间安排应使关键台词落在低音重音上;强调那句台词。
- 持续的标志徽章,在结束卡片上隐藏。 在主体小节部分左下角烧录白色品牌字标(使用cairosvg → PIL从真实SVG渲染),在结束卡片上隐藏,因为结束卡片上会有一个大型字标占据主导。
- 通过cairosvg + PIL从真实字标生成结束卡片 — 绝不使用AI渲染品牌文字。 纯品牌色卡片 + 白色字标 + 副标题,持续约3秒,歌曲仍在下方播放(在尾部淡出 — 没有静音尾部)。扩散模型会扭曲字标。
- FFmpeg合成,确定性的,免费的。 将每个片段剪切到其小节窗口,硬拼接,烧录标志徽章 + 字幕,附加结束卡片,将歌曲混流到整个视频上,带有0.5秒音频淡出尾部,
loudnorm I=-14→ 生成一个1080×1920 h264+aac母版。没有付费调用,没有密钥。当宿主ffmpeg缺少libass/drawtext时,字幕和标志徽章都使用 定时PIL PNG叠加层(overlay=x:y:enable='between(t,st,en)'),而非ASS烧录。 - 逐个场景进行质量控制,绝不仅仅检查母版 — 两种失败模式在于内容,而非组装。 上游的关键帧/图像转视频步骤可能会(a)在过程中让角色 偏离其外观(在演示中,毛毡变成光滑的3D "人")(偏离所选外观 — 在毛毡演示中,毛毡变为光滑的3D),以及(b)幻觉出双手 — 在手部特写中出现逼真的手指,在"轻点手机"镜头中出现一个 指向的手指,或者从画面边缘滑入的 脱离身体的手。这两种情况在缩略图尺寸下都难以察觉。提取一个 2帧每秒 的联系表 + 每个小节的 面部 裁切和 手部 裁切(跨越每个片段的完整持续时间),确认每个小节都保持所选的那 一个 外观(在演示中:哑光毛毡)和那一个角色,没有人类/漂浮的手,并在发布后重新检查 提供 的字节。如果某一个小节出现外观漂移,意味着需要重新生成该小节的 关键帧(而非重新剪辑)—— 参见配方步骤3/6。