节拍驱动过程化动态图形
使用四阶段代码管线制作工作室风格的动态排印和过程化动态图形视频:
index.html(基于 HTML5 Canvas 的节拍驱动渲染器)
↓ 逐帧捕捉(10× 快门运动模糊)
src/render.py(无头 Chrome CDP → ffmpeg H.264)
↓
src/make_audio.py(在完全相同节拍网格上的过程化波形与 EDM 合成)
↓
ffmpeg 混流 → final.mp4(1920×1080,60 fps,AAC 立体声)
所有内容——视觉、过渡、相机震动、故障冲击、鼓点、和弦、高潮——都按 节拍编号 在单一共享速度网格(默认 128 BPM)上调度。零手动时间线对齐,零外部素材,零第三方 Python 包。
工作流
步骤 1 — 环境检查
在创建文件前,验证本地前提条件:
ffmpeg/ffprobe(带libx264和aac编码器)。- 无头 Chrome / Chromium 可执行文件(macOS 上
Google Chrome,Linux 上chromium/google-chrome)。 - 匹配目标脚本的系统字体(例如,西文用粗体几何无衬线字体,CJK 用苹方/冬青/Noto Sans,HUD/代码用等宽字体)。
步骤 2 — 节拍映射情节板
在编写任何渲染代码前,将用户的主题转换为节拍表。
- 选择时长:15 秒 = 32 拍 或 30 秒 = 64 拍,速度
128 BPM(SPB = 60 / 128 = 0.46875 秒/拍)。 - 遵循 storyboard-prompt-template.md 中的叙事弧: 钩子 → 张力/对比 → 概念视觉(图形/隧道/变形/3D)→ 快速构建 + 倒计时 → 0.1 秒静音黑屏 → 粒子落体终章。
- 保持屏幕文字极其精炼:1–3 个西文主词(200–400 像素)搭配最多一个短字幕行(36–70 像素)。绝不写段落。
步骤 3 — 构建 index.html(视觉引擎)
创建一个自包含的单一 HTML5 Canvas 渲染器文件(1920×1080),暴露:
window.READY === true,在字体、离屏精灵、变形形状和粒子目标初始化完成后设置。window.TOTAL(整数总帧数,例如900或1800)。window.MB(可配置运动模糊子采样数,最终渲染默认10,快速预览为1)。window.frameData(frameIndex, quality)返回该帧的 JPEG 数据 URL。
遵循 visual-style-guide.md 中的视觉基元和后处理管线。
步骤 4 — 视觉静态帧检查(强制关口)
切勿盲目运行完整的 900–1800 帧渲染。 始终先捕获 12–16 个代表性关键帧,并以联系表形式检查:
python3 scripts/render.py --html ./index.html --stills 60,200,330,420,560,780,920,1110,1280,1450,1560,1650,1760
ffmpeg -y -loglevel error -pattern_type glob -i 'preview/f*.jpg' -vf "scale=640:360,tile=4x4" -frames:v 1 preview/sheet.jpg
检查 preview/sheet.jpg 并验证:
- 没有文本与角落 HUD 碰撞(保持主要内容在
y ∈ [100, 980],x ∈ [100, 1820])。 - 所有字体正确加载(无豆腐块/后备衬线故障)。
- 对比度在亮暗场景下都清晰可读;HUD
difference混合保持可识别。 - 运动模糊、辉光和粒子汇聚看起来干净且居中。 修复任何布局问题,并在完整渲染前重新验证。
步骤 5 — 生成过程化配乐(make_audio.py)
调整 make_audio_template.py 以匹配 index.html 中使用的确切 BPM、BEATS、SCENE_TRANSITIONS 和 DROP_BEAT。参见 audio-synthesis-guide.md 了解合成规则。
在混流前验证生成的 music.wav:
- 持续时间精确匹配
BEATS * 60 / BPM。 - 渲染频谱图(
showspectrumpic)或逐秒 RMS 检查,以确认清晰的动态、明确的节拍结构以及约 0.1 秒的前置静音间隙。
步骤 6 — 完整渲染与混流
- 以 60 fps 和
MB=10运动模糊渲染所有帧:python3 scripts/render.py --html ./index.html --out video.mp4 --mb 10 - 混流视频和音频,视频使用流复制:
ffmpeg -y -loglevel error -i video.mp4 -i music.wav \ -c:v copy -c:a aac -b:a 256k -shortest final.mp4 - 对
final.mp4运行最终ffprobe+ 6 帧联系表检查,以确认1920x1080、60 fps、h264 + aac、精确时长和干净输出。
硬约束与工程规则
- 单一节拍时钟:
index.html和make_audio.py都必须严格从beat = t / (60 / BPM)推导时间。绝不硬编码可能与音乐偏移的魔法毫秒偏移量。 - 确定性渲染:使用基于帧/元素索引的种子化 PRNG(例如
mulberry32)——渲染循环中绝不用Math.random()——使得 10× 运动模糊子采样保持连贯,不会出现混沌闪烁。 - 10× 快门运动模糊:在
0.75帧快门窗口内平均10个子帧(alpha = 1 / (k + 1)累加)。少于 8 个样本会在快速动态排印上产生阶梯状鬼影。 - 零依赖 Python:
render.py和make_audio.py必须仅使用 Python 标准库(os、json、subprocess、base64、math、random、wave、array),使其无需pip install或numpy即可在任何地方运行。 - 预烘焙昂贵辉光:避免在复杂文本/卡片上跨 10 次运动模糊传递调用
ctx.shadowBlur。在init()期间将发光主精灵预渲染到离屏画布上,或使用堆叠的低 alpha 描边(glowStroke)。 - 前置静音:在高潮掉落节拍之前立即插入约
0.10 秒的完全视觉黑屏和完全音频静音,以最大化感知冲击力。 - 事实纪律:如果视频呈现真实世界的产品/技术声明,请先验证事实,并省略未经证实的数字(例如冲突的定价或未经验证的基准百分比)。