render-cinematic-music-video
从配置文件组装一部电影感音乐视频广告:一部真人风格的短片电影,其中原创演唱主题曲作为配乐,每个视觉节拍都是一幅胶片感 tableau(柯达 Portra 颗粒、漏光、自然光、手持抖动),按歌词计时,编排为三幕结构(其形态由用户的 story_arc 选择决定),副歌高潮落下 hook 句。此功能是免费的确定性组装——裁剪到窗口、硬拼接、主题曲混音、字幕烧录以及品牌尾卡。
scripts/config.example.json 是工作示例(Hype and Vice 的“Game Day Girls”,约 28 秒 1080×1920 9:16 比例,14 个场景)——复制其结构,切勿复制其创意值;scripts/PIPELINE.md 将每个配置块映射到其源步骤,scripts/README.md 记录了免费组装过程。
运行
这是免费的确定性组装阶段——它不产生任何花费。付费输入是独立的能力:演唱主题曲(create-music-elevenlabs,force_instrumental 为 false——歌词即脚本,返回 mp3 + words_timestamps);每个节拍一个 35mm 胶片关键帧,统一风格包(create-image-gpt-image-fal);以及每个节拍一个 Kling 3.0 图像到视频片段(create-video-fal)。给定交付的主题曲 + words.json + 每个节拍一个片段 + 品牌尾卡资产后,render-cinematic-music-video 将每个片段裁剪到其歌词窗口,在节拍上硬拼接,混入主题曲,烧录电影感下部字幕,并覆盖尾卡 → 输出母版。重新编辑时复用已有的主题曲 / 关键帧 / 片段,成本为 $0。
选择
此阶段组装的创意内容由格式的 choices 在上游决定,在付费步骤之前向用户询问。工作示例中的值仅为示例,并非默认值:
- song_style — 主题曲的流派、情绪、BPM 和编曲。示例使用了昂扬的 120 BPM 独立流行电影感主题曲。
- vocalist — 演唱者。示例使用了自信而温暖的女主唱。
- cast — 场景中出现的角色。示例使用了四位年轻女大学生。
- setting — 地点 + 一天中的时间(驱动风格包的光线和色调)。示例使用了秋日黄金时段的美国大学城比赛日。
- story_arc — 场景和歌词的三幕结构。示例使用了比赛日的一天:早晨 → 体育场巅峰 → 黄昏,并带有一个起源故事的暗示。
此组装仅通过配置(tableaux[] 窗口 + 字幕、主题曲、captions.accent_words、end_card.*)读取它们;其中没有任何硬编码。
契约(免费组装)
- 演唱主题曲承担叙事——无需单独画外音。 生成的 ElevenLabs 音轨既是背景音乐也是脚本(
force_instrumental为 false);不要添加口语画外音或第二背景音乐。 - 围绕交付的主题曲规划时间线。 主题曲首先生成,其长度会重塑/超出预期;将每个场景边界对齐到返回字时间轴中的歌词短语边缘——绝不将主题曲修剪到预先规划的网格上。
- 字幕来自主题曲自身的字时间轴,而非 Whisper。 从音乐模型的
words_timestamps导出words.json,在歌词边界处按约 4 个词分组,并烧录电影感下部衬线字幕(--placement low),hook 句以粗斜体强调。Whisper 对演唱音频的处理会返回“🎵 Music Playing 🎵”。 - 将 hook 落在副歌高潮处。 主角场景(
is_hook)的计时使得关键句落在副歌高潮处;在字幕中强调该句。 - 单一电影风格包 + 节拍上的硬切。 风格包(命名的胶片类型 + 颗粒 + 光晕 + 手持抖动)加上一个连续性锚点将每个片段联系在一起;将每个片段裁剪到其歌词窗口并硬拼接(可选择在主角揭示前做一个匹配切)——不使用叠化。
- 尾卡来自真实品牌资产——绝不用扩散模型 AI 渲染文字标志。 使用真实资产(PIL/ffmpeg)合成锁定图形,或使用设计好的关键帧基板;扩散模型会使文字标志模糊不清。
- FFmpeg 合成,确定性,免费。 将每个片段归一化到其节拍锁定窗口,硬拼接,混入主题曲(
afade淡入/淡出 +loudnorm I=-14),烧录字幕 ASS,覆盖尾卡 → 输出 1080×1920 h264+aac 母版。无需付费调用,无需密钥。