render-cinematic-music-video
根據設定檔組裝一支電影級音樂影片廣告:一部真人短片風格的作品,其中原創人聲頌歌作為配樂,每個視覺節拍都是底片風格的畫面(柯達 Portra 顆粒、漏光、自然光、手持晃動感),對齊歌詞,並以三段式劇情弧線(形狀由用戶的 story_arc 設定決定)安排,高潮句落在副歌重拍上。此功能是免費、確定性的組裝——裁剪視窗、硬剪輯、音訊混入、字幕疊加以及品牌片尾畫面。
scripts/config.example.json 是工作範例(Hype and Vice「Game Day Girls」,約 28 秒,1080×1920 9:16,14 個畫面)——複製其結構,但絕不複製其創意內容;scripts/PIPELINE.md 將每個設定檔區塊對應到其來源步驟,scripts/README.md 則記錄了這個免費組裝流程。
執行
這是免費、確定性的組裝階段——不花費任何資源。付費輸入來自獨立的能力:人聲頌歌(create-music-elevenlabs,force_instrumental 設為 false——歌詞本身就是劇本,回傳 mp3 + words_timestamps);每個節拍一個 35mm 底片風格的關鍵幀,裝在同一個外觀包中(create-image-gpt-image-fal);以及每個節拍一個 Kling 3.0 i2v 影片片段(create-video-fal)。
給定已生成的頌歌 + words.json + 每個節拍一個片段 + 品牌片尾素材後,render-cinematic-music-video 會將每個片段裁剪到其歌詞視窗,在節拍上硬剪輯,混入頌歌,疊加電影級低三分之一字幕,並疊上片尾 → 產出主檔。重新剪輯可重複使用既有的頌歌 / 關鍵幀 / 片段,完全免費。
設定
此階段組裝的創意內容由使用者在上游透過該模式的「設定」決定,在開始任何付費步驟之前詢問使用者。工作範例中的數值僅供參考,並非預設值:
- song_style — 頌歌的類型、情緒、BPM 與編曲。示範版本使用了振奮人心的 120 BPM 獨立流行電影級頌歌。
- vocalist — 演唱者。示範版本使用了自信但溫暖的女聲主唱。
- cast — 畫面中出現的人物。示範版本使用了四位年輕女大學生。
- setting — 地點 + 時間(影響外觀包的光線與色調)。示範版本使用了比賽日的美國大學城,秋季,黃金時段。
- story_arc — 畫面與歌詞的三段式劇情弧線。示範版本使用了從早晨到體育場高峰再到黃昏的一天,並帶有起源故事的小彩蛋。
此組裝階段僅透過設定檔讀取這些設定(tableaux[] 視窗 + 字幕、頌歌、captions.accent_words、end_card.*);它不會硬編碼任何設定值。
契約(免費組裝)
- 人聲頌歌承載故事——無需獨立配音。 生成的 ElevenLabs 音軌就是背景音樂與劇本(
force_instrumental設為 false);不要添加口白或第二層背景音。 - 時間軸以生成的頌歌為中心來規劃。 頌歌先產生,其長度可能會重新調整或超標;將每個畫面邊界對齊到回傳字詞時間戳中的歌詞短語邊緣——切勿為了符合預先規劃的格線而裁剪頌歌。
- 字幕使用頌歌本身的字詞時間戳,而非 Whisper。 從音樂模型的
words_timestamps衍生出words.json,以歌詞邊界為基礎,每組約 4 個字詞,並疊加電影級低三分之一襯線字幕(--placement low),對高潮句進行強調處理(粗斜體)。Whisper 在處理歌唱音訊時會回傳「🎵 Music Playing 🎵」。 - 高潮句落在副歌重拍上。 英雄畫面(
is_hook)的時間安排需使關鍵台詞落在副歌重拍上;在字幕中強調該行。 - 單一電影風格外觀包 + 節拍上的硬剪輯。 外觀包(指定底片類型 + 顆粒 + 光暈 + 手持晃動感)加上一個連貫性錨點,讓所有片段保持一致;將每個片段裁剪到其歌詞視窗,並進行硬剪輯(可以有一個可選的匹配剪輯,用於英雄畫面的揭示)——無溶解轉場。
- 片尾使用真實品牌素材——切勿使用 AI 渲染的文字標記。 使用真實素材(PIL/ffmpeg)合成鎖定畫面,或使用設計好的關鍵幀基底;擴散模型會扭曲文字標記。
- FFmpeg 合成,確定性,免費。 將每個片段標準化到其節拍鎖定的視窗,硬剪輯,混入頌歌(
afade淡入淡出 +loudnorm I=-14),疊加字幕 ASS,疊上片尾 → 產出 1080×1920 h264+aac 主檔。無需付費呼叫,無需金鑰。