render-cartoon-music-video 是做什麼的?
從設定檔組合一個卡通音樂錄影帶廣告:動畫 / 插畫 / 手工製作的故事(停格動畫毛氈與泡棉、黏土動畫、2D 卡通、剪紙風格),其中一首演唱歌曲是完整的劇本,一個重複出現的動畫角色主導每個鏡頭,每個鏡頭都對齊小節,高潮台詞落在重拍上。此能力是免費、確定性的組合階段——裁切至小節、硬接合、標誌浮水印 + 字幕燒錄,以及純色結尾卡。
scripts/config.example.json 是實際範例(Coinbase「Bet on anything」,約 55 秒 1080×1920 9:16,16 個主體小節 + 一個 3 秒結尾卡——其毛氈風格、角色、故事和歌曲是該示範的選擇,絕非預設值);scripts/PIPELINE.md 將每個設定區塊對應到其來源步驟,scripts/README.md 則記錄了免費組合流程。
選擇
創意決定是由呼叫者負責(影片格式配方會詢問使用者);此組合絕不自行選擇。示範範例僅提供價值參考:
- 美術風格 / 視覺套件(毛氈停格動畫、黏土動畫、2D 卡通、剪紙風格……)——示範:毛氈與泡棉立體模型。
- 角色——唯一重複出現的動畫人物——示範:一個中性毛氈人物,穿著品牌藍色球衣。
- 故事弧線——示範:弱勢逆轉獲勝。
- 歌曲風格 + 主唱——示範:充滿活力的舞蹈流行 / EDM 陷阱,男聲半說半唱主唱。
執行
這是免費、確定性的組合階段——它不花費任何費用。付費輸入由其他獨立能力提供:演唱歌曲(create-music-elevenlabs,或使用者提供的 mp3 + Whisper 逐字時間戳記)使用 librosa 進行節拍追蹤,使得小節網格設定時間軸;一個鎖定的重複角色 + 每個小節一個關鍵影格,使用同一視覺套件(create-image-fal,Nano Banana);以及每個小節一個 Seedance i2v 片段(create-video-fal)。給定歌曲 + word-timestamps.json + bars.json + 每個小節一個片段 + 品牌標誌 SVG,render-cartoon-music-video 將每個片段裁切至其小節視窗、在小節邊界硬接合、燒錄標誌浮水印 + 字幕、附加純色結尾卡,並將歌曲混入影片下方 → 最終完成檔。重新裁切會直接使用現有的歌曲 / 關鍵影格 / 片段,花費**$0**。
合約(免費組合)
- 演唱歌曲承載敘事——無獨立旁白。 產生/提供的音軌就是背景音樂(無需將旁白壓在其下);請勿添加口語旁白或第二個背景音樂。
- 根據提供的歌曲之小節網格規劃時間軸。 使用 librosa 對歌曲進行節拍追蹤(假設為 4/4 拍);一個小節 = 一個鏡頭(預設)。將每個場景視窗對齊小節邊界——切勿將歌曲裁切至預先規劃的網格。
- 字幕來自歌曲的逐字時間戳記,並根據鎖定的歌詞重新拼寫。 Whisper 可能會誤聽尖叫式的口音(例如 "BETS" → "Hearts");請根據鎖定的歌詞檔案重新拼寫帶時間戳記的標記(切勿編輯歌詞以符合 Whisper 的聽寫)。使用 VEED-Whisper 樣式白色粗體無襯線字體,放置在底部三分之一處(對齊方式 2,
margin_v位於左下角品牌標誌上方),每次提示約 4–5 個字,無背景膠囊;字幕在結尾卡邊界處停止。絕不能放在畫面中央——它會遮住角色(2026-07 固定設定)。如果主機的 ffmpeg 缺少 libass,則將提示渲染為定時的 PIL PNG 疊加層(ffmpegoverlay=…:enable='between(t,st,en)'),放置在相同的底部位置。 - 將高潮台詞落在重拍上。 高潮場景的時機需安排,使結局台詞落在 sub-bass drop 上;強調該台詞。
- 持續顯示品牌標誌,結尾卡時隱藏。 在主要小節影片的左下角燒錄一個白色品牌標誌(使用 cairosvg → PIL 從真實 SVG 渲染),在結尾卡上隱藏此標誌,因為結尾卡將由大字標誌主導。
- 透過 cairosvg + PIL 從真實商標生成結尾卡——絕不 AI 渲染品牌文字。 純品牌色卡片 + 白色商標 + 副標題,持續約 3 秒,同時歌曲仍在播放(afade-out 在尾部淡出——無靜音尾部)。擴散模型會使商標文字變形。
- FFmpeg 合成,確定性,免費。 將每個片段裁切至其小節視窗、硬接合、燒錄標誌浮水印 + 字幕、附加結尾卡、將歌曲混入整個影片並在尾部添加 0.5 秒 afade,使用
loudnorm I=-14→ 1080×1920 h264+aac 最終檔案。無需付費 API 呼叫,無需金鑰。當主機 ffmpeg 缺少 libass/drawtext 時,字幕和標誌浮水印都使用定時的 PIL PNG 疊加層(overlay=x:y:enable='between(t,st,en)'),而不是 ASS 燒錄。 - 逐個場景進行品質檢查,絕不只檢查最終檔案——兩種失敗模式都與內容相關,而非組合流程。 上游的關鍵影格 / i2v 步驟可能 (a) 導致角色偏離其外觀(在示範中,毛氈材質變成光滑的 3D「人」)(偏離所選的外觀——在毛氈示範中,毛氈 → 光滑 3D),以及 (b) 幻覺生成手部——在手部特寫中出現逼真的手指、在「點擊手機」鏡頭中出現指向的手指,或從畫面邊緣滑入的斷手。這兩種問題在縮圖大小的檢視中都難以察覺。請提取一個2 fps的聯絡表 + 每個小節的臉部裁切和手部裁切(跨越每個片段的完整持續時間),確認每個小節都保持同一種所選外觀(示範:霧面毛氈)與同一個角色,且沒有人類 / 漂浮的手部,並在發布後重新檢查提供的字節。一個偏離外觀的小節意味著需要重新生成該小節的關鍵影格(而非重新裁切)——請參閱配方 STEP 3/6。