分鏡腳本廣告(Storyboard Reel)
將手繪分鏡、低多邊形角色的幾張渲染圖以及產品,轉化為一段約 28 秒、9:16 比例的廣告,並配上音樂和音效。不含旁白或字幕覆蓋在動作之上。
引擎:從專案根目錄(包含 scripts/ 的資料夾)執行 python3 scripts/storyboard_reel.py <command> <job>。使用 --help 可列出所有指令。邏輯位於 scripts/sr_lib.py(鏡頭種類、預設值、時間、檢查)、sr_shots.py(繪製)、sr_matte.py(去背)、sr_media.py(ffmpeg、rembg、媒體伺服器)。在 Windows 上請用 python 代替 python3。
起點:skills/storyboard-reel/job_template.json。使用 new 指令會將其複製到任務中。其中的範例是一個人物加光效的廣告。以鏡頭為主的廣告則是從 clip 鏡頭建構。
格式
- 9:16,約 28 秒。音樂背景(music bed)決定長度。
- 引擎繪製的鏡頭種類:
logo(黑底)、black、dolly(向人物推進)、pose(定格)、clip(一次圖像轉影片的移動)、glow(道具的光芒聚集並爆開)、white、shirt(白底空白 T 恤,設計淡入,標題在其下方)、card(標題、模型圖、價格、尺寸、顏色、網站)、still(全畫面關鍵圖像)和scan(透過瞄準鏡搜尋)。 - 可重新排列、重複或刪除鏡頭種類以符合分鏡。如果某個面板沒有任何鏡頭種類可以繪製,則需要在
sr_shots.py中新增繪圖函式並進行測試。在繞過此問題進行構建之前,請先說明情況。 - VHS 效果:在
job.json中設定"vhs": 0.5(0 為關閉,1 為全開)。它作用於角色部分,並在白色閃光中淡出,使 T 恤和卡片畫面恢復乾淨。當vhs開啟時,主要輸出檔案為final_9x16_vhs.mp4。
輸入素材
- 一個資料夾,包含分鏡頁面和角色渲染圖(每個姿勢一張)。檔案名稱中包含
logo、mockup或board的檔案會被自動選取。如果有的話,請加入白底的 Logo 和產品模型圖。 - 產品頁面網址。
new指令會讀取該頁面的 Shopify.json檔案以取得標題、價格、尺寸和顏色。 - 用於揭曉畫面的背面印刷照片,需為素色淺色背景。如果未設定,則會使用 Shopify 的第一張商品圖片。這張圖片通常是很複雜的模型圖,所以請換成一張乾淨的。
工作流程
- 新任務。
python3 scripts/storyboard_reel.py new <product-url> <images-folder> [--word <topic>] [--title "<title>"]將圖片複製到src/,商品圖片複製到product/,並填入卡片文案。--word會以一個主題詞作為任務資料夾名稱的結尾。 - 根據分鏡撰寫 job.json。 將每個面板對應到一個鏡頭,設定
panel以符合分鏡,將每個渲染圖分配給一個角色,並撰寫背景提示(plate prompt)。當python3 scripts/storyboard_reel.py check <job>列印出時間軸且沒有任何問題時,即完成此步驟。 - 去背(人物廣告):執行
cutouts <job>,然後開啟work/cut/feet_check.jpg。rembg 可能會在淺色地板上遺漏蒼白的骨骼並保留投射陰影。使用figures.<name>.feet方框(以原始像素為單位)修復每個腳部(add恢復蒼白像素,drop清除深色地板陰影,rebuild重新推導方框)。重新執行直到每個腳部都完整。 - 背景圖。 執行
plate <job> --n 3會在媒體伺服器上生成候選背景(免費)。查看work/bg/plates.jpg並將plate.src設定為最合適的那個。在提示詞中保留 "wide empty flat floor in the foreground",因為角色站立在look.feet_y所指定的位置。你也可以將plate.src設定為自己的圖片。 - 聯絡表,第一個關卡。 執行
stills <job>會寫入work/contact_sheet_9x16.jpg。檢查腳部是否站在地板上、角色是否避開了底部的 UI 條,以及卡片文案是否正確。向使用者展示這張聯絡表以及影片片段的報價。停止並等待使用者回覆。 - 影片片段,僅在使用者同意後。 執行
kling-frames <job>會寫入work/kling/<shot>_start.jpg(以及_end.jpg,如果片段有結束幀的話),並列印每個提示詞。將這些幀上傳到你的圖像轉影片服務(OpenArt:上傳,使用openart_model_cost報價,然後生成),需要在~/video-studio/relay/auth.md中的授權行(AUTH line)下操作。儲存下載的檔案,然後執行prep-clip <job> <download.mp4> --shot <id>。片段的長度決定了其鏡頭長度。 - 預覽,第二個關卡。 執行
preview <job>會渲染出包含片段伸展和聲音的work/preview_clip.mp4。逐幀檢查動作,重新執行stills,然後向使用者展示預覽和新的聯絡表。停止並等待使用者回覆。 - 發布文案。 撰寫
job.json中的post部分:一個簡短的caption,然後是instagram、tiktok、youtube(標題和描述)、facebook、hooks、order和一個cover備註。引擎會從sr_post.py中附加固定的簽名區塊到每個說明文字。請為你的品牌編輯該區塊。當kit <job>列印時沒有出現 "post copy not ready" 的訊息時,即完成此步驟。 - 批准與渲染。 在使用者同意後:執行
approve <job>,然後執行render <job>。這會寫入out/final_9x16_vhs.mp4(類比錄影帶版本,較慢)、out/cover.jpg、out/post.txt和out/posts.md。然後執行render <job> --clean來寫入乾淨的out/final_9x16.mp4。每次渲染也會寫入一個_nomusic的副本(僅音效,無音樂背景)。檢查記錄檔中的1080x1920 30/1 <length>s, audio這一行,然後在剪輯點處擷取幀。--out <path>會進行旁渲染,不影響out/資料夾和任務狀態。 - 上傳。 執行
upload <job>會將最終成品、副本、封面和發布工具包發送到你的 CDN 儲存空間(BunnyCDN,金鑰在config.env中)。如果發布文案中有空的說明文字或遺留的<placeholders>,它會拒絕上傳。重新上傳會使用新的名稱(_v2),因為 CDN 在重複使用路徑時會繼續提供舊檔案。提供使用者新的 URL,並從posts.md貼上各平台的說明文字。發布是使用者的步驟。
預覽關卡(在程式碼中強制執行)
render 會被阻止,直到執行過 approve,而 approve 僅在基於當前任務製作的聯絡表上運作。任何對畫面的變更都會使批准失效:鏡頭、角色、背景圖、外觀、去背、新的片段,或 job.json 中視覺部分的任何路徑。音訊和發布文案的編輯不會使其失效。畫面變更後,請製作新的聯絡表並再次展示。render --no-preview 僅用於使用者對該單一任務的明確豁免。
以鏡頭為主的動作
動態鏡頭是以鏡頭為主的圖像轉影片片段,撰寫方式類似實拍鏡頭:一個攝影機 rig 和鏡頭、一個攝影機運動("不是變焦,不是剪輯"),然後是動作。從低解析度方案開始。帶有慢速變焦的定格靜態畫面看起來像幻燈片。
- 僅有起始幀: 攝影機是自由的(推軌、弧線移動、前進)。
- 必須精準落在某個姿勢上的推進: 加入結束幀,是結束姿勢約 1.12 倍的裁切。這樣推進就能精準地落在該處。僅有起始幀的特寫可能會導致頭部錯位。
- 靜態片段(
clip,帶有start和end圖片路徑)必須跟隨一個src是其起始幀的靜態畫面。 "in": 1.0會跳過片段的第一秒。dur: "clip"會採用片段的實際長度,而fill鏡頭則吸收差值。"gain"會使片段變暗。"lights_out": {"at": 2.8, "flicker": 0.7, "floor": 0.04}會使燈光閃爍並降至接近全黑,在剪輯階段以零成本完成。搭配相符的音效使用。- 保持威脅在畫面之外。黑暗和看不見比螢幕上的怪物更可怕。
- 保持槍火在畫面之外:切到全黑,讓聲音來傳達。即使被告知,模型仍會讓武器開火,因此請逐幀檢查武器片段,並在任何槍擊發生前結束該鏡頭。
- 給影片模型的提示詞措辭:
- 一個緩慢、連續的運動。指出哪些保持靜止(身體、腳部、背景)。
- 說明道具的行為方式("the staff stays upright and never swings")。避免使用 "swing"。
- 描述應該出現的內容。否定措辭("no mist")通常被忽略,所以展示少一點。
- 當道具移動時,整個身體隨之移動:重量、軀幹、頭部。腳部固定。
- 特寫鏡頭在片段的大部分時間需要緩慢的呼吸和微小的傾斜,然後是一個快速的動作。沒有這些就會看起來像凍結了一樣。
- 片段長度:3 到 5 秒。較長的片段給模型遊走的空間。
剪輯端可調參數(免費,在剪輯階段處理)
"fade_in"使片段從全黑淡入。"flash"加入一個白色閃光剪輯。"handheld"(0 到 1)使手持靜態畫面搖晃。在攝影機片段上使用 0,因為它們本身帶有攝影機運動。scan是透過瞄準鏡搜尋,作為一個獨立的鏡頭,在一個寬景靜態畫面上進行。切勿為此使用影片模型的平移,因為平移會像滑塊一樣滑動:{"kind": "scan", "dur": 4.4, "src": "<wide still>", "span": 0.236, "scope": {"radius": 0.445, "sway": 16, "steady": 2.4}, "path": [[0.0, 0.13, 0.24], [3.2, 0.645, 0.345]]}每個路徑點是[秒數, x, y],作用於靜態畫面上。瞄準點會像彈簧一樣追蹤路徑,因此它會超調、修正,最終落在最後一個點上。告訴影片模型 "no circle, no crosshair",如果片段是透過瞄準鏡顯示的話。剪輯階段會繪製瞄準環。"live"應用於掃描鏡頭時,會在靜態畫面內的指定秒數處播放一個寬景片段,使被攝主體在鏡頭找到他時以真實速度移動。用於消除停頓。- 一個模型不會做出的微小機械動作(扳機、開關):從關鍵幀開始在剪輯階段進行調整。將移動部分作為多邊形裁切,填充其後方的背景,在一個緩慢的推動下繞其關節旋轉。裁切畫面,使該動作填滿手機螢幕。
shirt鏡頭的"from_black": 1.0, "from_white": 0在分鏡沒有白閃(white-out)時,使揭曉畫面從全黑淡入。
全畫面靜態圖與關鍵幀
當沒有角色渲染圖,或者分鏡包含特寫和主觀鏡頭時使用。
still鏡頭使用一個全畫面圖像src,可選參數有push、anchor[x, y]、fade_in、fade_out和flash。- 關鍵幀來自圖像編輯模型,比例為 9:16。將角色設計稿和場景作為參考提供給它,設計稿優先。在一個測試過的設定中,只有前兩個參考能送達模型,因此請將重要的參考放在前面。
- 片段的結束幀是其起始幀的編輯版本("the same image, only ..."),以使兩者對齊。一個小的變更在程式碼中進行本地編輯比在模型中編輯更快。
- 特寫鏡頭要符合設計稿自身的視角:側面鏡頭就是設計稿的真正側面輪廓。
- 側面輪廓的頭骨要保持真實比例(圓形頭骨覆蓋在短臉之上)。頭罩應順應頭骨形狀並覆蓋頂部和後部。在提示詞中說明這點。
- 透過頭飾的側面輪廓來判斷。描述輪廓("short, round, ends at the back of the head")。像 "tall" 或 "pointed" 這樣的詞會使圖像模型生成一個巫師帽。
- 一隻手大約和頭骨的高度一樣長。對於骨骼手,請分別命名指骨。單用 "Thick chunky" 會得到一個拳頭。
- 開場鏡頭從高處寬廣地拍攝整個場景開始,然後下降到角色。先製作寬景幀,並將結束的特寫幀作為其裁切部分。一個描述 "the camera has moved" 的編輯往往會導致角色在原地被縮放。
先免費製作草稿分鏡
在任何付費呼叫之前,在媒體伺服器上粗略製作每個面板(FLUX,每個約 8 秒)到 work/keys/,然後執行 stills。使用者可以免費看到整個剪輯的模樣。草稿不保持角色一致性,所以在展示時要說明這點。付費關鍵幀會取代這些草稿。
對於新角色,角色設計稿是第一個付費呼叫。之後的每個關鍵幀都將該設計稿作為第一個參考。
每個角色要保持一個螢幕方向(如果草稿面向錯誤的方向,則將其鏡像翻轉)。回歸的角色應使用其真實的關鍵幀來剪輯,絕不使用草稿。
將每個重複出現的角色保存在 assets/characters/<name>/ 中,並附上一個 README:設計稿、服裝規則、他們使用的場景。在任何關鍵幀之前,請先閱讀 README。
音樂與音效
- 音樂背景:純音樂,約 30 秒,針對
check列印的時間軸進行創作。典型的起承轉合:在 Logo 處重擊,在推軌鏡頭下是陰鬱的背景音,透過片段和光效是漸強的鋪墊,在白閃處下墜,最後在卡片處重擊。使用 ElevenLabs 音樂生成,或使用你自己的授權曲目。將其儲存為assets/music/<name>.mp3,並將提示詞放入audio.prompt。 - 音效位於
assets/sfx/(撞擊聲、颼颼聲、上升音)。加入audio.sfx條目,錨定到某個鏡頭。當道具改變時,製作一個新的。 audio.mute: [<shot ids>]會硬性中斷這些鏡頭上的音樂,並保留音效播放。用於 "cut to black, then gunfire"。- 生成的槍聲爆發會模糊成一片噪音牆。生成一個乾淨的槍聲,並在本地分層疊加爆發音:一個低架濾波,每次擊發伴隨一個音高下降的重低音,每次擊發的音高和音量做些微變化,然後加上限制器。
成本
背景圖、去背和本地渲染是免費的。付費關鍵幀、影片片段(OpenArt 或類似服務)以及 ElevenLabs 音樂和音效會消耗點數。請先對每個項目進行報價,並在 ~/video-studio/relay/auth.md 中維護授權行。
job.json 簡介
length(音樂的剪輯點)、product(網址、標題、價格、尺寸、顏色)、plate(src、prompt)、figures(名稱對應到 src,可選 feet、centre_on)、shots(一個列表,包含 id、kind、dur、panel 以及種類特定的鍵值)、vhs、handheld、audio(music、prompt、music_gain、fade_out、mute、sfx)、post(每個平台的文案),以及一個可選的 look。每種鏡頭種類的預設值位於 sr_lib.py 的 SHOT_DEFAULTS 中。螢幕上的文字可以接受 {title}、{details} 和 {site} 作為變數。
注意事項
- 去背需要 rembg:
pip install rembg。cutouts指令會提示缺少什麼以及如何設定。 - 光效(glow)會根據顏色找到一個洋紅色的球體。對於其他道具,請設定
light.at([x, y, r],角色方框的百分比)和light.rgb。對照實際的產品頁面檢查價格和尺寸。 - ffmpeg 必須在您的 PATH 環境變數中。所有螢幕上的文字都是用 Pillow 繪製的,因此 ffmpeg 不需要 drawtext 濾鏡。