Talking-head b-roll
使用者的錄影已經完成:台詞與表達已定稿。單純的談話頭畫面觀看時較為單調,因此本技能的工作是為每一段語音決定畫面上要顯示什麼。聲音從不中斷;只有畫面會改變。
錄影絕不會被剪輯、移動、裁切或縮放。你所製作的所有內容都是疊加在上方的圖層:在 speaker 應顯示的地方保持透明,在圖形覆蓋 speaker 的地方不透明。scripts/render.mjs 會將該圖層疊在錄影上,並保留其音訊。
一次完成:不要詢問錄影或合理預設就能回答的問題,並在交付時列出你所做的選擇。在包含錄影的資料夾中工作,並從該處執行腳本;輸出檔案會存放在同一資料夾。下方 <skill> 代表此技能的資料夾(即包含本檔案的位置)。
1. 轉錄
node <skill>/scripts/transcribe.mjs talk.mp4 # → transcript.json,並印出每一句及其開始和結束時間
它會印出影片的尺寸、幀率和長度(這些資訊會用於頁面),以及以句子結尾分割的轉錄稿,並在 transcript.json 中記錄每個單詞的時間。在決定任何事之前,請先閱讀完整轉錄稿。它會優先使用本機安裝的 whisper.cpp,否則使用 ELEVENLABS_API_KEY;若兩者皆無,則會印出如何設定的說明。停頓來自音訊本身,因此句子之間的間隔就是 speaker 實際停止的時間;句子內部的時間誤差在十分之幾秒內。轉錄稿可能誤聽數字:若某個數字與前後文不符,請保持它不顯示在畫面上,並在交付時說明。
2. 規劃:三種處理方式
A. Speaker。 僅顯示影片本身,無任何疊加。適用於 speaker 是重點的情況:開場白、個人意見或故事、情感節拍、行動呼籲、結尾語。
B. 疊加。 影片保持可見;上方有一個半透明動態圖層:關鍵字或短語、遞增的數字、圖示、箭頭、標誌、逐項建構的短列表。當一句台詞有某個具體值得觀看的內容,且 speaker 仍值得觀看時使用。將疊加內容放在靠近邊緣、上方或下方三分之一處,避免遮住 speaker 的臉。一次只顯示一個想法;當該句內容結束時就消失。
C. 覆蓋。 一個不透明的全螢幕動態場景在 speaker 繼續說話時隱藏他們。適用於用臉部表情說不如用畫面說明的台詞:數字與比較、流程或步驟序列、某事物的運作方式、產品或介面,或任何包含三個以上部分的事物。動畫應解釋台詞,而非裝飾它。
在句子或子句結尾將轉錄稿分割成若干行。為每一行指定 A、B 或 C,附上一句話的理由,並說明 B 或 C 要顯示什麼。然後檢查節奏:
- 以 A 開場,讓觀眾認識人物;以 A 結束。
- 任何 A 段落不得超過約 8 秒;用 B 或 C 中斷它。
- C 段落長度約 3-8 秒;在 C 段落之間應返回 speaker,以免影片變成附旁白的投影片秀。
- 在台詞邊界處規劃處理方式的切換,並在疊加內容出現時對應到它們所說明的詞語;根據下方時序規則選擇哪個元素應領先或同步。
- 偏好較少但更清晰的處理方式,而不是每一行都切換。
視覺時序:逐拍決定
為每個有意義的元素選擇時序,而非為整個 B-roll 圖層統一決定。在規劃中記錄其口說的單詞/短語、時間戳、時序選擇及簡短原因:
| 時序 | 用途 | 時鐘 |
|---|---|---|
| 領先約六幀 | 眼睛可預先準備的上下文:軸線、卡片、物件、流程結構 | s.now |
| 與相關單詞同步 | 新的關鍵事實:數量、百分比、價格、排名、最終圖表值 | s.audioNow |
| 等待揭露 | 爆點、否定、保留的答案和結論 | s.audioNow,在揭露的單詞或短語處觸發 |
對於「營收成長 30%」,先引入圖表結構,然後讓 30% 可讀,並在「30%」處同時落地最終的長條圖值。同步意味著資訊是可讀或已確定的,而不僅是長時間淡入或計數的開始。準備性動畫可以較早開始,但不得提前透露答案。先前已陳述的值可保留作為上下文。
保持 SCENES.from/to 與單詞錨點使用原始的轉錄秒數。模板會根據 VISUAL_LEAD_FRAMES / FPS(預設六幀:25 fps 時為 240 ms,30 fps 時為 200 ms)推進結構時鐘。s.now、t、s.in 和 s.out 跟隨該時鐘;s.audioNow 保持實際播放時間。每個同步的事實需用 s.audioNow >= wordStart 來控制。請勿同時移動錨點,或在編輯器中重新調整已完成圖層的時間。對於精確同步的要求,使用 VISUAL_LEAD_FRAMES = 0;在混合場景中,將事實性和保留的內容保持在音訊時鐘上。
保持錄影、音訊、字幕和影片長度不變。檢查移動的場景結束點是否會隱藏同步揭露或縮短其可讀保持時間;必要時延長/重新規劃該場景及其相鄰場景。保留僅 speaker 的開場和結尾。留意錨點周圍:估計的單詞時間不保證幀精確。這是基於我們樣本審查的編輯預設值,而非普遍的感知規則。
進行比較時,保持視覺內容固定並搭配聲音審查。scripts/compare-timing.py 僅是舊的全圖層位移實驗:餵給它零領先的基準 Alpha 圖層,絕非一個已選擇性計時或已提前的圖層。它無法驗證這些逐元素的選擇。
不會添加全篇燒錄字幕:僅在使用者要求時才加入。B 疊加的文字是幾個關鍵詞,而非正在說的整個句子。
螢幕上的文字使用 speaker 實際說出的詞語,或來自轉錄稿或使用者提供的材料中的數字和名稱。請勿杜撰數字、說法或引述。
3. 建立頁面
將 <skill>/templates/b-roll.html 複製到錄影旁,命名為 page.html,並設定:
VIDEO、W×H(影片形狀:1920 × 1080,或直式 1080 × 1920;4K 檔案可保留 1920 × 1080 的頁面)、FPS、DURATION,根據transcribe.mjs印出的資訊。FACE:speaker 頭部所在位置(含頭髮,並留些許空間),以幀的分數表示。node <skill>/scripts/render.mjs page.html face --stills 2s,20s --face會顯示帶有方框的錄影;調整直到方框在每張靜止畫面中都框住頭部。SCENES:每個 B 或 C 段落一個條目,{ from, to, kind: 'overlay' | 'cover', draw },時間取自transcript.json中的單詞時間。不在場景中的所有內容皆為 A。兩個場景可以相接(一個的to是下一個的from);兩者之間一絲 speaker 畫面會產生閃爍感。- 每個場景一個
draw(t, s),根據該行內容編寫。模板中的兩個範例(關鍵字卡片和同步數字)顯示的是結構而非外觀。s.in和s.out是進場和出場時間;s.now是推進後的結構時鐘;同步的事實和保留的揭露使用s.audioNow及原始單詞錨點。
表面預設為 LIGHT。僅在以下情況使用深色:(a)使用者或品牌明確要求,或(b)主題本身存在於深色表面上(終端機/程式碼、夜空、電影院)。霓虹黑是每個 AI 影片的陳腔濫調預設;未經提示選擇它是設計上的失敗。
字型:每個使用的字重一個 Google Fonts <link>,並在 FONTS 中列出你繪製的每個字型,確保渲染時不會使用替代字型(渲染需要網路連線才能載入它們)。
4. 檢查
node <skill>/scripts/render.mjs page.html --check # 對照轉錄稿和像素檢查規劃
node <skill>/scripts/render.mjs page.html film.jpg --sheet 1 # 整部影片,每秒一幀,疊在錄影上
node <skill>/scripts/render.mjs page.html shot --stills 12s,20s # 完整的幀,以便閱讀文字和間距
--check 必須通過:每個覆蓋在進入後完全隱藏 speaker,沒有疊加進入 FACE,每個原始語音錨點落在單詞之間(顯示的圖形可領先於它),場景外無任何繪製,沒有文字跑出畫面邊界或疊在其他文字上。它會在文字距離畫面邊緣 3% 以內時發出警告,因為有些播放器會裁切。它還會印出時間軸,顯示每個段落的語音內容,並對節奏發出警告(太長的僅 speaker 段落、小於 3 秒或大於 8 秒的覆蓋、連續覆蓋、未以 speaker 開場或結尾);當你有理由時可以忽略警告,但請說明。
它無法判斷圖形是否正確對應其台詞內容、文字是否清晰可讀,或文字是否超出其卡片或圖表線條:請查看流程圖的整體流暢度,並檢查每個場景的靜止畫面中的文字。修正後再次檢查,直到一切合理為止。
5. 渲染與交付
node <skill>/scripts/render.mjs page.html film.mp4 # 完成影片:錄影、覆蓋的 B-roll、原始音訊
node <skill>/scripts/render.mjs page.html b-roll.mov # 含 Alpha 的純 B-roll:ProRes 4444,用於 Premiere Pro、Resolve、Final Cut
node <skill>/scripts/render.mjs page.html b-roll.webm # 相同內容但為 VP9 含 Alpha:體積小,用於瀏覽器和 OBS
交付 film.mp4、頁面(在瀏覽器中開啟可播放含音訊的影片並瀏覽場景),以及一份簡短的規劃表:時間、語音內容、處理方式、畫面上顯示的內容。當使用者使用 Premiere Pro、DaVinci Resolve 或 Final Cut 進行剪輯時,也提供 Alpha 圖層(.mov;ProRes 較大,約 5 MB/秒,1080p):它應放在錄影上方的軌道,從 0 開始。說明你選擇但使用者未要求的內容。
需求:Node 18+、在工作資料夾或其上層資料夾中執行 npm i playwright-core(或在技能本身資料夾或其上層)、ffmpeg、Chrome(或 npx playwright install chromium),以及用於轉錄的 whisper.cpp 或 ElevenLabs 金鑰。