Talking-Head Motion
你是以程式碼創作動畫的動態設計師。你會在演講者影片上疊加與口語同步的文字動畫,並控制攝影機緩慢移動,為每個動畫合成雙耳音效。每個影格都是影格編號的純函數(Remotion)。唯一的事實來源是 template/src/timeline.json——從中產生影片與音效。
儲存庫結構:
SKILL.md ← 本說明文件
PROMPT.md ← 預先寫好的提示
references/text-animation-rules.md ← 文字何時出現(必讀)
references/storyboard-template.md ← 分鏡板格式
scripts/prepare.sh ← 代理影片 + 語音 WAV + 時長
scripts/transcribe.py ← 本機 Whisper large-v3,單字時間碼
scripts/logo_cutout.py ← 去除標誌背景
scripts/immersive.py ← timeline.json → 雙耳 SFX → 與語音混合
scripts/finish.sh ← 混音 + 影片 → 完成 MP4
scripts/demo_video.sh ← 測試影片(若你沒有自己的影片)
template/ ← Remotion 專案(timeline.json + 12 種元素型別)
0. 輸入
- 影片檔案(任何格式:.mov/.mp4,4K 也可)。
- 語言(
zh-TW、en…)。 - 可選:標誌(PNG/SVG)、品牌顏色、字型。 若有缺少,請主動提問。自行判斷影片時長與語言。
1. 安裝(僅一次)
cd template && npm i && cd ..
pip install -r requirements.txt # numpy, pillow, mlx-whisper (Mac) / faster-whisper
需要將 ffmpeg 加入 PATH(或設定 FFMPEG=/path/to/ffmpeg 環境變數)。
2. 準備
scripts/prepare.sh /path/to/video.mov
→ template/public/base.mp4(2560×1440 代理——即使攝影機放大 1.26 倍也清晰),work/voice.wav(48 kHz,供混音用),work/voice_stt.wav(16 kHz,供 Whisper 用)。將產出的時長寫入 timeline.json → "duration"。
3. 轉寫——本機 Whisper
python3 scripts/transcribe.py work/voice_stt.wav --lang en
→ work/transcript.json(每個單字的 start/end)以及 work/transcript.txt。
- 在 Mac M 系列晶片上自動選用
mlx-whisper,其他平台選用faster-whisper。若需要更快,請使用--model large-v3-turbo。 - Whisper 對中文可能辨識錯誤——信任時間碼,根據語意自行修正文字。品牌/人名稱請向使用者確認。
- 不要為 Whisper 提供 initial prompt(會破壞時間碼)。
4. 尋找動畫時機 → 分鏡板
閱讀 references/text-animation-rules.md。必須從轉寫結果中找出:
- 數字、金錢、百分比、人數——必做(
counter);最強的一個標記為"hero": true; - 清單與列舉(
list、checks)、姓名(lowerThird)、公司(logos); - 「不是 A,而是 B」的對比(
strike+text),修辭性問題/停頓(pause、timer),CTA(subscribe)。
將影片分成 4–8 個場景(hook → 論據 → 問題 → 解決方案 → payoff),並以 references/storyboard-template.md 的格式撰寫 STORYBOARD.md:每個場景的時間、影格範圍(fps × 秒)、螢幕上顯示的內容、動態、攝影機。所有場景時長總和必須等於影片總時長——請檢查。
若你正在與使用者協作——請先展示分鏡板並徵得同意,然後再撰寫程式碼。
5. 影格構圖
從影片中擷取數個影格進行檢查(ffmpeg -ss T -i video -frames:v 1 f.jpg):
- 臉部的 x 位置與空白區域(通常一側是空的——那裡就是文字欄);
- 影片是否已內嵌文字/圖形——若有,則避開其時間與位置,不要重疊;
- 明亮區域(燈光、窗戶)——不要將白色文字放在其上。
攝影機狀態(
timeline.json → camera.states):C— 中央(1.0),S— 臉部偏向一側,為文字騰出空間,P— 在英雄時刻對臉部推進。偏移量x的絕對值不得超過(s − 1) × 960(否則會露出影格邊緣)。
6. 撰寫 timeline.json
範例 template/src/timeline.json 中包含了全部 12 種型別。主要欄位:
t— 出現時機(單字的 Whisperstart+ ~0.1 秒,絕不早於單字開始),until— 消失時機;dx、dy— 相對於影格中心的偏移(像素,1920×1080),color:text/accent/negative或 hex;counter:countFrom、v0、v1、dur(~1 秒)、format(int/decimal)、prefix/suffix、plusAt、label、sub、hero;list/checks:items: [{t, n?, text}]、gap、checksAt;logos:items: [{t, file}](位於public/logos/)、cols、size、label;strike:text、redAt;subscribe:clickAt、label、done;pause:text;timer:start、step、count、label;icons:positions: [[dx,dy,size]];arrow。 若標誌有黑色/彩色背景:python3 scripts/logo_cutout.py in.png template/public/logos/x.png。 使用使用者的語言撰寫文字;標題/數字使用大寫。
7. 檢查——先產出 still
為每個元素的中間以及每個場景的邊界產出 still:
cd template && npx remotion still Main out/s.png --frame=<影格>
檢查:文字不遮擋臉部/手寫文字,不超出影格邊緣(5%),兩個文字不重疊,計數器在中間顯示過渡數值。修正後重產 still。未通過此階段前不得進行完整渲染。
8. 渲染
cd template && npx remotion render Main out/video_noaudio.mp4 --muted
2 分鐘的 1080p60 影片在 M 系列晶片上約需 5–8 分鐘。
9. 沉浸式音效 + 完成檔案
scripts/finish.sh out/final.mp4
immersive.py 會為 timeline.json 中的每個元素合成音效(文字 → 從畫面外飛入元素的嗖聲,計數器 → whoosh 加上滴答聲與鈴聲,英雄 → 環繞主體的 riser 加上 impact 與 sub,標誌 → pop,strike → glitch,✓ → 上升的鈴聲,pause → power-down,計時器 → 滴答聲加上和弦 pad,subscribe → 點擊聲加上鈴聲),並根據其在螢幕上的位置放置到雙耳空間中(ITD、頭部陰影、房間殘響),同時在語音期間壓低背景層。手動附加音效:timeline.json → sfx.extra。總音量:--sfx-gain -3 等。
這並非真正的 Dolby Atmos(物件式、需要 Dolby 編碼器)——而是專為耳機設計的雙耳立體聲;請這樣告知使用者。
10. 最終檢查
從完成的 MP4 中擷取 8–12 個影格進行檢查(特別是在攝影機切換的中間與英雄時刻)。音效:SFX 峰值應比語音峰值低約 4–8 dB(immersive.py 會輸出相關資訊)。你無法聽到音效——請要求使用者戴上耳機聆聽確認。
動態規則
- 任何東西都不會線性移動。進場約 0.5 秒,帶有 spring overshoot(阻尼 14);出場約 60%,ease-in。
- 黃金法則:沒有任何東西完全靜止——停留的元素會緩慢地從 1 漂移到 1.02;攝影機持續進行 micro-push。
- 群組中的元素彼此間隔 2–4 影格;下一個動作會在前一個動作結束前(約最後 20%)開始。
- 攝影機切換採用 easy-ease,持續時間 ≥ 0.8 秒。點擊效果:1 → 0.96 → 1 press,遊標沿弧線(bezier)移動並帶有少量 overshoot。
- 若使用者說「不需要動態縮放/攝影機移動」:設定
"camera": {"style": "cut", "microPush": 0}——影格固定,狀態切換完全依靠剪接。
已知問題
- Remotion「Target closed」/
icudtl.dat not found:chrome-headless-shell 有時無法啟動(例如路徑包含西里爾字母,或位於node_modules/.remotion中)。解決方案:將瀏覽器資料夾複製到 ASCII 路徑(cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/),並設定export REMOTION_BROWSER=~/.cache/remotion-chrome/<資料夾>/chrome-headless-shell。 - Claude Code 沙箱中的 Chrome 可能會掛起——請在沙箱外執行渲染。
- 字型不是從網路載入,而是從
public/fonts/載入(Google Fonts 在渲染時可能中斷)。 - 為避免超出影片串流結尾,請設定
DURATION = floor(duration × fps)。