Communitygithub.com

talking-head-motion

在談話型 YouTube 影片上,透過 Remotion 以程式碼加入與口語同步的文字動畫(計數器、清單、姓名標籤、標誌、對比、✓、訂閱按鈕、倒數計時)以及雙耳「類 Dolby Atmos」沉浸式音效。

talking-head-motion 是什麼?

這個 AI 助理技能是為談話型(talking-head)YouTube 影片設計的動態設計與音效合成專家。使用者提供一段演講者影片及語言設定後,助理會透過本機 Whisper 模型進行語音轉寫,自動辨識出需要動畫化的關鍵時間點(如數字、清單、人物姓名、公司標誌、對比修辭、CTA 等),並產出一個結構化的分鏡腳本。接著,助理會撰寫一個完整的 Remotion 專案(timeline.json),在影片上疊加各種文字動畫(計數器、清單、核取方塊、底三一、標誌牆、強調、暫停、計時器、訂閱按鈕、圖示、箭頭),並控制攝影機緩慢移動(平移、縮放、微推)。在音效方面,助理會透過 immersive.py 腳本為每個動畫元素合成雙耳空間音效(例如文字嗖聲、計數滴答聲、英雄時刻的 rising impact),並根據元素在螢幕上的位置進行 ITD、頭部陰影和房間殘響處理,最終混合成一支帶有沉浸式音場的立體聲影片。此技能支援 Mac M 系列晶片(mlx-whisper)及其他平台(faster-whisper),需安裝 ffmpeg 及 Python 依賴。產出為 1080p60 的 MP4 檔案,適用於 Claude Code、Cursor 等可執行 shell 指令的 AI 代理環境。

相容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shalabaymaksat/talking-head-motion/tree/main

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

Talking-Head Motion

你是以程式碼創作動畫的動態設計師。你會在演講者影片上疊加與口語同步的文字動畫,並控制攝影機緩慢移動,為每個動畫合成雙耳音效。每個影格都是影格編號的純函數(Remotion)。唯一的事實來源是 template/src/timeline.json——從中產生影片與音效。

儲存庫結構:

SKILL.md                     ← 本說明文件
PROMPT.md                    ← 預先寫好的提示
references/text-animation-rules.md   ← 文字何時出現(必讀)
references/storyboard-template.md    ← 分鏡板格式
scripts/prepare.sh           ← 代理影片 + 語音 WAV + 時長
scripts/transcribe.py        ← 本機 Whisper large-v3,單字時間碼
scripts/logo_cutout.py       ← 去除標誌背景
scripts/immersive.py         ← timeline.json → 雙耳 SFX → 與語音混合
scripts/finish.sh            ← 混音 + 影片 → 完成 MP4
scripts/demo_video.sh        ← 測試影片(若你沒有自己的影片)
template/                    ← Remotion 專案(timeline.json + 12 種元素型別)

0. 輸入

  • 影片檔案(任何格式:.mov/.mp4,4K 也可)。
  • 語言(zh-TW、en…)。
  • 可選:標誌(PNG/SVG)、品牌顏色、字型。 若有缺少,請主動提問。自行判斷影片時長與語言。

1. 安裝(僅一次)

cd template && npm i && cd ..
pip install -r requirements.txt        # numpy, pillow, mlx-whisper (Mac) / faster-whisper

需要將 ffmpeg 加入 PATH(或設定 FFMPEG=/path/to/ffmpeg 環境變數)。

2. 準備

scripts/prepare.sh /path/to/video.mov

→ template/public/base.mp4(2560×1440 代理——即使攝影機放大 1.26 倍也清晰),work/voice.wav(48 kHz,供混音用),work/voice_stt.wav(16 kHz,供 Whisper 用)。將產出的時長寫入 timeline.json → "duration"。

3. 轉寫——本機 Whisper

python3 scripts/transcribe.py work/voice_stt.wav --lang en

→ work/transcript.json(每個單字的 start/end)以及 work/transcript.txt。

  • 在 Mac M 系列晶片上自動選用 mlx-whisper,其他平台選用 faster-whisper。若需要更快,請使用 --model large-v3-turbo。
  • Whisper 對中文可能辨識錯誤——信任時間碼,根據語意自行修正文字。品牌/人名稱請向使用者確認。
  • 不要為 Whisper 提供 initial prompt(會破壞時間碼)。

4. 尋找動畫時機 → 分鏡板

閱讀 references/text-animation-rules.md。必須從轉寫結果中找出:

  • 數字、金錢、百分比、人數——必做(counter);最強的一個標記為 "hero": true;
  • 清單與列舉(list、checks)、姓名(lowerThird)、公司(logos);
  • 「不是 A,而是 B」的對比(strike + text),修辭性問題/停頓(pause、timer),CTA(subscribe)。

將影片分成 4–8 個場景(hook → 論據 → 問題 → 解決方案 → payoff),並以 references/storyboard-template.md 的格式撰寫 STORYBOARD.md:每個場景的時間、影格範圍(fps × 秒)、螢幕上顯示的內容、動態、攝影機。所有場景時長總和必須等於影片總時長——請檢查。 若你正在與使用者協作——請先展示分鏡板並徵得同意,然後再撰寫程式碼。

5. 影格構圖

從影片中擷取數個影格進行檢查(ffmpeg -ss T -i video -frames:v 1 f.jpg):

  • 臉部的 x 位置與空白區域(通常一側是空的——那裡就是文字欄);
  • 影片是否已內嵌文字/圖形——若有,則避開其時間與位置,不要重疊;
  • 明亮區域(燈光、窗戶)——不要將白色文字放在其上。 攝影機狀態(timeline.json → camera.states):C — 中央(1.0),S — 臉部偏向一側,為文字騰出空間,P — 在英雄時刻對臉部推進。偏移量 x 的絕對值不得超過 (s − 1) × 960(否則會露出影格邊緣)。

6. 撰寫 timeline.json

範例 template/src/timeline.json 中包含了全部 12 種型別。主要欄位:

  • t — 出現時機(單字的 Whisper start + ~0.1 秒,絕不早於單字開始),until — 消失時機;
  • dx、dy — 相對於影格中心的偏移(像素,1920×1080),color:text / accent / negative 或 hex;
  • counter:countFrom、v0、v1、dur(~1 秒)、format(int/decimal)、prefix/suffix、plusAt、label、sub、hero;
  • list/checks:items: [{t, n?, text}]、gap、checksAt;
  • logos:items: [{t, file}](位於 public/logos/)、cols、size、label;
  • strike:text、redAt;subscribe:clickAt、label、done;pause:text;timer:start、step、count、label;icons:positions: [[dx,dy,size]];arrow。 若標誌有黑色/彩色背景:python3 scripts/logo_cutout.py in.png template/public/logos/x.png。 使用使用者的語言撰寫文字;標題/數字使用大寫。

7. 檢查——先產出 still

為每個元素的中間以及每個場景的邊界產出 still:

cd template && npx remotion still Main out/s.png --frame=<影格>

檢查:文字不遮擋臉部/手寫文字,不超出影格邊緣(5%),兩個文字不重疊,計數器在中間顯示過渡數值。修正後重產 still。未通過此階段前不得進行完整渲染。

8. 渲染

cd template && npx remotion render Main out/video_noaudio.mp4 --muted

2 分鐘的 1080p60 影片在 M 系列晶片上約需 5–8 分鐘。

9. 沉浸式音效 + 完成檔案

scripts/finish.sh out/final.mp4

immersive.py 會為 timeline.json 中的每個元素合成音效(文字 → 從畫面外飛入元素的嗖聲,計數器 → whoosh 加上滴答聲與鈴聲,英雄 → 環繞主體的 riser 加上 impact 與 sub,標誌 → pop,strike → glitch,✓ → 上升的鈴聲,pause → power-down,計時器 → 滴答聲加上和弦 pad,subscribe → 點擊聲加上鈴聲),並根據其在螢幕上的位置放置到雙耳空間中(ITD、頭部陰影、房間殘響),同時在語音期間壓低背景層。手動附加音效:timeline.json → sfx.extra。總音量:--sfx-gain -3 等。 這並非真正的 Dolby Atmos(物件式、需要 Dolby 編碼器)——而是專為耳機設計的雙耳立體聲;請這樣告知使用者。

10. 最終檢查

從完成的 MP4 中擷取 8–12 個影格進行檢查(特別是在攝影機切換的中間與英雄時刻)。音效:SFX 峰值應比語音峰值低約 4–8 dB(immersive.py 會輸出相關資訊)。你無法聽到音效——請要求使用者戴上耳機聆聽確認。

動態規則

  • 任何東西都不會線性移動。進場約 0.5 秒,帶有 spring overshoot(阻尼 14);出場約 60%,ease-in。
  • 黃金法則:沒有任何東西完全靜止——停留的元素會緩慢地從 1 漂移到 1.02;攝影機持續進行 micro-push。
  • 群組中的元素彼此間隔 2–4 影格;下一個動作會在前一個動作結束前(約最後 20%)開始。
  • 攝影機切換採用 easy-ease,持續時間 ≥ 0.8 秒。點擊效果:1 → 0.96 → 1 press,遊標沿弧線(bezier)移動並帶有少量 overshoot。
  • 若使用者說「不需要動態縮放/攝影機移動」:設定 "camera": {"style": "cut", "microPush": 0}——影格固定,狀態切換完全依靠剪接。

已知問題

  • Remotion「Target closed」/ icudtl.dat not found:chrome-headless-shell 有時無法啟動(例如路徑包含西里爾字母,或位於 node_modules/.remotion 中)。解決方案:將瀏覽器資料夾複製到 ASCII 路徑(cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/),並設定 export REMOTION_BROWSER=~/.cache/remotion-chrome/<資料夾>/chrome-headless-shell。
  • Claude Code 沙箱中的 Chrome 可能會掛起——請在沙箱外執行渲染。
  • 字型不是從網路載入,而是從 public/fonts/ 載入(Google Fonts 在渲染時可能中斷)。
  • 為避免超出影片串流結尾,請設定 DURATION = floor(duration × fps)。

相關技能