Plugin installs: Before setup or freshness commands, follow plugin execution rules when this skill is inside a HyperFrames plugin. Standalone installs keep the update instructions below.
First, keep this skill fresh — confirm with the user before running:
npx hyperframes skills update talking-head-recut. A fast no-op when everything is current; otherwise it refreshes this skill plus the core domain skills it depends on before you rely on them.
Talking Head Recut
Talking Head Recut 會取用一個完整播放的本地影片,並在其上層疊一系列經過時間設定與設計的圖像卡片——包含標題、下方三分之一資訊、數據區塊、引言、側邊面板、子母畫面——這些卡片會與影片中的說話內容同步。AI 助手會設計卡片(決定時間點與內容),並直接在對話中撰寫每張卡片的 HTML,然後組合出一個單一的合成 HTML,並透過 hyperframes 將其渲染為 MP4 影片。這裡沒有固定的卡片類型列表,也沒有預先定義的卡片結構——疊加卡片的內容完全來自於逐字稿實際說了什麼。
主要入口是
/hyperframes。 此技能負責為現有的談話性影片加上設計好的圖像卡片(標題、下方三分之一資訊、數據區塊、引言、側邊面板、子母畫面)——而不是純粹的字幕(將說話內容以文字形式呈現)。原始影片不受影響地播放。 任何其他意圖——純字幕、獨立圖像、從頭建立影片——或者有任何不確定性 → 請先閱讀/hyperframes:意圖層負責所有路徑的決定。
作為
embedded-captions的圖像包裝同類技能。 字幕是在影片上加入_說話內容_的可讀文字;而此技能則是在播放的影片上加入設計過的圖像。純字幕 → 使用embedded-captions。從頭建立影片 → 使用創作工作流程(product-launch-video/faceless-explainer/ …)。
透過 /hyperframes 路由,意圖層只會確認輸入(要處理哪個影片)並宣告渲染策略的相關問題為延後詢問——畫面比例、版面配置、風格組和卡片數量會保留到第 7 步,屆時已探查的影片素材和逐字稿能為建議提供依據;意圖層的執行形狀問題並不適用。當存在 BRIEF.md 時,它會包含已確認的輸入和任何使用者備註——請優先閱讀它。
在工作目錄中可檢查的中間檔案:
metadata.json— 影片長度 / 寬度 / 高度 / fpsaudio.mp3— 擷取的音訊transcript.json— 一個扁平的單字陣列[{ text, start, end }, …](使用 Whisper 模型;沒有segments包裝,也沒有words包裝)storyboard.json— 輕量級的卡片大綱(AI 助手的計畫)public/cards/card-XX.html— 每張卡片一個 HTML 片段public/index.html— 最終組合好的合成畫面output.mp4— 渲染完成的影片
CLI 指令解析
# hyperframes — 轉錄(本地 Whisper)+ 將組合好的 HTML 渲染為 MP4
npx hyperframes --help
此技能完全依賴 hyperframes CLI 以及系統的 ffmpeg / ffprobe。轉錄功能是透過 hyperframes transcribe 在本地執行 Whisper 模型——無需第三方服務、API 金鑰或任何速率限制的代理。
工作流程
1. 檢查環境
npx hyperframes doctor # 檢查 ffmpeg、無頭瀏覽器、渲染依賴
# 確認捆綁的資源:
ls "<SKILL_DIR>/assets/fonts" "<SKILL_DIR>/assets/vendor/gsap.min.js"
必要項目:
ffmpeg/ffprobe(系統級)<SKILL_DIR>/assets/fonts/*.woff2、<SKILL_DIR>/assets/vendor/gsap.min.js(捆綁在此技能內,會在第 9 步複製到工作目錄)
轉錄不需要任何金鑰——hyperframes transcribe 會在本地執行 Whisper 模型(第 4 步)。
在 macOS 上強烈建議為 hyperframes render 設定以下環境變數:
export PRODUCER_BROWSER_GPU_MODE=hardware
2. 建立工作目錄
所有成品都存放在 videos/<專案名稱>/ 目錄下——這與其他影片工作流程(product-launch-video / faceless-explainer / pr-to-video)的慣例相同。保持當前工作目錄在專案根目錄;以下所有步驟都會在此單一子目錄下建立檔案。
VIDEO_PATH="/absolute/path/input.mp4"
WORK_DIR="videos/$(basename "$VIDEO_PATH" | sed 's/\.[^.]*$//')"
mkdir -p "$WORK_DIR"
3. 擷取音訊與中繼資料
# 中繼資料 — 影片長度 / 寬度 / 高度 / fps
ffprobe -v error -select_streams v:0 \
-show_entries stream=width,height,r_frame_rate \
-show_entries format=duration -of json "$VIDEO_PATH" > "$WORK_DIR/metadata.json"
# 音訊
ffmpeg -y -i "$VIDEO_PATH" -vn -acodec libmp3lame -q:a 2 "$WORK_DIR/audio.mp3"
輸出:metadata.json(讀取 width/height/duration;fps 是 r_frame_rate 分數的計算結果,例如 30000/1001 → 29.97) + audio.mp3。
4. 轉錄
npx hyperframes transcribe "$WORK_DIR/audio.mp3" -d "$WORK_DIR" --json --model small.en
本地 Whisper 模型——無需 API 金鑰、無代理、無速率限制。會將單字層級的 transcript.json 寫入工作目錄(單字 text + start / end 時間戳)。讀取它以取得驅動第 6 步卡片時間設定的單字/句子時間點;如果需要段落層級的區塊,請根據標點符號或停頓自行將單字分組為句子。
限制在影片長度內。 Whisper 回傳的最後一個單字的 end 時間戳可能會稍微超過實際影片長度——請將每張卡片的 endSec 和 composition.durationSeconds 限制在 metadata.json 的影片長度內,否則渲染結果會在影片結束後顯示黑色的尾巴。
5. 修正轉錄稿
transcript.json 是一個扁平化的單字物件陣列——[{ "text": "...", "start": s, "end": s }, …](沒有 segments 陣列,也沒有 words 包裝;每個單字的鍵是 text)。請讀取它並修正明顯的語音辨識錯誤:
- 同音異義詞、產品名稱、技術術語、標點符號
- 就地編輯某個單字的
text;保留它的start/end時間戳 - 沒有預先分組的
segments陣列——當你需要段落層級的區塊來設定卡片時間時,請自行將單字分組為句子(在句末標點或停頓處分割)
6. 草擬輕量級分鏡腳本(在對話中進行)
無需使用 CLI。 讀取 transcript.json + metadata.json 並直接設計卡片。storyboard.json 是 AI 助手內部的規劃產物——沒有任何 CLI 指令會讀取它;它存在的目的是讓你能在撰寫每張卡片的 HTML 之前,清晰地思考時間點和內容。請保持以下範例的形狀一致,以便相同的大綱能驅動你在第 9 步創作的合成內容:
{
"schemaVersion": 3,
"composition": {
"fps": 30,
"width": 1080,
"height": 1920,
"durationSeconds": 121.2,
"layout": "portrait",
"themeId": "noir",
"seed": 42
},
"videoTrack": {
"sourcePath": "input-video.mp4",
"startSec": 0,
"endSec": 121.2,
"bounds": { "x": 0, "y": 0, "width": 1080, "height": 1920 }
},
"subtitles": { "enabled": false },
"cards": [
{
"id": "card-01",
"intent": "以講者在深夜的焦慮提問作為鉤子",
"startSec": 0.5,
"endSec": 13.0,
"accentIndex": 0,
"zone": "fullscreen",
"contentHints": {
"kicker": "一個誠實的問題",
"title": "晚上 11 點的靈魂拷問",
"detail": "客戶 60 秒的語音留言:『如果人民幣升值,是否代表我的美元保單會虧損慘重?』"
}
}
]
}
必要的卡片欄位:
| 欄位 | 類型 | 用途 |
|---|---|---|
id | 字串 | 在卡片 HTML 與 GSAP 選擇器中使用的穩定 ID |
intent | 字串 | 自然語言描述;提供給卡片合成使用 |
startSec / endSec | 數字 | 以秒為單位的時間(endSec > startSec) |
accentIndex | 0 | 1 | 2 | 3 | 4 | 此卡片使用的主題強調色索引(共 5 種) |
zone | 列舉(見下方) | 卡片在畫布上所處的區域 |
contentHints | 物件 | 自由格式的袋子;AI 助手在此放置引導文/標題/詳細/數據/引言等內容 |
archetype (可選) | 字串 | 你可附加的自由格式標籤,用以記住卡片的模式;若省略則為自由格式,此為預設 |
transition (可選) | 列舉:cut | fade | slide | wipe | 宣告式的卡片到卡片過渡效果 |
五種 zone 值:
| zone | 解析後的邊界 | 使用時機 |
|---|---|---|
fullscreen | 覆蓋整個畫布 | 英雄時刻、大數字、口號 |
whiteboard-area | 內縮 40px 邊距(或垂直畫布高度的 45%) | 密集的數據 / 註解內容 |
lower-third | 底部 30% 區域 | 在可見影片上進行註解 |
side-panel | 右側 42%(橫向)或底部 40%(垂直) | 一側放數據,另一側放影片 |
video-overlay | 全畫布,預期卡片為大部分透明 | 在全版影片上的註解疊加 |
當你在第 9 步組合合成畫面時,請根據上表將每張卡片的 zone 解析為卡片主機包裝元素上的像素邊界。影片邊界在合成層級設定一次(videoTrack.bounds);若要讓影片看起來在「卡片之間移動」,請在第 9 步的合成 <script> 中針對 #video-wrap 撰寫 GSAP 動畫(請見第 9 步)。
沒有預設的卡片角色,也沒有預設的敘事弧線。 卡片應從影片實際內容中湧現——可能全是引言或全是數據,可能以數字開頭或以故事開頭。讓逐字稿來驅動節奏。
要多少張卡片?——根據影片長度與資訊密度自動推斷。 沒有固定的上限。根據影片長度選取一個基礎節奏,然後根據資訊密度進行調整。只有下限是固定的:最少 5 張卡片,這樣即使是短片也有其節奏。
第 1 步 — 根據影片長度設定基礎節奏(中等密度下自然的秒數/卡片):
| 影片長度 | 基礎節奏(秒/每張卡片) | 理由 |
|---|---|---|
| < 60 秒(短影片) | 6–8 秒 | 觀看者在短格式中期待快速剪輯 |
| 60 秒 – 3 分鐘 | 8–12 秒 | 正常的社群媒體節奏 |
| 3 – 10 分鐘 | 12–20 秒 | 給予呼吸空間;每張卡片承載更多內容 |
| 10 – 30 分鐘 | 20–35 秒 | 長篇講座 / 訪談的節奏 |
| > 30 分鐘 | 30–60 秒 | 章節式的、接近章節的氛圍 |
第 2 步 — 密度乘數(乘以基礎節奏):
| 逐字稿中的訊號 | 乘數 | 效果 |
|---|---|---|
| 高密度 — 許多數字、明確的主張、斷續的節奏、列表式的列舉,每隔 1–2 個句子就是一個新想法 | × 0.7 | 剪輯更快,更多卡片 |
| 中等密度 — 混合了數據和敘事 | × 1.0 | 基礎節奏 |
| 低密度 — 一個延伸的故事、重複的重新框架、緩慢反思的節奏、單一論點的展開 | × 1.5 | 剪輯更慢,較少卡片 |
第 3 步 — 計算:
secPerCard = basePace × densityMultiplier
cardCount = max(5, round(videoDurationSec / secPerCard))
範例(請注意——沒有上限限制;長影片自然會產生更多卡片):
- 30 秒短片,單一重點(低密度) → 7 × 1.5 = 10.5 秒/卡片 → round(30/10.5)=3 → 下限為 5 張卡片
- 60 秒反思獨白(低密度) → 10 × 1.5 = 15 秒/卡片 → 4 → 下限為 5 張卡片
- 121 秒談話性影片,豐富數據(高密度) → 10 × 0.7 = 7 秒/卡片 → 17 張卡片
- 5 分鐘訪談,混合密度 → 16 × 1.0 = 16 秒/卡片 → 19 張卡片
- 10 分鐘深度解析,高密度 → 16 × 0.7 = 11 秒/卡片 → 55 張卡片
- 30 分鐘講座,中等密度 → 28 × 1.0 = 28 秒/卡片 → 64 張卡片
- 1 小時播客,低密度 → 45 × 1.5 = 67.5 秒/卡片 → 53 張卡片
當一張卡片持續時間超過 ~15 秒時,請規劃一個更豐富的卡片(數據區塊、多步驟呈現、數個子要點以交錯動畫展開)——靜態的一句話在 8 秒後就會變得無聊。對於許多卡片都超過 30 秒的長篇作品,請考慮將時間軸分割成子合成(每個章節一個 .html 檔案,使用 data-composition-src 掛載),讓每個檔案的 GSAP 時間軸保持可管理——請參閱 HyperFrames 的 timeline_track_too_dense 檢查警告。
contentHints 是一個自由格式的物件;其鍵和巢狀結構可以採用任何能捕捉數據的形式。AI 助手會決定每張卡片的形狀。
可選的結尾。 此技能沒有內建固定的品牌結尾。如果使用者想要一張結束卡片,請自行設計一張中性的卡片(標誌 + 一行標語,約 1.5-2 秒,淡入 -> 短暫停留 -> 淡出),將其附加到 cards[] 陣列中,並將 composition.durationSeconds 延長至其
…
[truncated for translation]