外掛安裝: 在執行設定或更新指令前,若此技能位於 HyperFrames 外掛內,請遵循外掛執行規則。獨立安裝則保留下方的更新說明。
首先,保持此技能為最新狀態——請在使用前向使用者確認後執行:
npx hyperframes skills update talking-head-recut。若所有內容皆為最新,此指令會快速執行且無任何變更;否則,它會先更新此技能及其所依賴的核心領域技能,以確保您能正常使用。
Talking Head Recut
Talking Head Recut 會完整播放本機影片,並在其上疊加一系列經過時間校準、設計精美的圖形卡片——包含標題、下三分之一資訊、數據標註、引言、側邊面板、畫中畫——且與說話內容同步。AI代理會設計這些卡片(包含時間點與內容),並直接在對話中寫入每張卡片的 HTML,接著組合成單一 HTML 檔案,最後透過 hyperframes 渲染為 MP4。此技能沒有固定的卡片模式列表,也沒有預設的卡片結構——疊加內容完全根據逐字稿的實際內容來產生。
主要入口是
/hyperframes。 此技能適用於為現有的談話性頭像影片加上設計精美的圖形卡片(包含標題、下三分之一資訊、數據標註、引言、側邊面板、畫中畫)——而非單純的逐字字幕(僅將說話內容顯示為文字)。原始影片會保持不變。 任何其他意圖——純字幕、獨立圖形、從頭建立影片——或是不確定時,請先閱讀/hyperframes:意圖層負責所有路由決策。
圖形包裝的姊妹技能:
embedded-captions。 字幕是將_說話內容_以可讀格式顯示;此技能則是在播放中的影片上疊加_設計圖形_。純字幕請使用embedded-captions。從頭建立影片則請使用創作工作流程(product-launch-video/faceless-explainer/ …)。
透過 /hyperframes 路由,意圖層只會確認輸入項目(是哪個影片剪輯),並宣告渲染策略相關問題(長寬比、佈局、樣式群組、卡片數量)為延後詢問(保留至步驟 7),屆時已探測的素材和逐字稿將有助於推薦;意圖層的執行形狀問題則不適用。若存在 BRIEF.md,其中包含已確認的輸入項目及任何使用者備註——請優先閱讀。
在 work 目錄中可檢視的中間檔案:
metadata.json— 影片長度/寬度/高度/影格率audio.mp3— 已提取的音訊transcript.json— 一個扁平的單詞陣列[{ text, start, end }, …](Whisper 格式;無segments、無words包裝)storyboard.json— 輕量級卡片大綱(AI代理的規劃)public/cards/card-XX.html— 每張卡片的 HTML 片段public/index.html— 最終組合的完整 HTMLoutput.mp4— 渲染完成的影片
CLI 解析
# hyperframes — 語音轉錄(本機 Whisper) + 將組合好的 HTML 渲染為 MP4
npx hyperframes --help
此技能完全執行在 hyperframes CLI 及系統 ffmpeg / ffprobe 之上。語音轉錄使用本機 Whisper 模型,透過 hyperframes transcribe 執行——無需第三方服務、API 金鑰或限速代理。
工作流程
1. 檢查環境
npx hyperframes doctor # 檢查 ffmpeg、無頭瀏覽器、渲染相依性
# 確認捆綁的資源:
ls "<SKILL_DIR>/assets/fonts" "<SKILL_DIR>/assets/vendor/gsap.min.js"
必要條件:
ffmpeg/ffprobe(系統層級)<SKILL_DIR>/assets/fonts/*.woff2、<SKILL_DIR>/assets/vendor/gsap.min.js(內建於此技能中,在步驟 9 時複製到工作目錄)
語音轉錄不需要任何金鑰——hyperframes transcribe 會在步驟 4 以本機 Whisper 執行。
在 macOS 上強烈建議為 hyperframes render 設定:
export PRODUCER_BROWSER_GPU_MODE=hardware
2. 建立工作目錄
所有成品都存放在 videos/<專案名稱>/ 目錄下——與其他影片工作流程(product-launch-video / faceless-explainer / pr-to-video)採用相同慣例。將目前工作目錄保持在專案根目錄;所有後續輸出都會寫入此單一子目錄。
VIDEO_PATH="/absolute/path/input.mp4"
WORK_DIR="videos/$(basename "$VIDEO_PATH" | sed 's/\.[^.]*$//')"
mkdir -p "$WORK_DIR"
3. 提取音訊與中繼資料
# 中繼資料 — 長度/寬度/高度/影格率
ffprobe -v error -select_streams v:0 \
-show_entries stream=width,height,r_frame_rate \
-show_entries format=duration -of json "$VIDEO_PATH" > "$WORK_DIR/metadata.json"
# 音訊
ffmpeg -y -i "$VIDEO_PATH" -vn -acodec libmp3lame -q:a 2 "$WORK_DIR/audio.mp3"
輸出:metadata.json(讀取 width/height/duration;fps 即 r_frame_rate 分數的計算結果,例如 30000/1001 → 29.97)+ audio.mp3。
4. 語音轉錄
npx hyperframes transcribe "$WORK_DIR/audio.mp3" -d "$WORK_DIR" --json --model small.en
本機 Whisper——無需 API 金鑰、無需代理、無速率限制。會在工作目錄寫入一個包含單詞時間戳的 transcript.json 檔案(單詞 text + start / end 時間戳)。讀取此檔案以取得用於步驟 6 卡片時間設定的單詞/句子時間點;請自行根據標點符號或停頓將單詞分組為句子,以取得段落層級的區塊。
限制在媒體長度範圍內。 Whisper 傳回的最後一個單詞 end 時間戳可能會略超過實際影片長度——請將每張卡片的 endSec 和 composition.durationSeconds 限制在 metadata.json 的 duration 範圍內,否則渲染結果在影片結束後會出現黑畫面。
5. 校正逐字稿
transcript.json 是一個扁平的單詞物件陣列——[{ "text": "...", "start": s, "end": s }, …](沒有 segments 陣列、沒有 words 包裝;每個單詞的鍵是 text)。讀取它並修正明顯的 ASR 辨識錯誤:
- 同音字、產品名稱、技術術語、標點符號
- 直接修改單詞的
text欄位;保留其start/end時間戳 - 沒有預先分組的
segments陣列——請自行將單詞分組為句子(根據句末標點符號或停頓),以便在設定卡片時間時使用段落層級的區塊
6. 設計輕量級故事板(在對話中)
不需要執行 CLI 指令。 讀取 transcript.json + metadata.json 並直接設計卡片。storyboard.json 是 AI代理內部的規劃產物——沒有任何 CLI 指令會讀取它;它的存在是為了讓您可以清楚思考時間點和內容,再開始編寫每張卡片的 HTML。請保持以下範例的結構一致,以便同一個大綱可以驅動您在步驟 9 編寫的組合 HTML:
{
"schemaVersion": 3,
"composition": {
"fps": 30,
"width": 1080,
"height": 1920,
"durationSeconds": 121.2,
"layout": "portrait",
"themeId": "noir",
"seed": 42
},
"videoTrack": {
"sourcePath": "input-video.mp4",
"startSec": 0,
"endSec": 121.2,
"bounds": { "x": 0, "y": 0, "width": 1080, "height": 1920 }
},
"subtitles": { "enabled": false },
"cards": [
{
"id": "card-01",
"intent": "以演講者深夜焦慮的自問開場",
"startSec": 0.5,
"endSec": 13.0,
"accentIndex": 0,
"zone": "fullscreen",
"contentHints": {
"kicker": "一個誠實的問題",
"title": "晚上 11 點的靈魂拷問",
"detail": "客戶的 60 秒語音訊息:「如果人民幣升值,是不是代表我的美元保單虧大了?」"
}
}
]
}
必要的卡片欄位:
| 欄位 | 類型 | 用途 |
|---|---|---|
id | 字串 | 用於卡片 HTML 和 GSAP 選取器的穩定 ID |
intent | 字串 | 自然語言描述;提供給卡片合成使用 |
startSec / endSec | 數字 | 以秒為單位的時間點(endSec > startSec) |
accentIndex | 0 | 1 | 2 | 3 | 4 | 此卡片使用 5 個主題強調色中的哪一個 |
zone | 列舉(見下方) | 卡片在畫布上的位置 |
contentHints | 物件 | 自由格式的資料包;AI代理在此放置引文/標題/詳情/數據/引言 |
archetype(可選) | 字串 | 自由格式標籤,可附加以記住卡片模式;若省略則為自由格式,也是預設值 |
transition(可選) | 列舉:cut | fade | slide | wipe | 宣告式的卡片間過渡效果 |
五種 zone 值:
| zone | 解析後的邊界 | 使用時機 |
|---|---|---|
fullscreen | 覆蓋整個畫布 | 英雄時刻、大數字、咒語 |
whiteboard-area | 內縮 40px 邊距(或直式高度的 45%) | 密集的資料 / 圖解內容 |
lower-third | 底部 30% 帶狀區域 | 在可見影片上顯示註解 |
side-panel | 橫式:右側 42%;直式:底部 40% | 一側顯示數據、另一側顯示影片 |
video-overlay | 整個畫布,預期使用近乎透明的卡片 | 在全版影片上顯示註解疊加層 |
在步驟 9 組合 HTML 時,請根據上表將每張卡片的 zone 解析為卡片宿主容器上的像素邊界。影片邊界在組合層級僅設定一次(videoTrack.bounds);若要讓影片看起來「在各卡片間移動」,請在組合 HTML 的 <script> 中對 #video-wrap 編寫 GSAP 動畫(請參考步驟 9)。
沒有預設的卡片角色,沒有預設的敘事弧線。 卡片根據影片實際內容自然產生——可能全部是引言,或全部是數據;可能以數字開頭,或以故事開頭。讓逐字稿驅動節奏。
需要多少張卡片?——根據影片長度與資訊密度自動推斷。 沒有固定上限。根據影片長度選擇一個基礎節奏,再根據資訊密度調整。僅有下限固定:最少 5 張卡片,即使是短影片也要有節奏感。
第一步——根據長度決定基礎節奏(中等密度下每秒對應卡片的自然間隔):
| 影片長度 | 基礎節奏(秒/每張卡片) | 理由 |
|---|---|---|
| < 60s(短 Reels) | 6–8 秒 | 觀看者在短篇幅中期待快節奏剪接 |
| 60s – 3 分鐘 | 8–12 秒 | 一般的社群媒體節奏 |
| 3 – 10 分鐘 | 12–20 秒 | 給予呼吸空間;每張卡片承載更多內容 |
| 10 – 30 分鐘 | 20–35 秒 | 長篇講座 / 訪談節奏 |
| > 30 分鐘 | 30–60 秒 | 篇章式、接近章節的感覺 |
第二步——密度乘數(乘以基礎節奏):
| 逐字稿中的訊號 | 乘數 | 效果 |
|---|---|---|
| 高密度 — 很多數字、明確的主張、斷續的節奏、列舉式的表達、每 1-2 句話就是一個新想法 | × 0.7 | 剪接更快、卡片更多 |
| 中等密度 — 數據與敘事混合的流暢表達 | × 1.0 | 基礎節奏 |
| 低密度 — 一個延伸的故事、重複的重新框架、緩慢反思的節奏、單一論述逐步展開 | × 1.5 | 剪接更慢、卡片更少 |
第三步——計算:
secPerCard = basePace × densityMultiplier
cardCount = max(5, round(videoDurationSec / secPerCard))
範例(注意——沒有上限限制;長影片自然會產生更多卡片):
- 30 秒 Reels,單一重點(低密度) → 7 × 1.5 = 10.5 秒/卡 → round(30/10.5)=3 → 下限為 5 張卡片
- 60 秒反思獨白(低密度) → 10 × 1.5 = 15 秒/卡 → 4 → 下限為 5 張卡片
- 121 秒談話頭像搭配豐富數據(高密度) → 10 × 0.7 = 7 秒/卡 → 17 張卡片
- 5 分鐘訪談,混合密度 → 16 × 1.0 = 16 秒/卡 → 19 張卡片
- 10 分鐘深度探討,高密度 → 16 × 0.7 = 11 秒/卡 → 55 張卡片
- 30 分鐘講座,中等密度 → 28 × 1.0 = 28 秒/卡 → 64 張卡片
- 1 小時 Podcast,低密度 → 45 × 1.5 = 67.5 秒/卡 → 53 張卡片
當一張卡片持續時間超過約 15 秒時,請規劃較豐富的卡片內容(數據區塊、多步驟揭示、數個子重點以錯開的動畫展開)——靜態的一句話超過 8 秒就會變得無聊。對於長篇幅影片,若許多卡片都超過 30 秒,請考慮將時間軸分為子組合(一個章節一個 .html,使用 data-composition-src 掛載),這樣每個檔案的 GSAP 時間軸才能保持可控——請參閱 HyperFrames 的 timeline_track_too_dense 檢查警告。
contentHints 是一個自由格式的物件;其鍵和巢狀結構可以根據數據採用任何形式。由 AI代理為每張卡片決定其形狀。
可選的結尾卡片。 此技能沒有內建固定的品牌結尾。如果使用者想要一張結束卡片,請自行設計一個中性的卡片(品牌標誌 + 一行標語,約 1.5-2 秒,淡入 -> 短暫停留 -> 淡出),將其附加到 cards[] 中,並將 composition.durationSeconds 延長至其結束時間。
[翻譯後續內容省略——繼續翻譯剩餘的 SKILL.md 內容]