首先,請確保此技能保持最新狀態 — 在使用前先與使用者確認:
npx hyperframes skills update embedded-captions。當所有內容都是最新時,這是一個快速的無操作指令;否則,它會在使用者依賴它們之前,刷新此技能及其依賴的核心領域技能。
內嵌字幕
一個目錄,預先挑選(CATALOG.md — 35 種身份;其背後的引擎是後端細節)。標準(預設)建構一個乾淨的逐字軌道(承載大部分文字的下方字幕) + 一個在關鍵時刻合成嵌入到主體後方場景中的高潮點。電影感則是純嵌入 — 無軌道,每個字幕都合成在主體後方(英雄排版、累積、遮擋效果)。主題是一種完整的主題化構成 — 主體範式 × 英雄組件 × 前場特效 × 畫面反應,由註冊表組合而成(themes/README.md):ordnance terminal neonsign stardust stomp。大多數解說/旁白使用標準模式;嵌入是稀缺且值得付出的高潮 — 嵌入每個字是常見的錯誤;主題模式適用於 VFX 等級的要求(「炸」、「特效」、「像 AE 做的」)。
操作流程(TL;DR)
透過 /hyperframes 路由,意圖層僅確認輸入(哪個片段)並宣告身份選擇為一個延遲請求 — 候選清單需要探測過的片段,因此它保留在下面的步驟 1;該層的執行形狀問題不適用(素材未經處理,沒有腳本需要審查)。當存在 BRIEF.md 時,它承載已確認的輸入和任何使用者註記 — 請先閱讀它。
下面的製作說明很長;管線本身很短 — 並且所有確定性的內容都是計算或編譯的,從不手寫:
- 決策關卡(拒絕不良片段) → 從 CATALOG.md 中選取一個身份(35 種身份;引擎/編譯器透過查表衍生 — 永遠不要提出模式/類別問題)
hyperframes init(如果專案目錄已存在且包含影片,則跳過此步驟 —matte.cjs/transcribe.cjs會將目錄中的任何影片視為 source.mp4) →bash scripts/prepare.sh <project>(平行執行去背 ∥ 轉錄 ∥ 音訊包絡,然後是帶有場景色調/光學/光照的安全區域 v2 — 一個指令,無遺漏)- 編寫一個小的創意選擇 JSON(先閱讀
safe-zones.json):電影感 →plan.json→fill-timings.cjs→fit-fonts.cjs→make-composition.cjs;主題 →theme.json→make-theme.cjs(軌道/面板/詩詞/接管範式;anchor是低調的軌道預設) - 視覺 QA:
node scripts/preview-frames.cjs <project>→ 在大約 2 秒/幀內生成忠實的複合預覽(無需渲染)。在付費渲染之前,請檢查 § 視覺 QA。 render-and-composite.sh→ 關卡(時間/遮擋+英雄/溢出/交接) →final.mp4
人們會遺漏的關鍵規則:
- 軌道(預設)+ 嵌入(晉升)。
drop(填充詞,不顯示)/rail(逐字下方字幕,在前方,承載大部分文字)/embed(合成在主體後方的關鍵詞)。標準模式兩者都做,僅嵌入高潮點。請參閱 § 字幕模型。 - **影片以「未經處理」的狀態交付(標準/電影感;主題模式的 PLATE 預算是唯一被批准的例外 — 在每個主題 DNA 中定義的、由註冊閘控的反應節拍(充電變暗、衝擊、搖晃、顆粒)在去背合成之後應用,使主體+文字+畫面作為一個整體移動) — 只添加字幕;去背只是讓主體能夠遮擋嵌入軌道。永遠不要調色/重新著色/掃描線處理素材。
- 兩本規則書:軌道 → references/rail.md(簡短),嵌入工藝 → references/composition-craft.md(豐富,僅嵌入)。按需瀏覽。
字幕模型 — 軌道 + 嵌入
每個口語短語屬於以下三種類型之一:
| 什麼 | 如何顯示 | |
|---|---|---|
| drop | 填充詞 — 嗯/呃,結巴,自我修正 | 不顯示 |
| rail | 預設 — 一般的口語內容(逐字) | 乾淨的下方字幕,在前方,可讀。一個關鍵詞可以獲得行內 emphasis 高亮(強調色 / 活動詞彈出) — 它保留在軌道上。 |
| embed | 被晉升的高潮點 — 頭條節拍 | 一個大詞合成 在主體後方(去背遮擋),設計好的入場和出場 |
軌道承載大部分文字;嵌入是稀缺且值得付出的高潮點。 稀缺性是每個節拍/區塊,而非每個片段:每個區塊(想法)≤1 個英雄,永遠不要兩個同時可見,英雄窗口之間至少有一個節拍的間隔(編譯器在少於 0.6 秒時發出警告)。一個短片 → 通常 1-2 個英雄;一個長篇解說 → 大約每個章節一個。在多個英雄中,最大的一個是 APEX(它單獨獲得完整的鎖定嵌入 + 寬度適配提升);較小的則是次要高峰,它們作為放大的強調行(前景,衰減運動)跟隨各自的列 — 並非每個節拍都需要去背展示,這正是讓 apex 成為一個事件的原因。嵌入每個字仍然是一個常見的錯誤。
軌道表面身份正是這樣構建的(軌道 = rail.html,嵌入 = index.html 中的高潮)。列流身份則放棄軌道,使所有內容都變成嵌入風格 — 僅在需要營造氛圍而非逐字可讀性的要求下推薦使用,絕不用於需要文字可讀的解說/旁白(CATALOG.md 已根據每個身份編碼了此資訊)。
步驟 0 — 從 CATALOG 中選取一個身份
一個前端,三個後端引擎。 使用者從 CATALOG.md 中選取一個身份(35 個條目:10 個經典 + 25 個主題化);引擎、編譯器和創作檔案透過從目錄行中查找衍生。永遠不要將「標準 vs 電影感 vs 主題」作為問題提出 — 這些是後端名稱(一個產品即使有數個引擎也應有一個 UX)。目錄編碼了路由所需的所有資訊:閱讀表面、語氣、推薦對象、場景需求、針對真正相近配對的鄰近註記(loud↔ordnance, neon↔neonsign, cream↔stardust)。
身份選擇是一個偏好關卡(../hyperframes/references/brief-contract.md § 1):在自主模式(「給我驚喜」/「幫我決定」),你自己從候選清單中選取,並說明一行原因來代替提問。
程式:探測片段 → 從目錄中選出 2-3 個身份 → 推薦一個並附上一行原因 → 使用者選取(自主模式:你選取,並說明原因) → 創作該身份的檔案。身份是引擎鎖定的(無跨組合;開啟一個身份是一個驗證事件 — 請參閱 dna/README.md)。
在創作之前,始終先呈現你的推薦並讓使用者選取。不要默默地使用預設值。
(完整的身份表位於 CATALOG.md — 路由的唯一真相來源。下面的引擎文件描述了每個後端的創作合約。)
CATALOG.md 是此處完整的答案空間:此工作流程不會搜尋 HyperFrames 元件註冊表。 創作工作流程在創作命名外觀之前執行 npx hyperframes catalog;此工作流程不得這麼做。其引擎是鎖定的編譯器,消費 cinematic.json / theme.json 並自行輸出合成,因此註冊表項目 — 包括 caption-* 區塊 — 沒有可掛載的目標。註冊表區塊在設計好的畫布上樣式化文字;此技能透過去背將字幕燒錄到某人的素材中。當沒有身份符合要求時,請說明並選取最接近的,而非越出目錄範圍。
推薦啟發法:使用 CATALOG.md 中的「簡短清單啟發法」 — 它們是身份層級的(例如「炸」會簡短清單出 ordnance/stomp/terminal/loud,並根據「什麼東西應該爆炸」來選取),絕非類別層級。不確定時 → anchor。
- 電影感 → 為鎖定模板編寫
plan.json,由make-composition.cjs編譯。 - 主題 → 閱讀 themes/README.md,創作
theme.json,執行scripts/render-theme.sh(編譯 + 渲染 + 畫面反應 → final_fx.mp4)。
決策關卡 — 先執行此步驟
探測影片並在任一種模式之前對場景進行分類。
ffprobe <video.mp4> # 規格
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png # 在 20/50/80% 處
閱讀樣本。在以下情況拒絕:
- 多個說話者 / 硬切(分割並渲染每個鏡頭,或拒絕)
- 沒有人類主體(此技能適用於談話頭)
- 少於 3 秒,沒有語音,或臉部從未清晰可見 —
transcribe.cjs在音訊接近靜音時會發出警告(Whisper 會在靜音上幻覺出像「Thank you.」這樣的詞);請注意此警告並拒絕,而不是為虛構的詞添加字幕 - 來源已內嵌字幕 / 說明文字 / 沉重的文字圖形 — 添加第二個字幕系統會產生衝突,且素材以「未經處理」的狀態交付(無法覆蓋/修補)。內嵌文字通常只在中間片段出現:請取樣一個 1fps 的連續快照(
ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png),不要只相信 3 個單點幀。 - 轉錄稿是垃圾 — 非母語/重口音的語音可能會被轉錄成自信的胡言亂語。在創作之前,請進行合理性檢查
transcript.json;如果它無法解析為語言,請嘗試一次WHISPER_MODEL=medium,否則拒絕(一個逐字軌道充滿虛構的詞比沒有字幕更糟糕)。 - 繁忙的手持拍攝,快速運動(去背會閃爍)
預飛探測(無成本,防止最嚴重的失敗)
- 鏡頭切換探測。 在 20%、50%、80% 處取樣幀。如果出現不同的主體/場景,在剪輯之前先修剪片段。
- 信箱/直信箱探測。 第一幀有黑邊?計算安全內容矩形,並將字幕放置約束在其內部。
- 亮度探測。 取樣字幕區域的平均亮度 —
低於 60→ 亮色文字可直接閱讀,60-180→ 添加字型遮罩,180+→ 不透明文字 + 遮罩(永遠不要使用裸露的亮色文字)。電影感模板是淺色+screen模式且已鎖定 — 使用此探測來選取一個合適的身份(明亮場景 →ink,或使用不透明軌道anchor主題),絕非為了重新著色。 - 根據基調的身份推薦(你推薦;使用者選取 — 請參閱步驟 0 + CATALOG.md)。 解說 / 訪談 / 必須可讀的文字 → 軌道/面板表面身份;詩意 / 社交媒體 / 「電影感」 → 根據語域的列流身份;「炸 / 特效 / VFX」 / 命名世界 → 主題化身份。不確定時 →
anchor(文字可讀,場景安全) — 但請提出一個候選清單並讓使用者選擇。
管線 — 5 個步驟
1. hyperframes init <project> --non-interactive --video <video.mp4> --skill=embedded-captions
2. bash scripts/prepare.sh <project> # 平行執行去背 ∥ 轉錄 → 安全區域。一個指令。
# → frames_fg/ transcript.json safe-zones.json
3. [代理步驟 — 唯一的創意步驟] 創作一個小的 JSON;請根據模式參閱下方
電影感:創作 plan.json → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
主題: 創作 theme.json → bash scripts/render-theme.sh <project> (編譯 + 渲染 + 畫面特效)
4. node scripts/preview-frames.cjs <project> # 約 2 秒/幀的複合預覽 → § 視覺 QA(在渲染之前)
5. bash scripts/render-and-composite.sh <project> # 關卡 → final.mp4 + history/ 快照
(主題模式:跳過步驟 3b/5 — render-theme.sh 已經執行了編譯 + 渲染和合成
+ _postfx.sh;交付結果是 final_fx.mp4,final.mp4 是預畫面反應的版本)
步驟 1 的 init 會檢查已安裝的技能是否與 GitHub 上的最新版本一致,如果有任何技能過時,則更新全域套件。
步驟 3 因模式而異:
步驟 3 — 電影感模式(純嵌入)
- 先閱讀
safe-zones.json。 旁白平面位於zones.hugLeft/hugRight— 緊靠主體輪廓的乾淨條帶(遠離身體的文字看起來像浮動的,而非嵌入的;遠角是備用方案,而非預設)。英雄預設位於heroAnchor/heroBands.best(對齊主體中心,約 30–55% 被遮擋)。recommendation:"fg"將旁白移到前方以確保可讀性;只要heroBands.feasible,英雄就保持嵌入狀態 — 英雄位於前景是最後的手段。 - DNA 是你在步驟 0 中選取的身份(CATALOG.md) — 請勿在此處重新開啟選擇。根據場景對其進行合理性檢查(英雄頻段亮度 > 150 需要使用
ink;完整的選取指引位於目錄中,涵蓋了所有十種身份,包括 neon / glitch / chrome / velocity)。陳述你的選擇 + 原因;使用者決定。DNA 鎖定了類型/色調/混合/運動 + 英雄三幕劇;安全區域 v2(palette/optics/lighting)會自動針對此場景對其進行參數化。 - 創作
<project>/cinematic.json—"dna": "<name>"+ 想法區塊(BLOCKS),而非原始群組:每個區塊 = 文字行(在子句邊界處分組 2-5 行)+ 它堆疊的平面 + 每行的css(僅限大小/粗細/樣式 — 無位置)+ 最多一行標記為"hero": true(被晉升的詞;用"text"作為顯示形式)。結構:scripts/make-cinematic.cjs的標頭。 - 編譯:
node scripts/make-cinematic.cjs <project>— 降低區塊 → plan.json → index.html。為你生成:按轉錄稿排序的時間、區塊內累積、區塊間翻頁、英雄鎖定(英雄區塊的前文、英雄正文和後文堆疊為一個整體,以主體為中心 — 閱讀順序從上到下 = 說話順序;前文浮動在前方,而英雄嵌入在後方 = 深度夾層;一個質量規則確保英雄主導其上下文)、頂點/次要英雄分離、根據建構的閱讀順序。 - 視覺 QA。然後步驟 5 渲染。
視覺 QA(步驟 4)
在渲染之前,使用 node scripts/preview-frames.cjs <project> 檢查合成。檢視:
- 遮擋 — 英雄文字是否被主體充分遮擋?
- 可讀性 — 嵌入文字是否仍可辨識?(英雄文字應大而清晰)
- 時間 — 英雄的入場/出場是否與說話者的節拍對齊?
- 平衡 — 軌道文字是否以合理的方式圍繞主體流動?
如果需要調整:編輯 plan.json(或 theme.json),然後重新執行編譯步驟。不需要重新渲染。
主題模式注意事項
主題模式更複雜:
- 始終閱讀 themes/README.md
- 為該主題創作
theme.json(與不同主題的結構不同) - 執行
scripts/render-theme.sh,它會處理編譯、渲染和畫面反應效果 - 最終輸出是
final_fx.mp4;final.mp4是預畫面反應的版本(僅用於檢查)
交付項目
final.mp4(標準/電影感)或final_fx.mp4(主題)history/目錄的快照- 原始輸入影片保持不變