嵌入字幕
一個目錄,前端選取 (CATALOG.md — 17 種風格;背後的兩種引擎是後端細節)。標準 (預設) 會建立一個乾淨的逐字導軌 (承載大部分文字的下三分之一字幕) + 一個合成到場景中、位於主體後方的嵌入高潮片段。電影為純嵌入 — 沒有導軌,每個字幕都合成到主體後方 (主體字型、累積、遮擋作為效果)。主題是一個完整的主題架構 — 主體風格 × 英雄場景 × 前端效果 × 底板反應,由註冊表 (themes/README.md) 組成:ordnance terminal neonsign stardust stomp。大多數解說 / 旁白使用標準模式;嵌入是稀少、得來不易的高峰 — 將每個單詞都嵌入是常見錯誤;主題模式用於 VFX 等級的要求 (「炸」、「特效」、「像 AE 做的」)。
操作流程 (摘要)
以下的工藝文筆較長;流程本身很短 — 且所有確定性內容皆透過計算或編譯產生,絕非手寫:
- 決策閘門 (拒絕不良片段) → 從 CATALOG.md 選取一種風格 (17 種風格;引擎/編譯器透過查表決定 — 絕不要詢問模式/類別問題)
hyperframes init(如果專案目錄已存在且內含影片,則跳過 —matte.cjs/transcribe.cjs可直接採用目錄中的任何影片作為 source.mp4) →bash scripts/prepare.sh <project>(平行執行 matte ∥ transcribe ∥ audio-envelope,然後使用場景調色板/光學/照明來建立 safe-zones v2 — 一個指令,不需遺漏任何步驟)- 撰寫一個小的 JSON 創意選擇檔案 (請先閱讀
safe-zones.json):- 電影模式 →
plan.json→fill-timings.cjs→fit-fonts.cjs→make-composition.cjs - 主題模式 →
theme.json→make-theme.cjs(導軌/面板/詩篇/接管風格;anchor是安靜的導軌預設)
- 電影模式 →
- 視覺 QA:
node scripts/preview-frames.cjs <project>→ 約 2 秒/幀即可獲得逼真的合成預覽 (無需渲染)。在付費進行最終渲染前,請先檢查 § 視覺 QA。 render-and-composite.sh→ 閘門 (時機 / 遮擋+英雄 / 溢位 / 交接) →final.mp4
人們常忽略的承載規則:
- 導軌 (預設) + 嵌入 (晉升)。
drop(填充詞,不顯示) /rail(逐字的下三分之一字幕,在前方,承載大部分文字) /embed(在主題後方合成的重點詞)。標準模式同時使用兩者,僅嵌入高峰。請參閱 § 字幕模型。 - 影片以未修改的方式輸出 (標準/電影模式);主題模式的底板預算是唯一獲准的例外 — 根據主題 DNA 定義的註冊表閘門反應拍 (充電變暗、拳擊、震動、顆粒),並在遮罩合成後應用,使主體+文字+底板作為一個畫面移動。絕不要對素材進行調色/重新著色/掃描線處理。
- 兩本規則手冊:導軌 → references/rail.md (簡短),嵌入工藝 → references/composition-craft.md (豐富,僅嵌入)。按需閱讀。
字幕模型 — 導軌 + 嵌入
每個口語短語屬於以下三種類別之一:
| 什麼 | 如何顯示 | |
|---|---|---|
| drop | 填充詞 — 嗯/呃、口吃、自我修正 | 不顯示 |
| rail | 預設 — 一般口語內容 (逐字) | 乾淨的下三分之一字幕,在前方,可讀。強調詞可獲得內聯的 emphasis 高亮 (強調色 / 活躍詞彈出) — 它仍留在導軌上。 |
| embed | 被晉升的高峰 — 標題拍 | 一個大字,合成在主體後方 (遮罩遮擋),設計入場 + 退場 |
導軌承載大部分文字;嵌入是稀少、得來不易的高峰。 稀少性是每個拍/段落,而非每個片段:每個段落 (思想) 最多一個英雄,絕不讓兩個同時可見,英雄窗口之間至少間隔一個拍 (編譯器會在間隔小於 0.6 秒時發出警告)。短片段 → 通常 1–2 個;長解說 → 大約每個章節一個。在多個英雄中,最大的一個是 APEX (它獨享完整的鎖定嵌入 + 寬度適應提升);較小的是次要高峰,它們在其欄位中以超大強調行的形式存在 (前景,阻尼運動) — 並非每個拍都需要遮罩展示,這正是讓頂點成為一個事件的原因。將每個單詞都嵌入仍然是常見錯誤。
導軌表面風格正是建立此模型 (導軌 = rail.html,嵌入 = index.html 中的高潮)。列流風格會完全移除導軌,並使所有字幕都採用嵌入樣式 — 僅在需要氛圍優先而非逐字需求時推薦使用,絕不要用於解說 / 旁白,因為文字必須清晰可讀 (CATALOG.md 已為每種風格編碼了此資訊)。
步驟 0 — 從目錄中選取一種風格
一個前端,三種後端引擎。 使用者從 CATALOG.md 中選取一個風格 (17 種條目:12 種經典 + 5 種主題);引擎、編譯器和創建檔案透過查表從目錄行中衍生。絕不要將「標準 vs 電影 vs 主題」作為問題提出 — 這些是後端名稱 (一個產品即使有多種引擎也只有一個 UX)。目錄編碼了路由所需的一切:閱讀表面、語氣、推薦場景、場景需求、對於真正相似的對 (loud↔ordnance, neon↔neonsign, cream↔stardust) 的相鄰備註。
流程:探測片段 → 從目錄中篩選 2–3 種風格 → 推薦一種並附上一行原因 → 使用者選取 → 建立該風格的檔案。風格與引擎鎖定 (無交叉組合;開啟一個即是驗證事件 — 請參閱 dna/README.md)。
在您建立檔案之前,請先提出您的推薦並讓使用者選取。 不要默默使用預設值。
(完整的風格表位於 CATALOG.md — 這是路由的唯一真理來源。以下的引擎文件描述了每個後端的創建合約。)
推薦啟發法:使用 CATALOG.md 中的「篩選啟發法」— 這些是風格層級的 (例如「炸」會篩選出 ordnance/stomp/terminal/loud,並根據應該爆炸的內容來選擇),絕不是類別層級的。若不確定 → anchor。
- 電影模式 → 為鎖定模板撰寫
plan.json,由make-composition.cjs編譯。 - 主題模式 → 閱讀 themes/README.md,撰寫
theme.json,執行scripts/render-theme.sh(編譯 + 渲染 + 底板反應 → final_fx.mp4)。
決策閘門 — 首先執行
在兩種模式前,先探測影片並分類場景。
ffprobe <video.mp4> # 規格
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png # 在 20/50/80% 處
閱讀取樣畫面。若出現以下情況則拒絕:
- 多位說話者 / 硬切接 (請分割並分別渲染每個鏡頭,或拒絕)
- 無人類主體 (此技能專為說話人頭設計)
- 少於 3 秒、沒有語音、或臉部從未清晰可見 —
transcribe.cjs會在音訊接近無聲時發出警告 (Whisper 會在寂靜中憑空生成像「Thank you.」這樣的詞彙);請聽從警告並拒絕,而不是為偽造的詞彙加上字幕 - 來源已內含燒錄字幕 / 子母畫面 / 大量文字圖形 — 添加第二套字幕系統會造成衝突,且素材是未經修改地輸出 (無覆蓋/修補)。燒錄的文字通常只在片段中間出現:取樣一個 1fps 的連接觸片 (
ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png),不要只相信 3 個取樣點。 - 轉寫稿是垃圾 — 非母語 / 重度口音的語音可能會被轉寫成充滿自信的胡言亂語。在進行創建前,請務必理解
transcript.json的內容;如果它無法被解析為語言,請嘗試WHISPER_MODEL=medium一次,否則拒絕 (一個由偽造詞彙組成的逐字導軌比沒有字幕更糟)。 - 手持攝影且晃動劇烈 (遮罩會閃爍)
飛行前探測 (成本為零,可防止最嚴重的失敗)
- 鏡頭切接探測。 取樣 20%、50%、80% 處的畫面。如果出現不同的主體/場景,請在切接處修剪片段。
- 信箱 / 柱箱探測。 第一幀有黑邊?計算安全內容矩形,並將字幕位置限制在其內部。
- 亮度探測。 取樣字幕區域的平均亮度 —
低於 60→ 淺色文字可直接閱讀,60-180→ 添加字型遮罩,180+→ 不透明文字 + 遮罩 (絕不要使用裸露的淺色文字)。電影模板是奶油色 +screen且已鎖定 — 使用此探測來選擇合適的風格 (明亮場景 →ink,或使用不透明導軌的anchor主題),絕不要重新著色一個風格。 - 依語調推薦風格 (您推薦;使用者選取 — 請參閱步驟 0 + CATALOG.md)。 解說 / 訪談 / 必須閱讀文字 → 導軌/面板表面風格;詩意 / 社交 /「電影感」→ 依註冊表使用列流風格;「炸 / 特效 / VFX」/ 指定世界 → 主題風格。若不確定 →
anchor(文字可讀,場景安全) — 但請提出候選清單並讓使用者選擇。
流程 — 5 個步驟
1. hyperframes init <project> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <project> # 平行執行 matte ∥ transcribe → safe-zones。一個指令。
# → frames_fg/ transcript.json safe-zones.json
3. [代理步驟 — 唯一創意步驟] 撰寫一個小的 JSON;根據以下模式進行
電影模式:撰寫 plan.json → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
主題模式:撰寫 theme.json → bash scripts/render-theme.sh <project> (編譯 + 渲染 + 底板效果)
4. node scripts/preview-frames.cjs <project> # 約 2 秒/幀合成預覽 → § 視覺 QA (在渲染之前)
5. bash scripts/render-and-composite.sh <project> # 閘門 → final.mp4 + history/ 快照
(主題模式:跳過步驟 3b/5 — render-theme.sh 已經執行編譯 + render-and-composite
+ _postfx.sh;交付物是 final_fx.mp4,final.mp4 是應用底板反應前的版本)
步驟 1 的 init 會檢查已安裝的技能與 GitHub 上的最新版本,並在有套件過期時更新全域套件。
步驟 3 依模式而異:
步驟 3 — 電影模式 (純嵌入)
- 首先閱讀
safe-zones.json。 旁白平面應放在zones.hugLeft/hugRight— 貼合輪廓的乾淨條帶 (文字離身體太遠會看起來像浮動,而非嵌入;遠角是備用方案,而非預設值)。英雄預設為heroAnchor/heroBands.best(居中在主體上,約 30–55% 被遮擋)。recommendation:"fg"會將旁白移到前方以確保可讀性;只要heroBands.feasible,英雄仍保持嵌入 — 英雄-前景是最後的手段。 - DNA 是您在步驟 0 中選取的風格 (CATALOG.md) — 請不要在重新提出此選擇。根據場景進行合理性檢查 (明亮英雄頻段亮度 > 150 需要
ink;完整的選擇指南位於目錄中,涵蓋所有 10 種風格,包括 neon / glitch / chrome / velocity)。陳述您的選擇 + 原因;使用者決定。DNA 會鎖定類型/調色板/混合/運動 + 英雄三段式結構;safe-zones v2 (palette/optics/lighting) 會自動將其參數化至此場景。 - 撰寫
<project>/cinematic.json—"dna": "<name>"+ 思想-BLOCKS,而非原始群組:每個 block = 單詞行 (在子句邊界處分組 2–5 個) + 其堆疊的平面 + 每行css(僅大小/粗細/樣式 — 無位置) + 最多一個標記為"hero": true的行 (被晉升的單詞;"text"用於顯示形式)。架構:scripts/make-cinematic.cjs的 header。 - 編譯:
node scripts/make-cinematic.cjs <project>— 將 blocks 轉換為 plan.json → index.html。會為您生成:按轉寫稿排序的時機、區塊內累積、區塊間翻頁、英雄 LOCKUP (英雄區塊的前置上下文、英雄和後置上下文堆疊成一個以主體為中心的綁定合成 — 由上到下的閱讀順序 = 由建構決定的口語順序;上下文浮在前方,而英雄嵌入後方 = 深度夾層;一個品質規則確保英雄主導其上下文)、apex/次要英雄分割、由建構決定的閱讀順序、依 safe-zones 的前景備用方案。然後閘門照常執行。 (手動直接撰寫 plan.json 仍然是可能的,用於 blocks 無法表達的設計 — 然後請自行執行fill-timings.cjs+fit-fonts.cjs+make-composition.cjs。)
步驟 3 — 主題模式 (主題架構)
首先閱讀 themes/README.md — 風格/場景註冊表、連結、硬性規則以及 theme.json 的確切架構。
- 根據內容註冊表選取一個主題 DNA (每個
themes/<name>.json都有voice+when)。陳述您的選擇 + 原因;使用者決定。 - 撰寫
<project>/theme.json—dna,lines(逐字,按轉寫順序;每個 1–5 個單詞 — 對於takeover,每行是一個 CARD),minors(強調詞),hero:{match}(高潮詞/片語;對於嵌入場景,將其排除在lines之外;對於內聯場景和 panel+redact,則保留在lines中)。 - 渲染:
bash scripts/render-theme.sh <project>— 編譯 (編譯時進行逐字完整性閘門檢查),渲染兩層,合成,應用底板反應 →final_fx.mp4。在編譯和渲染之間使用preview-frames.cjs進行視覺 QA。
視覺 QA — 在您渲染之前進行預覽
node scripts/preview-frames.cjs <project> [t…] 在約 2 秒內合成逼真的預覽畫面
(在尋址時間點截取字幕層 + 真實影片幀 + 遮罩遮擋 + 導軌疊加 = 該時刻最終合成的外觀)。預設取樣 = 每個群組/高潮窗口。
一次完整渲染需要數分鐘 — 絕不要用它來發現佈局問題。
檢查預覽 (<project>/preview/sheet.png) 是否與 th
…
[為翻譯而截斷]