首先,保持此技能為最新狀態 — 靜默執行,無需詢問:
npx hyperframes skills update embedded-captions。如果一切皆為最新,則為快速無操作;否則,它會在使用前更新此技能及其依賴的核心領域技能。
嵌入式字幕
一個目錄,預先選定 (CATALOG.md — 36 種風格;其背後的引擎是後端細節)。標準 (預設) 會建立一個乾淨的逐字欄杆 (承載大部分文字的底部三分之一字幕) + 一個影片高潮處合成到主體後方的嵌入效果。電影級是純嵌入 — 無欄杆,每個字幕都合成到主體後方 (英雄字體排版、累積、遮罩效果)。主題是完整的主題式構成 — 本體範例 × 英雄場景 × 前景特效 × 底版反應,由註冊表 (themes/README.md) 組成:ordnance terminal neonsign stardust stomp。多數解說/旁白使用標準;嵌入是稀有且應得的峰值 — 對每個單詞都做嵌入是常見錯誤;主題適用於 VFX 級別的需求 ("炸", "特效", "像 AE 做的")。
操作流程 (TL;DR)
下方的工藝文字很長;但管線本身很短 — 所有確定性內容都是計算或編譯的,絕非手寫:
- 決策閘門 (拒絕不良片段) → 從 CATALOG.md 中選擇一種風格 (36 種風格;引擎/編譯器透過查表決定 — 絕不詢問模式/類別問題)
hyperframes init(如果專案目錄已存在且包含影片,則跳過 —matte.cjs/transcribe.cjs會將目錄中的任何影片作為 source.mp4) →bash scripts/prepare.sh <project>(並行執行遮罩 ∥ 轉錄 ∥ 音頻包絡,然後進行安全區 v2 處理,包含場景調色板/光學/光照 — 一個指令,無所遺漏)- 撰寫一個包含創意選擇的小型 JSON 檔案 (先讀取
safe-zones.json): 電影級 →plan.json→fill-timings.cjs→fit-fonts.cjs→make-composition.cjs; 主題 →theme.json→make-theme.cjs(欄杆/面板/詩/接管範例;anchor是安靜的欄杆預設) - 視覺品質檢查:
node scripts/preview-frames.cjs <project>→ 約 2 秒/幀的忠實合成預覽 (無需渲染)。在花費時間進行完整渲染前,請檢查 § 視覺品質檢查。 render-and-composite.sh→ 閘門 (時間/遮罩+英雄/溢出/交接) →final.mp4
人們容易遺漏的載荷規則:
- 欄杆 (預設) + 嵌入 (升級)。
drop(填充詞,不顯示) /rail(逐字的底部三分之一字幕,位於前景,承載大部分文字) /embed(合成到主體後方的峰值詞)。標準模式兩者兼顧,僅對峰值進行嵌入。詳見 § 字幕模型。 - 影片以未修改的原始狀態交付 (標準/電影級;主題模式的 PLATE 預算是唯一允許的例外 — 根據主題 DNA 定義的、在遮罩合成後應用的註冊表門控反應節拍 (電荷變暗、衝擊、抖動、顆粒),使主體+文字+底版作為一個單一幀移動) — 僅添加字幕;遮罩只是為了讓主體遮擋嵌入軌道。絕不調整影片的色調/重新著色/添加掃描線。
- 兩本規則書:欄杆 → references/rail.md (簡潔)、嵌入工藝 → references/composition-craft.md (豐富,僅嵌入)。按需瀏覽。
字幕模型 — 欄杆 + 嵌入
每個口語短語屬於以下三類之一:
| 什麼 | 如何顯示 | |
|---|---|---|
| drop | 填充詞 — 嗯/呃,口吃,自我修正 | 不顯示 |
| rail | 預設 — 普通口語內容 (逐字) | 清晰的前景底部三分之一字幕,位於前景,可讀。一個關鍵字可以獲得內聯的 emphasis 高亮 (強調色/活動詞彈出) — 它仍留在欄杆上。 |
| embed | 被升級的峰值 — 標題性節拍 | 一個合成在主體後方的大詞 (遮罩遮擋),設計好的入場和出場 |
欄杆承載大部分文字;嵌入是稀有且應得的峰值。 稀缺性是按節拍/區塊,而非按片段:每個區塊 (想法) 最多一個英雄,絕不讓兩個同時可見,英雄窗口之間至少間隔一個節拍的喘息 (編譯器會在少於 0.6 秒時發出警告)。一個短片 → 通常 1–2 個;一個長解說 → 大約每個章節一個。在多個英雄中,最大的那個是頂點英雄 (APEX) (它獨自獲得完整的鎖定嵌入 + 寬度適配提升);較小的則是次要峰值,它們作為超大的強調行 (前景,阻尼運動) 存在於其欄位中 — 並非每個節拍都需要遮罩展示,這正是讓頂點英雄成為一個事件的原因。對每個詞都做嵌入仍然是常見錯誤。
欄杆式表面風格正是這樣構建的 (欄杆 = rail.html,嵌入 = index.html 中的高潮)。欄位流式風格會放棄欄杆,讓所有內容都變成嵌入樣式 — 僅在追求氛圍而非逐字可讀性時推薦使用,絕不要用於解說/旁白 (CATALOG.md 為每種風格編碼了此建議)。
--
步驟 0 — 從目錄中選擇一個風格
一個前端,三個後端引擎。 使用者從 CATALOG.md 中選擇一個風格 (36 個條目:10 個經典 + 26 個主題);引擎、編譯器和創作檔案透過查閱目錄行獲得。絕不向使用者提出 "標準 vs 電影級 vs 主題" 的問題 — 這些是後端名稱 (一個產品即使有幾個引擎也應只有一個使用者體驗)。目錄編碼了路由所需的一切:閱讀表面、風格、適用場景、場景需求、以及相似風格的相鄰性備註 (loud↔ordnance, neon↔neonsign, cream↔stardust)。
風格選擇是一個偏好閘門 (../hyperframes-core/references/brief-contract.md § 1):在自主模式下 ("給我驚喜" / "你決定"),自己從你的候選清單中挑選,並給出一個簡短的選擇理由,而非提問。
流程:探測片段 → 從目錄中篩選 2–3 種風格 → 推薦一種並給出簡短理由 → 使用者選擇 (自主模式:你選擇,並說明理由) → 創作該風格的檔案。風格與引擎綁定 (無跨組合;打開一個風格是一個驗證事件 — 請參閱 dna/README.md)。
在創作之前,務必先提出您的建議,並讓使用者選擇。 不要默默地使用預設值。
(完整的風格表格位於 CATALOG.md — 為路由提供唯一真相來源。下面的引擎文件描述了每個後端的創作合約。)
推薦啟發式:使用 CATALOG.md 中的 "篩選啟發式" — 它們是針對風格層級的 (例如 "炸" 會篩選出 ordnance/stomp/terminal/loud 並根據何物應爆炸來選擇),絕非類別層級。不確定時 → anchor。
- 電影級 → 為鎖定的模板撰寫
plan.json,由make-composition.cjs編譯。 - 主題 → 閱讀 themes/README.md,創作
theme.json,執行scripts/render-theme.sh(編譯 + 渲染 + 底版反應 → final_fx.mp4)。
決策閘門 — 先執行
在任一模式之前,請探測影片並對場景進行分類。
ffprobe <video.mp4> # 規格
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png # 在 20/50/80% 位置
讀取樣本。符合以下情況則拒絕:
- 多個說話者 / 硬切換 (分割並渲染每個鏡頭,或拒絕)
- 沒有人類主體 (此技能專為 talking-head 設計)
- 少於 3 秒,無語音,或面部從未清晰可見 —
transcribe.cjs會在音頻接近靜音時發出警告 (Whisper 會在靜音時幻覺出 "Thank you." 之類的詞);留意警告並拒絕,而不是為虛構的詞添加字幕 - 原始素材已含有內嵌字幕 / 圖形字幕 / 大量文字圖形 — 添加第二個字幕系統會產生衝突,且素材以原始狀態交付 (無法遮蓋/修復)。內嵌文字通常只在片段中間出現:對 1fps 聯繫表進行取樣 (
ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png),不要只相信 3 個抽樣幀。 - 轉錄內容是垃圾 — 非母語/厚重口音語音可能被轉錄成看似自信的胡言亂語。在創作前進行理智檢查
transcript.json;如果無法解析為語言,可嘗試WHISPER_MODEL=medium一次,否則拒絕 (對虛構詞的逐字欄杆比沒有字幕更糟糕)。 - 忙碌的手持拍攝,快速運動 (遮罩會閃爍)
預檢探測 (無成本,預防最嚴重的失敗)
- 鏡頭切換探測。 對 20%、50%、80% 位置的幀進行取樣。如果出現不同的主體/場景,在切換處裁剪片段。
- 信箱/柱狀信箱探測。 第一幀有黑邊?計算安全內容矩形,並將字幕位置限制在其內部。
- 亮度探測。 對字幕區域的平均亮度進行取樣 —
低於 60→ 淺色文字可直接顯示,60-180→ 添加字形遮罩,180+→ 不透明文字 + 遮罩 (絕不單獨使用淺色文字)。電影級模板是奶油色+screen並鎖定 — 使用此探測來_選擇合適的風格_ (亮場景 →ink,或使用不透明欄杆主題anchor),絕不重新著色。 - 根據語氣推薦風格 (你推薦;使用者選擇 — 見步驟 0 + CATALOG.md)。 解說 / 訪談 / 文字必須可讀 → 欄杆/面板表面風格;詩意 / 社交媒體 / "電影級" → 根據語域選擇欄位流式風格;"炸 / 特效 / VFX" / 命名世界 → 主題風格。不確定時 →
anchor(文字可讀,場景安全) — 但應提供候選清單並讓使用者選擇。
管線 — 5 個步驟
1. hyperframes init <project> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <project> # 並行執行 遮罩 ∥ 轉錄 → 安全區。一個指令。
# → frames_fg/ transcript.json safe-zones.json
3. [AI 步驟 — 唯一需要創意的步驟] 根據模式,撰寫一個小型 JSON 檔案;請參閱下方說明
電影級:創作 plan.json → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
主題: 創作 theme.json → bash scripts/render-theme.sh <project> (編譯 + 渲染 + 底版特效)
4. node scripts/preview-frames.cjs <project> # 約 2 秒/幀的合成預覽 → § 視覺品質檢查 (在渲染之前)
5. bash scripts/render-and-composite.sh <project> # 閘門 → final.mp4 + history/ 快照
(主題模式:跳過步驟 3b/5 — render-theme.sh 已執行編譯 + 渲染和合成 + _postfx.sh;交付物為 final_fx.mp4,final.mp4 是應用底版反應前的版本)
步驟 1 的 init 會檢查已安裝的技能是否為 GitHub 上的最新版本,並在必要時更新整個技能集合。
步驟 3 因模式而異:
步驟 3 — 電影級模式 (純嵌入)
- 先讀取
safe-zones.json。 旁白層應放置在zones.hugLeft/hugRight— 緊鄰人物輪廓的乾淨條帶 (離主體太遠的文字看起來像漂浮而不是嵌入;遠處角落是最後手段,而非預設)。英雄詞預設在heroAnchor/heroBands.best(對齊主體中心,約 30–55% 被遮擋)。當recommendation:"fg"時,將旁白移到前景以提高可讀性;只要heroBands.feasible為真,英雄詞始終嵌入 — 英雄詞在前景是最後的選擇。 - DNA 是你在步驟 0 中選擇的風格 (CATALOG.md) — 不要在此重新選擇。根據場景進行理智檢查 (英雄頻段亮度 > 150 時,應使用
ink;完整的選擇指南在目錄中,涵蓋所有十種風格,包括 neon / glitch / chrome / velocity)。說明你的選擇及理由;由使用者決定。DNA 鎖定類型/調色板/混合/運動 + 英雄三幕結構;安全區 v2 會根據palette/optics/lighting自動將其參數化到當前場景。 - 創作
<project>/cinematic.json— 包含"dna": "<name>"+ 以 BLOOK 為單位的想法,而非原始群組:每個區塊 = 語詞行 (按從句邊界分組,每組 2-5 個) + 其堆疊的平面 + 每行的css(僅限大小/粗細/樣式 — 不包含位置) + 最多一行標記為"hero": true(被升級的詞;"text"為顯示形式)。Schema 請參考scripts/make-cinematic.cjs的檔案頭。 - 編譯:
node scripts/make-cinematic.cjs <project>— 將區塊降低為 plan.json → index.html。系統為你生成:依轉錄順序的時間點、區塊內累積、區塊間翻頁、英雄鎖定 (英雄區塊的前文、英雄詞和後文作為一個統一的組合體堆疊,對齊主體中心 — 閱讀順序由上到下 = 說話順序;前文在前景浮動,而英雄詞嵌入後方 = 深度夾層;一個質量規則確保英雄詞主導其上下文)、頂點英雄/次要英雄劃分、通過建構保證閱讀順序、根據安全區的前景備選。然後閘門照常執行。(直接手動創作 plan.json 仍然可行,用於那些區塊無法表達的設計 — 然後自行執行fill-timings.cjs+fit-fonts.cjs+make-composition.cjs。)
步驟 3 — 主題模式 (主題式構成)
先閱讀 themes/README.md — 範例/場景註冊表、連結、硬性規則,以及確切的 theme.json Schema。
- 根據內容語域選擇主題 DNA (每個
themes/<name>.json都有voice+when)。說明你的選擇及理由;由使用者決定。 - 創作
<project>/theme.json— 包含dna、lines(逐字,按轉錄順序;每個 1–5 個單詞 — 對於takeover,每行是一個 CARD)、minors(強調詞)、hero:{match}(高潮詞/短語;如果將英雄詞用於嵌入場景,則將其排除在lines之外;如果用於內聯場景和面板+刪除,則保留在lines中)。 - 渲染:
bash scripts/render-theme.sh <project>— 編譯 (在編譯時進行逐字完整性檢查)、渲染兩個圖層、合成、應用底版反應 →final_fx.mp4。