16 位元復古像素影片製作技能
參考藍圖
- 典範參考倉庫:
https://github.com/Lithium023/16bit-video-forNeon - 參考基準:5分14.5秒(314.5秒)完整紀錄片(AI 發展史),55 個手工打造的 16 位元像素場景,橫跨 5 幕,155 個同步的 SRT 字幕提示,9 個無縫轉場,3 軌音訊(旁白 + 5 幕 16 位元背景音樂含自動閃避 + 94 個同步的 16 位元音效),以及超即時的客戶端 1920×1080 H.264/AAC MP4 匯出。
- 開始新專案時:鏡像此技能及其
references/檔案中定義的模組架構與視覺/音訊/匯出標準。若使用者提供新的劇本、旁白音訊或 SRT 檔案,則保持整個引擎、美學構成、工作室 UI 與 MP4 匯出管線不變,同時為新的主題章節、像素場景、精靈與音效提示進行創作。
1. 美學構成(不可妥協)
將其視為 SNES / 超時空之鑰 / 星之海 / 蔚藍 與 高工藝紀錄片動態圖文 的結合——溫暖、豐富、氛圍濃厚且清晰透澈。絕不採用冰冷的線框極簡主義、絕不混亂的低解析度模糊、絕不刺眼的霓虹雜亂。
-
純正的 16 位元虛擬像素網格(
384×216橫向 /216×384直向):- 在離屏虛擬畫布上以
384×216(16:9)或216×384(9:16)的尺寸繪製所有像素世界、背景、抖動天空、精靈、道具與圖示。 - 為何選擇
384×216?因為它是 1920×1080 的 精確 5 倍整數縮放(384 × 5 = 1920、216 × 5 = 1080)。以ctx.imageSmoothingEnabled = false將畫布內容貼到 HD 輸出畫布上,確保每個像素都保持銳利,零閃爍或子像素模糊。 - 將閒置/環境像素動畫鎖定在清晰的復古節奏(
stepT = Math.floor(time * 8..10) / 10),同時相機平移、緩動曲線與轉場則以流暢的 60fps 運行(匯出時為 30fps)。
- 在離屏虛擬畫布上以
-
協調的 28 色溫暖電影級 16 位元調色板:
- 使用一套紀律嚴明的共享調色板(
PAL)建構每個場景,該調色板橫跨 6 個情感色系:深夜虛無/海軍藍、暖燈金黃/奶油色、舒適珊瑚/梅子色、冷松綠/墨綠、北極冬季冰色,以及 Game Boy 橄欖單色(嚴格保留給戲劇性的劇情反轉硬切,例如「但其實」)。 - 絕不使用平面的無紋理漸層。使用 4×4 有序拜耳抖動(
drawDitheredSky、drawDitheredGlow)來處理天空接縫、燈光光暈、黎明爆發與像素溶解。 - 詳細的十六進制色票、拜耳矩陣數學與精靈繪製基本元素,請參閱
references/visual-and-typography-spec.md。
- 使用一套紀律嚴明的共享調色板(
-
黃金字型法則(無模糊的中文文字):
- 絕不在
384×216低解析度畫布上繪製小型中文字後再放大——密集的中文字元(如「最/魔/幻/瀾/疆」)會糊成無法辨識的區塊(「糊成一坨」)。 - 場景內動態標題與徽章(雙層 HD 疊加):直接在 HD 畫布(
1920×1080)上使用二元取樣(binary-snapped)的像素字形精靈進行渲染,尺寸為38px(大標題)、32px(副標題)或24px(HUD 標籤),並加上 8 鄰點 1 像素深色墨線邊框、階梯式投影 與 3 頻段金屬斜角填充(頂部高光 / 中間色調 / 底部陰影),透過最近鄰插值(imageSmoothingEnabled = false)放大。 - 下方第三條廣播級字幕:將字幕保持在 清晰、高易讀性的原始無襯線字型(
Noto Sans SC/ 系統無襯線粗體,置於半透明深色藥丸形背景內,帶有極細琥珀色邊框,位於y = 0.905 * h)。除非明確要求,否則不要將主字幕條像素化。 - 絕不讓抖動光暈遮擋關鍵標籤:任何關鍵年份、指標或頂點徽章(如「2026」、「1950 — 未來」)必須置於一個清晰的高對比深色匾額內,並帶有金色/青綠色像素邊框,且必須在背景光暈之後繪製。
- 絕不在
-
零突兀入場與零意外硬切:
- 每個場景邊界 必須有來自 9 種轉場庫(
aperture-open、whip-blinds、iris-flash、razor-wipe、invert-strobe、camera-pullback、ember-curtain、gravity-shatter、horizon-burst)的刻意轉場,搭配順暢的fromCam → toCam相機插值與字型淡入淡出。即使是戲劇性的反轉,也應使用刻意的 CRT 掃描線擦拭(invert-strobe),而非突兀、無動機的跳接。 - 同一場景內的多元素圖形(例如 4 張模態卡片、4 個功能模組、4 個方塊、單體台階、尾聲年份橫幅)必須以有目的性的編排方式進行動畫——交錯的彈簧彈入、從中心節點向外輻射的能量光束、展開的 RPG 風格匾額,或與口白同步的滾動里程計數器/數字跳動。絕不能只使用
if (localTime > X) drawBox()的方式。 - 每一個結尾/尾聲 都應有一個標誌性的創意收尾序列(例如,日出地平線的光芒綻放 + 角色向前眺望 + 展開的匾額 + 滾動的年份里程表
1950 → 2026 → 未來+ 閃爍的星弧掃掠 + 溫暖的和弦)。
- 每個場景邊界 必須有來自 9 種轉場庫(
2. 標準製作流程
從頭開始(或擴展現有專案)創作新的 16 位元像素影片時,請遵循以下確切順序:
步驟 1:匯入劇本、旁白與 SRT 時間碼
- 解析使用者的真實旁白音訊與
.srt字幕檔(或產生與旁白對齊的精確時間戳 SRT)。 - 正規化相鄰字幕提示之間的微小間隙(
< 0.18s),以免字幕閃爍消失 2 幀。 - 根據確切的音訊/SRT 結束時間建立
CLIP_DURATION。
步驟 2:分鏡與節拍表(節奏藍圖)
- 將影片劃分為 3–6 個敘事幕(每個幕有其自己的色溫與 BGM 章節)以及 3–8 秒場景(大約每個視覺節拍對應 1–3 個字幕提示)。
- 對於較長的影片(>60 秒),以 30 秒的章節 為單位進行迭代建構(例如
retroPixelChapterTwo.ts、retroPixelChapterThree.ts),確保每個鏡頭都有真正手工打造的像素藝術,而非重複使用的模板。 - 在
timeline.ts中為每個場景指定:index、id、title、quote、start、end(嚴格連續,零間隔/重疊,覆蓋[0, CLIP_DURATION])transitionIn+transitionLabelvisualBeat(為分鏡面板提供簡潔的編輯描述)accent(時間軸條的強調色)
步驟 3:建構核心像素引擎與模組化章節渲染器
鏡像 https://github.com/Lithium023/16bit-video-forNeon 中清晰的職責分離:
src/video/types.ts—SrtCue、SceneCut、TransitionType、RenderSettings、ExportResolution、ExportStatus。src/video/srtParser.ts— 確定性 SRT 解析器、AUDIO_SRC、BGM_SRC、CLIP_DURATION、getActiveCue。src/video/timeline.ts— 連續的SCENE_CUTS、緩動曲線(easeOutExpo、easeOutBack、easeOutCubic、easeInOutQuint、smoothstep)、getStaggerProgress、getSceneAtTime、getActiveTransition、合成備用語音能量。src/video/pixelSprites.ts—PAL、BAYER_4X4、pxRect、pxOutline、pxCircle、pxRing、pxLine、drawDitheredSky、drawDitheredGlow、drawSprite、pxBitmapText、可重複使用的像素藝術精靈與環境輔助函數(pxPineTree、pxCloud、pxSparkle、pxStarfield)。src/video/pixelTypography.ts— 快取的二元取樣像素字形柵格化器(drawPixelString、drawPixelKineticTitle、drawPixelHudTag)。src/video/retroPixelRenderer.ts— 主虛擬緩衝區池(bufA、bufB、bufDither)、相機漂移計算器、9 種轉場合成器、CRT 掃描線、字型交接,以及分派到模組化retroPixelChapter*.ts檔案的調度器。src/video/sceneRenderers.ts— 頂層renderVideoFrame:像素場景 → 輕微暈影(0.14)→ 清晰的原生下方第三條字幕 → 極細琥珀色進度條 → 0.25 秒尾部淡出。
步驟 4:為完整影片配樂(三軌音訊系統)
請閱讀 references/choreography-and-audio-spec.md 以了解完整細節:
- 軌道 1 — 旁白:主要敘事錨點(
volume = 1.0,0.25 秒尾部淡出)。 - 軌道 2 — 多幕 16 位元背景音樂:來源為真正開放授權(CC0 / CC BY 3.0,例如 OpenGameArt / BoxCat Games / Kevin MacLeod / chiptune OST)的 16 位元曲目,以符合每一幕的情緒,並將它們拼接成一個無縫的 BGM 曲目,在每幕的時間戳處進行平滑交叉淡出,並套用自動旁白閃避(
duck = 1 - voiceEnergy * 0.22),約在~0.58 * bgmVolume處。 - 軌道 3 — 同步的 16 位元音效(
retroSfxEngine.ts):結合每個場景切換的自動轉場音效 + 手動放置的音樂節拍音效(用於 4 張卡片揭露的五聲音階上升音效、水晶碰撞聲、斬擊嗡嗡聲、里程計滴答聲,以及溫暖的尾聲大和弦)。所有音效皆透過 Web Audio(BaseAudioContext+ 可選的scheduledTime)乾淨合成,因此即時播放與離線 MP4 匯出的聽覺效果一致。
步驟 5:工作室 NLE 預覽與客戶端 1080p MP4 匯出
請閱讀 references/mp4-export-and-qa-spec.md 以了解完整細節:
- 工作室外殼:暗黑曜石色工作區(
#07080B)、TopBar(品牌標題、章節跳轉導航、單一主要匯出 1080p MP4操作按鈕,附即時階段進度與立即取消功能)、Canvas 舞台(16:9 / 9:16 切換、播放/暫停/拖曳/逐格/速度/靜音/全螢幕)、多軌道視覺時間軸(場景區塊 + 字幕區塊 + 播放頭),以及右側編輯面板(分鏡與轉場/口播台詞/畫面調校,包含1080p與720pMP4 開關、BGM/SFX 滑桿、字幕切換、重點跳轉按鈕)。 - MP4 匯出(
videoExporter.ts):使用mp4-muxer搭配瀏覽器 WebCodecs(VideoEncoderH.264 +AudioEncoderAAC/Opus),進行離線直接 PCM 音訊混合 + 快取每音效戳印,預設為1920×1080@ 30fps、14 Mbps(直向為1080×1920),並自動回退至 Safari 原生MediaRecorderMP4。
步驟 6:單元測試與視覺瀏覽器驗證(強制)
- 解耦純邏輯並使用
node:test(npx tsx --test)進行測試:- SRT 時間戳解析與提示覆蓋率(
srtParser.test.ts) - 連續場景切換與轉場,零間隔/重疊(
timeline.test.ts) - 拜耳抖動與矩形精靈網格驗證(
pixelSprites.test.ts) - 按時間順序的音效提示覆蓋率與僅向前觸發視窗(
retroSfxEngine.test.ts) - 匯出解析度設定、MP4 MIME 優先級與語音能量時間軸(
videoExporter.test.ts)
- SRT 時間戳解析與提示覆蓋率(
- 在
App.tsx中支援?t=<seconds>URL 查詢參數,以便自動化無頭瀏覽器檢查能直接跳轉到任何場景、轉場中點、動畫入場節拍與結束幀進行視覺檢查。 - 驗證即時 MP4 匯出能達到
渲染 MP4,能乾淨地取消並回到閒置狀態,且不殘留任何過時回呼,並且不會在瀏覽器主控台中產生任何錯誤。
3. 實戰經驗法則與絕不再犯的陷阱
| 陷阱 | 根本原因 | 強制解決方案 |
|---|---|---|
| 中文標題看起來模糊/結塊(「糊成一坨」) | 在 384×216 低解析度畫布上渲染 CJK 後再放大 | 在 HD 畫布上,透過二元取樣的 38px/32px 字形精靈(CJK 閾值為 142..148、ASCII 為 88)渲染 CJK 標題,加上 1px 墨線邊框與 3 頻段斜角;下方第三條字幕保持使用清晰的原生無襯線字型 |
| 後期場景之間的硬切 | 缺少 transitionIn 或視覺交接不匹配 | SCENE_CUTS 中的每個切換都必須定義一個有目的的 transitionIn;將主題性轉場配對(例如,綻放的花朵溶解成飄落的冰晶 → 以 gravity-shatter 墜入冬季) |
| 元素突然出現 | 使用原始的 if (localTime > t) 布林值來繪製 UI 卡片/方塊 | 使用 clamp01((localTime - delay) / dur) 搭配 easeOutBack / easeOutExpo、光束連接器、展開匾額或滾動計數器來驅動每個元素 |
| 高潮標籤被遮擋或只顯示一半 | 光暈繪製在標籤之上,或進度由有界區段計數器決定 | 在光暈之後,於帶邊框的深色匾額內繪製標籤;將揭露進度直接繫結到 localTime,而非受限的曲線參數 |
| 離線 MP4 匯出在 4% 處停滯 | 將 90 多個音效(約 280 個 BiquadFilterNode)連接到一個 314 秒的 OfflineAudioContext | 將語音 + BGM 解碼一次,直接在立體聲 Float32Array PCM 中混合,在一個小的 0.55–1.55s OfflineAudioContext 中渲染每個獨特的短音效(快取),然後戳印到 PCM 中 |
| 離線 MP4 音訊編碼耗時 12 秒以上 | 餵入微小的 4096 樣本 AudioData 區塊,並使用鬆散的中斷輪詢 | 將 AudioData 批次處理為 1 秒(48000 樣本)區塊(5 分鐘約 315 個區塊),並將中斷回退時間縮短至 20ms |
| 在 MP4 渲染期間點擊「取消」會導致按鈕卡住 | waitForEncoderDrain 在 cancel() 之後解析,並發送最後一次 onProgress | 在 onProgress/onComplete/onError 中包裹 !cancelled 守衛條件,並在每個 await 之後立即檢查 if (isCancelled()) return |
4. 此技能中的參考檔案
請在執行期間視需要載入這些參考檔案:
references/visual-and-typography-spec.md— 確切的PAL色彩調色板、384×216畫布與整數縮放數學、拜耳抖動、像素字型柵格化器,以及 9 種轉場配方。references/choreography-and-audio-spec.md— 動畫入場模式、5 幕 BGM 交叉淡出 + 閃避數學,以及 15 種程序化 16 位元音效配方。references/mp4-export-and-qa-spec.md— 4 層客戶端 MP4 匯出管線、快速離線 PCM 混合器、工作室 NLE UI 規格,以及單元測試與瀏覽器 QA 檢查清單。