雷電帝皇:CG 合成至實拍畫面
一套將 CG 置於真人演員後方或周圍的工作流與工具。工具以三種形式存在,皆運行相同程式碼:
MCP 伺服器(lightning-emperor-mcp)、命令列工具(lightning-emperor ...)以及 Blender 附加元件。當 MCP 工具可用時優先使用;否則使用命令列工具。本文件是判斷依據:該測量什麼、什麼會出錯、如何檢查自己的工作。
避免昂貴錯誤的規則
- 在決定任何事情之前先測量畫面。 鏡頭、感光元件、曝光、白平衡、螢幕顏色與強度、噪點、光源方向。 十秒的測量勝過一小時的猜測。
- 先以兩種方式正確取得絕對比例。 CG 相對於演員的比例直接取決於攝影機到主體的距離。從畫面中已知物體的像素大小(頭部從頭頂到下頷約 0.24 公尺)和從攝影機檔案的鏡頭對焦距離同時測量。若兩者不一致,停止並解決問題。 測量錯誤的距離會使整個 CG 場景在每個畫格中都尺寸錯誤。切勿添加修正因子來隱藏比例誤差。
- 從演員身上找出主光,而非來自簡報或場景照片。 以線性光比較臉部兩側。場景照片顯示有哪些燈光存在;畫面顯示哪個是主導光源。
- 在線性光中合成,並明確說明畫面的色彩空間。 顯示參考的影片:線性化、混合、重新編碼。不要因為影像看起來平淡就假定它是對數色彩空間。
- 以完整尺寸和裁切方式檢視影像。 縮圖會隱藏溢色、空洞和邊緣。在信任遮罩之前,務必開啟工具撰寫的預覽圖。
- 修正可能比原本的錯誤更糟。 每次修正後,重新檢視整個畫格,並重新測量你原本要保護的項目。
- 你無法觀看影片。 用數字(步長、抖動)測量動態,並直白說明哪些部分只有使用者的眼睛才能判斷。
- 切勿覆蓋原始檔案。 在長時間渲染前檢查輸入大小/時長;保持原始檔案不受更改。
- 坦承限制。 當使用者說看起來不對勁時,他們幾乎總是對的:調查、回報數字、說出你錯在哪裡。
工作流程
0. 輸入。 探查每個檔案。若檔案格式允許,讀取攝影機元數據(read_camera_metadata / lightning-emperor metadata):焦距(是否變焦?)、對焦距離、ISO、白平衡。
僅詢問會影響工作的項目:CG 相對於演員的位置、攝影機高度、交付格式。
1. 攝影機。 從畫面中已知尺寸和鏡頭對焦求解攝影機距離(solve_camera_distance),要求agree: true。然後規劃攝影機(plan_camera:姿態、overscan 大小、每公尺像素數)。
使用 overscan(約 1.25)渲染,使追蹤運動永遠不會露出渲染邊緣。
2. 燈光。 從臉部找出主光側。plan_lights 給出起始位置和顏色(方位角 0° 表示來自攝影機方向,+90° 表示攝影機右側,色溫單位為克氏溫度)。
根據畫面上的測量(皮膚色塊、背景)校準 CG 曝光,而非憑目視。閃爍實用燈光:practical_states 給出需要渲染的畫格(開/關)。
3. 去背。 執行 key_frame 並開啟 preview_on_grey.png。去背會自動校準到螢幕,但請閱讀 references/keying.md 了解需要檢查的項目(深色衣物中的空洞、溢色色偏、遺留的孤立色塊)。
4. 追蹤(僅在攝影機移動且背景被替換時)。track_markers 使用每幀單應性矩陣跟隨標記點群。閱讀 references/tracking.md:標記點少的畫格噪點較多,平坦背景是一個平面(單應性矩陣是正確的模型),視野中無標記點時需固定或插值。
5. 陰影。 shadow_offset 根據燈光幾何和演員到牆壁的間距計算演員陰影在背景上的位置。參見 references/shadows-and-grain.md。
6. 顆粒。 從平坦的螢幕區域測量顆粒(measure_grain);套用到 CG 上使其看起來不是貼上去的。以最終解析度進行測量。
7. 合成。 先在單一畫格上執行合成(composite_frame)。檢查牆壁大小與演員的比例、陰影方向、邊緣、黑階,然後放大規模。將長時渲染作業分成區塊進行,並驗證畫格計數。
8. 交付。 當追蹤在某一時段內不可信任時,提供藝術家分層的 Pass 和誠實的逐幀品質標誌,而非偽裝完成的合成。
工具對照表
| 需求 | MCP 工具 | 命令列工具 | 附加元件 |
|---|---|---|---|
| 從攝影機檔案取得鏡頭/曝光 | read_camera_metadata | metadata | Plate panel |
| 將輸出對齊攝影機檔案 | align_clip | align | |
| 主體距離 | solve_camera_distance | distance | Subject + camera |
| 攝影機姿態、渲染大小 | plan_camera, build_shot_scene | Create shot camera | |
| 燈光裝置 | plan_lights | Lights | |
| 實用燈光開關畫格 | practical_states | Blink | |
| CG 狀態渲染 | render_states | Render CG | |
| 遮罩 + 去溢色 | key_frame | key | Plate tools |
| 標記點追蹤 | track_markers | track | Plate tools |
| 陰影偏移 | shadow_offset | shadow-offset | |
| 顆粒 | measure_grain | grain | Plate tools |
| 單幀合成 | composite_frame | comp |
工具錯誤會以 {"error": "..."} 形式回傳,附帶原因;修正輸入後重試。
Blender 以無頭作業模式執行。切勿嘗試打開 socket 在正在執行的 Blender 視窗內執行程式碼。
參考文件(在對應階段閱讀)
references/failure-modes.md- 什麼出錯、原因及修正。先略讀。references/scale-and-distance.md- 攝影機距離錯誤及其預防規則。references/lighting.md- 尋找真實主光、建立並校準燈光裝置。references/compositing.md- 遮罩、四種溢色、基座調整、柔化、光暈、檢查點。references/camera-metadata.md- 攝影機檔案告訴你什麼,以及如何將輸出對齊它們。references/review.md- 如何在不自欺的情況下使用評論代理。references/keying.md- 遮罩、去溢色、邊緣處理,以及真實影片教會我們的事。references/tracking.md- 標記點追蹤、穩定化、間隙處理。references/shadows-and-grain.md- 陰影幾何、顆粒測量與匹配。references/blender-notes.md- Blender 4.2-5.x 無頭工作的腳本筆記。