Viral Animated Shorts 生產管線
直接在 Gemini 媒體堆疊與 FFmpeg 上原生製作 9:16 動畫短片(2D 火柴人 3D 風格或風格化 3D),無需付費第三方包裝器或 Blender。
前置條件檢查
在執行即時影片生成或組裝前,請驗證本機相依性(請使用 --version 測試,而非僅用 which,因為 macOS 上的 /usr/bin/python3 可能是未安裝 Xcode CLT 的 stub):
- 影片/音訊 API:
gemini-api whoami(首選)或 Pythongoogle-genaiSDK,並設定GEMINI_API_KEY(請參閱gemini-omni-flash-api與gemini-api-cli技能)。 - 角色轉面圖:
gemini-api image(gemini-nano-banana-2.1)或內建的image-generator子代理。 - 組裝與幀取樣:
ffmpeg -version、ffprobe -version與python3 --version(用於字幕轉換)。
若缺少 gemini-api 或 ffmpeg,請即時完成第 1-2 階段(使用 image-generator 製作轉面圖),產生 jobs.json 與 .ass 字幕,並為其餘需即時渲染/組裝的步驟回報確切的安裝指令。
六階段工作流程
將所有專案成品儲存在專用的 <project_dir>/ 目錄下(例如 shorts/<slug>/):
shot_plan.json、sheets/、drafts_360p/、qa/、finals_1080p/、audio/、final_short.mp4。
第一階段:腳本、風格聖經與鉤子門檻
- 撰寫緊湊的腳本:喜劇短劇 30-45 秒(2-4 個場景),解說型 130-150 字(45-55 秒)。無開場白或問候。
- 編譯
<project_dir>/shot_plan.json,需符合references/shot_plan_schema.json:- 鎖定一個逐字不變的
style_bible字串,跨每個場景提示重複使用。 - 定義每個角色時,其基本設計中不得有手持道具。
- 將場景分解為 3-15 秒的 Omni 片段,標註
[0-3s]節奏時間碼,平均鏡頭長度為 1.5-2.5 秒。 - 設定
audio_mode為native_omni(喜劇對話/音效)或tts_plus_bgm(解說旁白)。 - 撰寫最後一句台詞,使其在語法上能循環接回第一個節拍。
- 鎖定一個逐字不變的
- 鉤子門檻(渲染前必要): 根據
references/qa_rubric.md(鉤子門檻章節)驗證第一個節拍(0-3s)。在第一個畫面具有視覺對比、即時動態與開放式言論前提之前,不得生成影片。
第二階段:不可變的三視圖轉面圖
- 根據
references/sheet_prompt_templates.md中的範本,為每個角色建立一張 16:9 的三視圖轉面圖(正面 | 3/4 側面 | 背面)。- 強制使用中性淺灰色背景、平坦均勻光照、中性表情,且不得持有道具(道具會導致不同鏡頭間的手部變形)。
- 透過
gemini-api image "<提示詞>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<角色>_2d.png生成(或委派給image-generator,然後將輸出的.jpg/.png複製/轉換到<project_dir>/sheets/)。 - 使用
read_file目視檢查每張轉面圖。若各面板的比例、服裝或線條粗細不一致,則重新生成。 - 使用
gemini-api時,將核准的轉面圖上傳一次(gemini-api files upload <轉面圖> --wait),以便在所有場景中重複使用files/<id>URI。
第三階段:低成本 360p 草稿測試
- 使用
gemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p)透過gemini-api video或generate_video.py --batch jobs_360p.json生成9:16的360p草稿。jobs_360p.json中的每個項目使用:{"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"} - 將不可變的轉面圖(
-i/--image,最多 6 張影像)傳入每個鏡頭,並依照上傳順序以自然語言繫結每個角色(切勿使用<IMAGE_REF_N>標籤)。 - 包含逐字不變的
style_bible、明確的負面限制(無螢幕文字、無浮水印、空白標誌)以及單一鏡頭或時間碼節拍。 - 對於雙角色鏡頭,請以空間分隔角色(左/右)或使用正反拍,以防止屬性混淆。
- 對於直接連續剪輯,請提取場景 N 的最後一個乾淨幀作為次要錨點,同時保留標準轉面圖作為主要錨點。
第四階段:情境感知鑑識級 VLM 品質檢驗(最多 2-3 次重試)
- 從每個草稿片段中取樣幀(
開始、中間、動作峰值、結束),加上前一個鏡頭的結束幀:bash scripts/extract_qa_frames.sh <片段.mp4> <project_dir>/qa/<鏡頭編號> [前一個片段.mp4] - 使用
gemini-api analyze(或透過read_file進行目視檢查)搭配references/qa_rubric.md,傳入轉面圖、前一個結束幀以及取樣幀。 - 依據確切的幀索引與失敗碼(
HOOK_WEAK、EXTRA_LIMB、STYLE_DRIFT、TEXT_WARP、AUDIO_DESYNC)診斷失敗原因。 - 根據
references/failure_fix_playbook.md套用對應的修復方法:- 小型局部異常:透過
--previous-interaction-id <id>就地編輯("<修復描述>。保持其他所有內容不變。")。 - 重大結構/構圖錯誤:簡化動作/鏡頭後重新生成。
- 每個鏡頭最多重試 3 次。將任何新發現的修復方法記錄在
references/failure_fix_playbook.md中。
- 小型局部異常:透過
第五階段:1080p 最終渲染與選擇性 2D 轉 3D 升級
- 以
1080p解析度重新渲染已核准的鏡頭(--resolution 1080p)。 - 選擇性 2D 轉 3D 升級: 使用
references/sheet_prompt_templates.md中的 3D 轉換範本,搭配-i <角色>_2d.png,將每個已核准的 2D 轉面圖轉換為風格化 3D 轉面圖。透過read_file檢查,將style_bible更新為風格化 3D 描述,並重新執行已驗證的shot_plan.json。
第六階段:確定性 FFmpeg 組裝
- 生成逐字時間碼
.srt檔案(gemini-api transcribe -i <音訊或片段> --format srt)或從腳本時間排程匯出。 - 將
.srt轉換為安全區域.ass卡拉 OK 字幕(定位在 Shorts UI 危險區域(底部 35%)之上):python3 scripts/srt_to_ass.py <輸入.srt> <project_dir>/audio/captions.ass - 執行檢測 -> 規格化 -> 串聯 -> 音量調整 -> 燒錄字幕 -> 2-pass
-14 LUFS組裝腳本:bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [旁白.wav] [背景音樂.wav] - 在交付前,驗證
final_short.mp4的尺寸(1080x1920)、時長、音訊音量(-14 LUFS)以及視覺幀檢查。