Communitygithub.com

viral-animated-shorts

端到端製作爆紅2D火柴人3D風格與3D動畫短片(9:16,30-55秒)的生產管線,採用 Gemini Omni 1.2 Flash、三視圖角色轉面圖、鑑識級多幀 VLM 品質檢驗與確定性 FFmpeg 組裝。

viral-animated-shorts 是什麼?

這是一個專為 AI 開發者與創作者設計的完整動畫短片生產管線,能夠產出適用於 YouTube Shorts、Reels 或 TikTok 的 9:16 規格短片(30-55 秒)。核心技術棧包括 Gemini Omni 1.2 Flash 進行影片生成、Gemini API 圖像生成功能製作三視圖角色轉面圖,以及 FFmpeg 進行無損組裝,完全不需要付費第三方工具或 Blender。管線分為六個明確階段:腳本與風格聖經、不可變的角色轉面圖、低解析度草稿測試、鑑識級 VLM 品質檢驗(限制重試次數)、最終 1080p 渲染(支援 2D 轉 3D 升級),以及確定性 FFmpeg 組裝(包含字幕與音訊規範)。特別強調鉤子門檻(Hook Gate)機制,確保每一部短片的前三秒具有視覺對比與即時動態,並透過結構化故障碼及修復手冊來控制品質。支援 macOS 與 Linux 環境,依賴 ffmpeg、Python 及 Gemini API CLI。

相容平台~Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/nikeshthapa255/Video-creator-skills/tree/HEAD/viral-animated-shorts

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

Viral Animated Shorts 生產管線

直接在 Gemini 媒體堆疊與 FFmpeg 上原生製作 9:16 動畫短片(2D 火柴人 3D 風格或風格化 3D),無需付費第三方包裝器或 Blender。

前置條件檢查

在執行即時影片生成或組裝前,請驗證本機相依性(請使用 --version 測試,而非僅用 which,因為 macOS 上的 /usr/bin/python3 可能是未安裝 Xcode CLT 的 stub):

  • 影片/音訊 API: gemini-api whoami(首選)或 Python google-genai SDK,並設定 GEMINI_API_KEY(請參閱 gemini-omni-flash-api 與 gemini-api-cli 技能)。
  • 角色轉面圖: gemini-api image(gemini-nano-banana-2.1)或內建的 image-generator 子代理。
  • 組裝與幀取樣: ffmpeg -version、ffprobe -version 與 python3 --version(用於字幕轉換)。

若缺少 gemini-api 或 ffmpeg,請即時完成第 1-2 階段(使用 image-generator 製作轉面圖),產生 jobs.json 與 .ass 字幕,並為其餘需即時渲染/組裝的步驟回報確切的安裝指令。

六階段工作流程

將所有專案成品儲存在專用的 <project_dir>/ 目錄下(例如 shorts/<slug>/): shot_plan.json、sheets/、drafts_360p/、qa/、finals_1080p/、audio/、final_short.mp4。

第一階段:腳本、風格聖經與鉤子門檻

  1. 撰寫緊湊的腳本:喜劇短劇 30-45 秒(2-4 個場景),解說型 130-150 字(45-55 秒)。無開場白或問候。
  2. 編譯 <project_dir>/shot_plan.json,需符合 references/shot_plan_schema.json:
    • 鎖定一個逐字不變的 style_bible 字串,跨每個場景提示重複使用。
    • 定義每個角色時,其基本設計中不得有手持道具。
    • 將場景分解為 3-15 秒的 Omni 片段,標註 [0-3s] 節奏時間碼,平均鏡頭長度為 1.5-2.5 秒。
    • 設定 audio_mode 為 native_omni(喜劇對話/音效)或 tts_plus_bgm(解說旁白)。
    • 撰寫最後一句台詞,使其在語法上能循環接回第一個節拍。
  3. 鉤子門檻(渲染前必要): 根據 references/qa_rubric.md(鉤子門檻章節)驗證第一個節拍(0-3s)。在第一個畫面具有視覺對比、即時動態與開放式言論前提之前,不得生成影片。

第二階段:不可變的三視圖轉面圖

  1. 根據 references/sheet_prompt_templates.md 中的範本,為每個角色建立一張 16:9 的三視圖轉面圖(正面 | 3/4 側面 | 背面)。
    • 強制使用中性淺灰色背景、平坦均勻光照、中性表情,且不得持有道具(道具會導致不同鏡頭間的手部變形)。
  2. 透過 gemini-api image "<提示詞>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<角色>_2d.png 生成(或委派給 image-generator,然後將輸出的 .jpg/.png 複製/轉換到 <project_dir>/sheets/)。
  3. 使用 read_file 目視檢查每張轉面圖。若各面板的比例、服裝或線條粗細不一致,則重新生成。
  4. 使用 gemini-api 時,將核准的轉面圖上傳一次(gemini-api files upload <轉面圖> --wait),以便在所有場景中重複使用 files/<id> URI。

第三階段:低成本 360p 草稿測試

  1. 使用 gemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p)透過 gemini-api video 或 generate_video.py --batch jobs_360p.json 生成 9:16 的 360p 草稿。jobs_360p.json 中的每個項目使用:
    {"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"}
    
  2. 將不可變的轉面圖(-i / --image,最多 6 張影像)傳入每個鏡頭,並依照上傳順序以自然語言繫結每個角色(切勿使用 <IMAGE_REF_N> 標籤)。
  3. 包含逐字不變的 style_bible、明確的負面限制(無螢幕文字、無浮水印、空白標誌)以及單一鏡頭或時間碼節拍。
  4. 對於雙角色鏡頭,請以空間分隔角色(左/右)或使用正反拍,以防止屬性混淆。
  5. 對於直接連續剪輯,請提取場景 N 的最後一個乾淨幀作為次要錨點,同時保留標準轉面圖作為主要錨點。

第四階段:情境感知鑑識級 VLM 品質檢驗(最多 2-3 次重試)

  1. 從每個草稿片段中取樣幀(開始、中間、動作峰值、結束),加上前一個鏡頭的結束幀:
    bash scripts/extract_qa_frames.sh <片段.mp4> <project_dir>/qa/<鏡頭編號> [前一個片段.mp4]
    
  2. 使用 gemini-api analyze(或透過 read_file 進行目視檢查)搭配 references/qa_rubric.md,傳入轉面圖、前一個結束幀以及取樣幀。
  3. 依據確切的幀索引與失敗碼(HOOK_WEAK、EXTRA_LIMB、STYLE_DRIFT、TEXT_WARP、AUDIO_DESYNC)診斷失敗原因。
  4. 根據 references/failure_fix_playbook.md 套用對應的修復方法:
    • 小型局部異常:透過 --previous-interaction-id <id> 就地編輯("<修復描述>。保持其他所有內容不變。")。
    • 重大結構/構圖錯誤:簡化動作/鏡頭後重新生成。
    • 每個鏡頭最多重試 3 次。將任何新發現的修復方法記錄在 references/failure_fix_playbook.md 中。

第五階段:1080p 最終渲染與選擇性 2D 轉 3D 升級

  1. 以 1080p 解析度重新渲染已核准的鏡頭(--resolution 1080p)。
  2. 選擇性 2D 轉 3D 升級: 使用 references/sheet_prompt_templates.md 中的 3D 轉換範本,搭配 -i <角色>_2d.png,將每個已核准的 2D 轉面圖轉換為風格化 3D 轉面圖。透過 read_file 檢查,將 style_bible 更新為風格化 3D 描述,並重新執行已驗證的 shot_plan.json。

第六階段:確定性 FFmpeg 組裝

  1. 生成逐字時間碼 .srt 檔案(gemini-api transcribe -i <音訊或片段> --format srt)或從腳本時間排程匯出。
  2. 將 .srt 轉換為安全區域 .ass 卡拉 OK 字幕(定位在 Shorts UI 危險區域(底部 35%)之上):
    python3 scripts/srt_to_ass.py <輸入.srt> <project_dir>/audio/captions.ass
    
  3. 執行檢測 -> 規格化 -> 串聯 -> 音量調整 -> 燒錄字幕 -> 2-pass -14 LUFS 組裝腳本:
    bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [旁白.wav] [背景音樂.wav]
    
  4. 在交付前,驗證 final_short.mp4 的尺寸(1080x1920)、時長、音訊音量(-14 LUFS)以及視覺幀檢查。

相關技能