Communitygithub.com

AI 影片短片製作

指導 AI 代理如何規劃、建構或剪輯「AI 影片短片」,以產出完成的影片剪輯為目標。流程涵蓋 AI 影片短片——含旁白關鍵影格與影像轉影片、嚴謹規則、流程管線。當新任務需要此技術時使用。

AI 影片短片製作 是什麼?

此技能為 AI 代理提供了一套完整、嚴謹的流程,用以製作高品質的「AI 影片短片」,特別專注於旁白驅動的關鍵影格與影像轉影片技術。它建立了一套規則導向的管線,取代了傳統的三維渲染器,確保最終產出符合專業標準。其核心價值在於將敘事節奏(旁白時間戳)作為唯一的剪輯時鐘,所有鏡頭邊界皆由此衍生,而非憑空猜測。此技能支援多種平台與工具(如 ElevenLabs TTS、Gemini 影像生成、Vibes AI 影片生成、FFmpeg 影片組裝),並透過嚴格的閘門檢查(gate checks)確保每個階段的產出品質,降低失敗風險。代理將學習如何從腳本解析、語音合成、時間軸建立、鏡頭規劃、提示詞組合、關鍵影格與影片生成,到最終的音訊混合與影片組裝,逐步執行一個可恢復、可重複的管線,最終產出符合特定格式與響度標準的影片。

相容平台✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/akashdeep000/claude-animated-shorts/tree/HEAD/ai-video-short

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

AI 影片短片 — 含旁白關鍵影格與影像轉影片

取代 three.js 渲染器,改採生成式管線。保留了 ../SKILL.md 的嚴謹度:事實優先、單一字詞時間作為唯一時鐘、鎖定單一風格、以測量取代形容詞,以及每個階段都必須通過的閘門檢查才能進行下一步耗費資源的步驟。

已驗證的標竿:~/Videos/ramayana-part1/part1-startframe.jpg (關鍵影格) 和 ramayana-part1-v1.mp4 (影片片段)。高級 2D 印度神話漫畫書插畫風格,粗黑墨線,暖金色調,解析度 720x1280。

詳細內容位於:

  • PLAN.md — 階段、閘門、風險、尚未決定的決策
  • PIPELINE.md — 階段合約、確切指令、狀態機
  • SHOT-PLANNING.md — 時間到鏡頭的演算法
  • STYLE-LOCK.md — 鎖定的風格區塊、角色表、色彩目標
  • PROMPTS.md — 提示詞代數、動作類別、審核階梯
  • AUDIO.md — 生成式拉格配樂 + 合成音效、音量、閃避處理
  • QA.md — 閘門檢查、閾值、缺陷分類
  • ../references/mythic/ — 已測量的風格標竿:起始影格、工作片段、通過的提示詞、色彩數值
  • ../templates/mythic/ — 一次性氛圍生成器與動態生命傳遞
  • tools/CONTRACTS.md — 此工作流程假定的十三個 CLI 工具
  • missions/garuda-jatayu.md — 試點專案:逐字腳本、演員、視覺規則、驗收標準

硬性規則

  1. 旁白即時鐘。 每個剪輯都源自真實的字詞時間戳記。在 timeline.json 存在之前,不得發明任何鏡頭邊界。
  2. 逐字腳本。 <project>/script-tagged.txt 必須與使用者的腳本位元組完全一致。script-spoken.txt 僅透過移除 [...] 標籤來區別。在 G0 閘門中會執行雜湊檢查。
  3. 每個鏡頭兩個提示詞,絕不只用一個。 keyframePrompt 描述一個靜止畫面。videoPrompt 描述從該靜止畫面開始的 5 秒鐘動態。將關鍵影格提示詞重複用作影片提示詞是最常見的品質缺陷(會產出毫無生機、畫面飄移的片段)。
  4. 鎖定單一風格。 風格區塊與角色表是 style-lock.json 中的常數。提示詞是從中組合而成,而非隨意手寫。
  5. 切勿將片段拉伸超過 1.12 倍。 如果一個節拍需要更多時間,請規劃另一個鏡頭或進行延長(+4 秒)。拉伸是首次運行中最大的妥協。
  6. 未經審查的影格不得進入影片階段。 關鍵影格必須先通過連接觸片審查和文字偽影檢查。影片生成是成本最高的階段。
  7. 設計上可接續。 每個階段都會將 state/<stage>.json 連同輸入雜湊一起寫入。重新執行是冪等的。如果在 28 個鏡頭中的第 6 個鏡頭失敗,必須能從第 6 個鏡頭重新開始。
  8. 立即下載生成的媒體。 vibes CDN 的網址會過期。
  9. 音樂和音效是生成的,而非授權使用的。 使用本機拉格引擎產生配樂,本機合成器產生效果音,可選配配額限制的 ElevenLabs 英雄台詞。音量標準:語音 -16,音樂 -24(閃避時 -3),音效 -18。字幕保持關閉。
  10. 回報妥協,絕不隱瞞。 所有被豁免的閘門都必須記錄在最終報告和 README.md 中。

管線

script-tagged.txt
   │ S0 解析 + 雜湊 + 節拍圖
   ▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
                                        │ S2 時間軸 + 暫停規劃
                                        ▼
                                   timeline.json
                                        │ S3 鏡頭規劃
                                        ▼
                                    shots.json
                       ┌────────────────┴────────────────┐
                  S4 提示詞組合                  S5 關鍵影格 (Gemini)
                       ▼                                ▼
                  prompts/*.json                   keyframes/*.jpg
                                                        │ S6 影片片段 (vibes.ai)
                                                        ▼
                                                   clips/*.mp4
                                                        │
              timeline.json + shots.json ──► S7 音訊 ───┤
                   提示 -> 音樂 + 音效 -> 混音           │ S8 組裝 (ffmpeg)
                                                        ▼
                                                   final.mp4 + QA

並行性:S1 區段限制為 3 個並行(服務限制)。S5 為 4 個。S6 為 3 個。一旦 script.json 存在,S1/S2 和 S4 可以重疊。S7 只需要 timeline.json + shots.json,因此音樂和音效可以在 S6 仍在運行時渲染;只有最終混音和 S8 需要等待最後一個片段。

階段指令

名稱是 tools/CONTRACTS.md 中的合約;如下所示實施或呼叫它們。

PROJ=~/Videos/garuda-jatayu

# S0 — 解析腳本,保留雜湊,建立節拍圖
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"

# S1 — 按區段合成語音 (eleven_v4 + 內聯音訊標籤)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
  --url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
  --model eleven_v4 --tags inline --concurrency 3

# S2 — 測量音訊,插入規劃的暫停,建立主時鐘
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
  -o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"

# S3 — 從字詞邊界推導鏡頭(絕非憑猜測)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/shots.json"

# S4 — 為每個鏡頭組合兩個提示詞
python tools/compose_prompts.py "$PROJ/shots.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/prompts"

# S5 — 關鍵影格,以角色表和位置背景為條件
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
  --sheet "$PROJ/style/character-sheet.png" --concurrency 4

# S6 — 影片片段,3 個並行,可接續,內建審核階梯
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
  --out "$PROJ/clips" --concurrency 3

# S7 — 音訊:提示表、配樂、音效、混音
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
  --music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"

# S8 — EDL、交叉淡入淡出/剪輯圖、與混音一起多元複用
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
  --clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"

# 閘門檢查
python tools/qa.py "$PROJ" --gate all

閘門 (沒有通過閘門,就不得進行下一步耗費資源的階段)

閘門檢查項目阻擋的階段
G0 腳本逐字雜湊驗證,每個句子都有節拍 + 演員 + 地點S1
G1 時間字詞單調性、覆蓋率、連接持續時間 == 時間軸結束時間 ±100 毫秒S3
G2 分鏡每個子句都已涵蓋,持續時間在 [4.0, 5.6] 秒內,剪輯點在字詞結尾S5
G3 關鍵影格720x1280、角色表一致、無文字偽影、人物數量正確S6
G4 片段720x1280/24 fps/125 f、範圍內偏移、有動態呈現S7
G5 組裝持續時間 ±0.3 秒、交叉淡入淡出偏移正確、無黑屏/靜止接合交付
G6 最終720x1280、24 fps、包含 AAC、-16 LUFS ±1、響度真實峰值 <= -1.0 dBTP交付
G6b 音訊語音-背景邊際 >= 6 LU (在有語音的視窗中)、閃避 2.5-3.5 dB、提示邊緣乾淨、分軌混合後等於最終混音交付

G3 和 G4 的視覺部分需要每批次進行一次視覺審查。其他所有項目都是機器可檢查的。

失敗應對手冊

症狀原因修正方法
TTS 503 / solver 離線decaptcha 通道故障curl 127.0.0.1:8000/health,重啟該通道,然後重試
提交時出現 CONTENT_POLICY審核詞彙相同提示詞送兩次,然後中和詞彙(參見 PROMPTS.md),再縮短提示詞
片段偏移 / 人物站起缺少姿勢鎖定句子加入「保持他們在第一影格中的姿勢和位置」
片段是靜止影像動態段落缺失或太弱加入一個明確的攝影機段落 + 一個次要動態段落
每個影格的人物都不同未提供參考條件透過 files=[...] 傳遞角色表
Gemini 401Cookie 過期從 Helium CDP 重新提取 __Secure-1PSID + __Secure-1PSIDTS
vibes 401快取 session 過期刪除 ~/.vibes-session.json,讓 autoSession() 重新登入
輸出尺寸錯誤起始影格不是 720x1280使用 ImageOps.fit 重建影格
剪輯點落在節拍外鏡頭時間是憑空發明的從 timeline.json 重新執行 S3
運行在中途批次中死亡無狀態記錄預期行為:重新執行相同指令,它會自動接續
SFX 預覽返回 quota_exceeded匿名 ElevenLabs 預覽配額已用完 (~2 個請求)預期行為:本機合成器始終渲染所有提示;僅在配額充足時才凍結英雄台詞

交付物

<project>/
  final.mp4             720x1280, 24 fps, H.264/AAC, -16 LUFS
  README.md             管線 + 確切指令 + 妥協事項
  script-tagged.txt     逐字輸入腳本
  script-spoken.txt     僅口語文字
  script.json           解析後的區段、節拍、演員、地點
  timing.json           每區段的字詞
  timeline.json         主時鐘 (包含暫停)
  shots.json            鏡頭規劃 (EDL)
  style-lock.json       風格區塊 + 角色表 + 背景
  style/                character-sheet.png, plates/*.png
  prompts/              <shot>.keyframe.txt, <shot>.video.txt
  keyframes/            <shot>.jpg + manifest.json
  clips/                <shot>.mp4 + <shot>.generation.json
  score/                cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
  state/                <stage>.json
  qa/                   閘門報告、連接觸片

開始新影片前請參閱 PLAN.md:它記錄了已確定的決策 (語音、情感標籤、鏡頭節奏、音效、字幕) 以及執行這些決策的階段。

相關技能