AI 影片短片 — 含旁白關鍵影格與影像轉影片
取代 three.js 渲染器,改採生成式管線。保留了 ../SKILL.md 的嚴謹度:事實優先、單一字詞時間作為唯一時鐘、鎖定單一風格、以測量取代形容詞,以及每個階段都必須通過的閘門檢查才能進行下一步耗費資源的步驟。
已驗證的標竿:~/Videos/ramayana-part1/part1-startframe.jpg (關鍵影格) 和 ramayana-part1-v1.mp4 (影片片段)。高級 2D 印度神話漫畫書插畫風格,粗黑墨線,暖金色調,解析度 720x1280。
詳細內容位於:
PLAN.md— 階段、閘門、風險、尚未決定的決策PIPELINE.md— 階段合約、確切指令、狀態機SHOT-PLANNING.md— 時間到鏡頭的演算法STYLE-LOCK.md— 鎖定的風格區塊、角色表、色彩目標PROMPTS.md— 提示詞代數、動作類別、審核階梯AUDIO.md— 生成式拉格配樂 + 合成音效、音量、閃避處理QA.md— 閘門檢查、閾值、缺陷分類../references/mythic/— 已測量的風格標竿:起始影格、工作片段、通過的提示詞、色彩數值../templates/mythic/— 一次性氛圍生成器與動態生命傳遞tools/CONTRACTS.md— 此工作流程假定的十三個 CLI 工具missions/garuda-jatayu.md— 試點專案:逐字腳本、演員、視覺規則、驗收標準
硬性規則
- 旁白即時鐘。 每個剪輯都源自真實的字詞時間戳記。在
timeline.json存在之前,不得發明任何鏡頭邊界。 - 逐字腳本。
<project>/script-tagged.txt必須與使用者的腳本位元組完全一致。script-spoken.txt僅透過移除[...]標籤來區別。在 G0 閘門中會執行雜湊檢查。 - 每個鏡頭兩個提示詞,絕不只用一個。
keyframePrompt描述一個靜止畫面。videoPrompt描述從該靜止畫面開始的 5 秒鐘動態。將關鍵影格提示詞重複用作影片提示詞是最常見的品質缺陷(會產出毫無生機、畫面飄移的片段)。 - 鎖定單一風格。 風格區塊與角色表是
style-lock.json中的常數。提示詞是從中組合而成,而非隨意手寫。 - 切勿將片段拉伸超過 1.12 倍。 如果一個節拍需要更多時間,請規劃另一個鏡頭或進行延長(+4 秒)。拉伸是首次運行中最大的妥協。
- 未經審查的影格不得進入影片階段。 關鍵影格必須先通過連接觸片審查和文字偽影檢查。影片生成是成本最高的階段。
- 設計上可接續。 每個階段都會將
state/<stage>.json連同輸入雜湊一起寫入。重新執行是冪等的。如果在 28 個鏡頭中的第 6 個鏡頭失敗,必須能從第 6 個鏡頭重新開始。 - 立即下載生成的媒體。 vibes CDN 的網址會過期。
- 音樂和音效是生成的,而非授權使用的。 使用本機拉格引擎產生配樂,本機合成器產生效果音,可選配配額限制的 ElevenLabs 英雄台詞。音量標準:語音 -16,音樂 -24(閃避時 -3),音效 -18。字幕保持關閉。
- 回報妥協,絕不隱瞞。 所有被豁免的閘門都必須記錄在最終報告和
README.md中。
管線
script-tagged.txt
│ S0 解析 + 雜湊 + 節拍圖
▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
│ S2 時間軸 + 暫停規劃
▼
timeline.json
│ S3 鏡頭規劃
▼
shots.json
┌────────────────┴────────────────┐
S4 提示詞組合 S5 關鍵影格 (Gemini)
▼ ▼
prompts/*.json keyframes/*.jpg
│ S6 影片片段 (vibes.ai)
▼
clips/*.mp4
│
timeline.json + shots.json ──► S7 音訊 ───┤
提示 -> 音樂 + 音效 -> 混音 │ S8 組裝 (ffmpeg)
▼
final.mp4 + QA
並行性:S1 區段限制為 3 個並行(服務限制)。S5 為 4 個。S6 為 3 個。一旦 script.json 存在,S1/S2 和 S4 可以重疊。S7 只需要 timeline.json + shots.json,因此音樂和音效可以在 S6 仍在運行時渲染;只有最終混音和 S8 需要等待最後一個片段。
階段指令
名稱是 tools/CONTRACTS.md 中的合約;如下所示實施或呼叫它們。
PROJ=~/Videos/garuda-jatayu
# S0 — 解析腳本,保留雜湊,建立節拍圖
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"
# S1 — 按區段合成語音 (eleven_v4 + 內聯音訊標籤)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
--url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
--model eleven_v4 --tags inline --concurrency 3
# S2 — 測量音訊,插入規劃的暫停,建立主時鐘
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
-o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"
# S3 — 從字詞邊界推導鏡頭(絕非憑猜測)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/shots.json"
# S4 — 為每個鏡頭組合兩個提示詞
python tools/compose_prompts.py "$PROJ/shots.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/prompts"
# S5 — 關鍵影格,以角色表和位置背景為條件
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
--sheet "$PROJ/style/character-sheet.png" --concurrency 4
# S6 — 影片片段,3 個並行,可接續,內建審核階梯
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
--out "$PROJ/clips" --concurrency 3
# S7 — 音訊:提示表、配樂、音效、混音
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
--music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"
# S8 — EDL、交叉淡入淡出/剪輯圖、與混音一起多元複用
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
--clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"
# 閘門檢查
python tools/qa.py "$PROJ" --gate all
閘門 (沒有通過閘門,就不得進行下一步耗費資源的階段)
| 閘門 | 檢查項目 | 阻擋的階段 |
|---|---|---|
| G0 腳本 | 逐字雜湊驗證,每個句子都有節拍 + 演員 + 地點 | S1 |
| G1 時間 | 字詞單調性、覆蓋率、連接持續時間 == 時間軸結束時間 ±100 毫秒 | S3 |
| G2 分鏡 | 每個子句都已涵蓋,持續時間在 [4.0, 5.6] 秒內,剪輯點在字詞結尾 | S5 |
| G3 關鍵影格 | 720x1280、角色表一致、無文字偽影、人物數量正確 | S6 |
| G4 片段 | 720x1280/24 fps/125 f、範圍內偏移、有動態呈現 | S7 |
| G5 組裝 | 持續時間 ±0.3 秒、交叉淡入淡出偏移正確、無黑屏/靜止接合 | 交付 |
| G6 最終 | 720x1280、24 fps、包含 AAC、-16 LUFS ±1、響度真實峰值 <= -1.0 dBTP | 交付 |
| G6b 音訊 | 語音-背景邊際 >= 6 LU (在有語音的視窗中)、閃避 2.5-3.5 dB、提示邊緣乾淨、分軌混合後等於最終混音 | 交付 |
G3 和 G4 的視覺部分需要每批次進行一次視覺審查。其他所有項目都是機器可檢查的。
失敗應對手冊
| 症狀 | 原因 | 修正方法 |
|---|---|---|
| TTS 503 / solver 離線 | decaptcha 通道故障 | curl 127.0.0.1:8000/health,重啟該通道,然後重試 |
提交時出現 CONTENT_POLICY | 審核詞彙 | 相同提示詞送兩次,然後中和詞彙(參見 PROMPTS.md),再縮短提示詞 |
| 片段偏移 / 人物站起 | 缺少姿勢鎖定句子 | 加入「保持他們在第一影格中的姿勢和位置」 |
| 片段是靜止影像 | 動態段落缺失或太弱 | 加入一個明確的攝影機段落 + 一個次要動態段落 |
| 每個影格的人物都不同 | 未提供參考條件 | 透過 files=[...] 傳遞角色表 |
| Gemini 401 | Cookie 過期 | 從 Helium CDP 重新提取 __Secure-1PSID + __Secure-1PSIDTS |
| vibes 401 | 快取 session 過期 | 刪除 ~/.vibes-session.json,讓 autoSession() 重新登入 |
| 輸出尺寸錯誤 | 起始影格不是 720x1280 | 使用 ImageOps.fit 重建影格 |
| 剪輯點落在節拍外 | 鏡頭時間是憑空發明的 | 從 timeline.json 重新執行 S3 |
| 運行在中途批次中死亡 | 無狀態記錄 | 預期行為:重新執行相同指令,它會自動接續 |
SFX 預覽返回 quota_exceeded | 匿名 ElevenLabs 預覽配額已用完 (~2 個請求) | 預期行為:本機合成器始終渲染所有提示;僅在配額充足時才凍結英雄台詞 |
交付物
<project>/
final.mp4 720x1280, 24 fps, H.264/AAC, -16 LUFS
README.md 管線 + 確切指令 + 妥協事項
script-tagged.txt 逐字輸入腳本
script-spoken.txt 僅口語文字
script.json 解析後的區段、節拍、演員、地點
timing.json 每區段的字詞
timeline.json 主時鐘 (包含暫停)
shots.json 鏡頭規劃 (EDL)
style-lock.json 風格區塊 + 角色表 + 背景
style/ character-sheet.png, plates/*.png
prompts/ <shot>.keyframe.txt, <shot>.video.txt
keyframes/ <shot>.jpg + manifest.json
clips/ <shot>.mp4 + <shot>.generation.json
score/ cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
state/ <stage>.json
qa/ 閘門報告、連接觸片
開始新影片前請參閱 PLAN.md:它記錄了已確定的決策 (語音、情感標籤、鏡頭節奏、音效、字幕) 以及執行這些決策的階段。