generate-footage
該插件另一個進入點。video-use 用於編輯您「已有」的素材。此技能
用於建立您「尚未擁有」的影片:旁白加上靜態關鍵幀,
由 HyperFrames 組合並動畫化,以確定性方式渲染。
管線(已於生產環境驗證;為何運動步驟是確定性的,請參閱 docs/rca/):
腳本(含 v3 音效標籤)
→ eleven_v3 旁白 (scripts/tts_v3.py)
→ 轉錄 (npx hyperframes transcribe narration.mp3)
→ 將場景時間窗鎖定在句子邊界(逐字時間戳)
→ 來自任何地方的靜態圖 (每個場景一個關鍵幀 — 請參閱下方)
→ animate-stills 合成 (recipes/04-animate-stills.md, build_scenes.py)
→ lint → 渲染 → 運動 + 音訊品質檢查 (scripts/motion_check.py, contact sheet)
順序很重要:語音優先,視覺素材其次
在建立任何合成或收集關鍵幀之前,先產生旁白並進行轉錄。 口語句子的邊界即為場景時間窗。v3 朗讀在節奏上是非確定性的 — 預估 120 秒的片段可能實際為 100 秒或 166 秒 — 因此若先建好視覺素材, 總是需要重新調整時間。
旁白 — ElevenLabs v3 搭配音效標籤
scripts/tts_v3.py — 僅使用標準函式庫,無需 pip 依賴。
從 $ELEVENLABS_API_KEY 或插件的 skills/video-use/.env 中取得金鑰。
python3 scripts/tts_v3.py --probe # 驗證 eleven_v3 並列出可用語音
python3 scripts/tts_v3.py --voice <id> --stability 0.0 --script SCRIPT.md --out narration.mp3
- 音效標籤放置於腳本文字中:
[excited]、[whispers]、[softly]、[dramatic tone]、[warmly]。v3 會表現這些標籤;v2 則忽略。 - 穩定性:
0.0= 創意(最高表現力)、0.5= 自然、1.0= 穩定。若朗讀聲音平淡,可透過降低穩定性並重新為腳本添加標籤來修正, 而非提高特定字詞的音量。 - 傳達槓桿:對重點字使用全大寫、
...表示戲劇性停頓、對比 (在重要台詞前突然轉為[whispers])。 - 在確定使用前,先試聽 2-3 種語音朗讀第一句話。第一個語音 從來都不是最終選擇。
- v3 可能會稍微改寫內容。請轉錄並「閱讀」結果;若關鍵台詞 有偏差,請重新生成。
來自任何地方的靜態圖
關鍵幀就是一個 PNG。管線不關心它的來源。
每個場景一個靜態圖,命名為 kf-NN.png,並列在場景清單中
(recipes/04-animate-stills.md 說明了結構)。可行的來源包括:
- AI 圖像工具 — 您已有的任何文字轉圖像工具(Gemini、 GPT 圖像、Midjourney、本地 SD 或託管 actor — 請參閱結尾的選擇性章節)。 根據每個場景的提示詞加上一個統一的風格後綴來生成。
- 螢幕截圖與照片 — 產品 UI 擷取、存檔素材、掃描檔、 真實攝影作品。Ken Burns 效果正是為此而發明。
- HyperFrames 渲染的 HTML — 建立一個有樣式的 HTML 框架並擷取畫面; 引擎可自行產生靜態圖。
無論來源為何,均適用的製作規則:
- 鎖定一種風格於 DESIGN.md 中,並將其應用於每個幀。 一旦加入動態與調色,幀之間的風格偏移會呈現為不同的鏡頭。
- **驗證檔案類型。**有些工具會提供副檔名為 .png 的 JPEG;
在合成前請檢查魔術位元(
file kf-01.png)。 - 對每個幀進行品質檢查(檢視圖像)。任何一個偏離風格的幀都應重新生成, 而非保留。檢查項目:文字偽影、浮水印、時代錯置、特寫臉部 (易有飄移風險)、錯誤的調色板。
- 對於公開發布的內容,生成的幀中不得包含具名智慧財產權、 真實人物的肖像。
動畫 — 確定性、在儲存庫內
靜態圖透過 animate-stills 配方
(recipes/04-animate-stills.md)轉變為動態:這是一個由清單驅動的
HyperFrames 合成,對每個靜態圖應用鏡頭語言(推進、漂移、靜止)
以及 GSAP 氛圍效果(霧、雨、光線變化、暗角),場景時間窗
鎖定於轉錄稿。scripts/build_scenes.py 從清單產生場景圖層;
scripts/motion_check.py 透過渲染輸出中的像素差異來證明真實的運動。
每次運行渲染結果完全相同,無需成本,可離線運作。
需要 Node >= 22 以執行 HyperFrames CLI。
字幕與組合
- 字幕內嵌(適用於 Reddit/X 上的靜音自動播放),以片語為單位, 時間來自轉錄稿的字詞。
- 故事轉折處使用白色閃爍(0.28 秒);其他處使用柔和淡出; 暗角調色統一來自不同來源的靜態圖,並使字幕易於閱讀。
- 在渲染輸出中驗證運動:取同一場景內相距 4 秒的兩個幀進行像素差異比較
(
scripts/motion_check.py— 平均灰階差異 > 3 表示真實運動)。 - 音訊品質檢查:
ffmpeg -af volumedetect— 紀錄片語音的平均音量 約在 -26 dB。
可選:託管生成工具
這些「並非」依賴項目。它們只是取得靜態圖或片段的多種方式之一, 並且可能隨時無預警消失 — 請做好相應規劃。
- Apify 的文字轉圖像 actor(例如
akash9078/ai-image-generator, 約 $0.01/張)在批次生成關鍵幀時表現良好。請留意靜默失敗 (ok:true但 URL 為 null)以及錯誤標示的檔案類型。 - 託管的圖像轉影片 actor 是此管線先前保留其運動步驟的地方。
在 2026-06-11,actor
danitn11/wan22-lightning-image-to-video(僅 2 個使用者)在上游生產環境中突然失效,每次運行都立即失敗; 完整分析請參閱docs/rca/rca-generate-footage-animation-2026-06-11.md。 生成式圖像轉影片現已移至另一個獨立的伴隨儲存庫,使用可插拔的 BYO-key 後端;此插件的運動步驟是確定性的且在本機執行。