自動故事生成動畫 是做什麼的?
給它一個語音檔案和一個腳本。它會完成整部影片:時間控制、佈局、渲染、剪輯、字幕、音效、混音和品管。無需手動分鏡、場景程式碼或編輯時間軸。
python scripts/run.py --project my-film --voice voice.mp3 --script script.md
這一個指令會執行完整的流程,並在 my-film/out/FILM.mp4、my-film/out/FILM.srt(與 captioned.mp4 一起)、credits.md、beats.json、plan.json、beats.md、out/qa/ 中的審查靜態圖以及所有中間檔案中產生輸出。
開始之前——先決條件檢查(自動)
每次執行都從 check_requirements.py 開始,在執行任何其他操作之前。如果所有可用工具都已安裝,則會立即繼續生產——無需設定。如果缺少某些東西,它會自動下載/安裝,然後繼續生產。
它會依序檢查:
- Python 3.8+
- Python 套件 — numpy, skia-python, Pillow, faster-whisper — 如果缺少,會自動透過 pip 安裝
- ffmpeg + ffprobe 在 PATH 中 — 如果缺少,會透過
winget(Windows)、brew(macOS)或apt-get(Linux)自動安裝 - cinematic-film 位於此技能旁(或設定
CINEMATIC_SCRIPTS=<path to its scripts>)
如果一切就緒:一行輸出 — requirements: ok — 並開始建置。如果 Python 套件無法安裝,腳本會印出確切的修復指令並退出,而不是開始一個註定失敗的建置。如果找不到 cinematic-film,也一樣——你會確切知道缺少什麼以及需要設定什麼。
它產生的效果(外觀)
兩種視覺語言每隔 3-10 秒嚴格交替,由導演為每個區塊決定:
- Board - 一張滿版的藍圖紙。文字以手繪粉筆字體顯示在深藍色網格上,帶有素描矩形標註框、搖擺筆觸、塗鴉程式碼視窗、勾選標記、分隔線和霓虹圖示(兩層發光 + 熾熱核心),這些都是在程式碼中繪製的。
- Photo - cinematic-film 中的夜間證據牆:帶有投影和圖釘的真實維基共享資源授權照片、排版紙本文檔、抖動的強調規則、發光的霓虹圖示,所有這些都在
credits.md中標註了出處。
字幕位於底部中央,並且與底部邊緣齊平(720p 時為 6 像素,依解析度縮放),大寫,使用九種種子糖果色之一,具有緩和入場(上升/彈出/滑入/傾斜/淡入/掃入/交錯)和出場(淡出/掉落/上升消失/縮小)效果、三通道綻放光暈、以及在口說單詞上的彩虹漸變掃描(霓虹管白色描邊)。字幕帶後的漸層可確保它們在任何畫面下都清晰可讀。文字與語音完全一致。
重新開始 vs. 繼續執行
- 新專案:提供語音和腳本;技能會建構所有內容。
python scripts/run.py --project my-film --voice voice.mp3 --script script.md - 繼續執行:在已經有
out/FILM.mp4(以及計畫/照片)的專案上重新執行,只會透過 QA 進行重新驗證——不會重新下載或重新渲染任何內容。加入--force則從頭開始重建。
輸入
--voice:任何 ffmpeg 可以讀取的音訊檔案 (mp3/wav/m4a...)。使用乾淨的單次錄製旁白可獲得最佳效果。它會按原樣使用,僅轉換為 48 kHz 立體聲 AAC。--script:.md/.txt/.srt/.json。Markdown 標題會變成螢幕上的章節開場;空白行和段落會被分割成句子,然後再分割成字幕區塊(<= 9 個單詞 / <= 64 個字元)。螢幕上的文字即為檔案中的文字,逐字顯示。當存在時,會採用帶有{"title": ..., "takes": [...]}的script.json。
選項
| 旗標 | 效果 |
|---|---|
--size 1920x1080 | 渲染尺寸(預設 1920x1080) |
--crf 16 | 品質(數值越低越好;16 為影片品質,26 為預覽品質) |
| `--photos auto | existing |
| `--music auto | none |
--model tiny.en | 用於對齊的 faster-whisper 模型大小(base.en/small.en 更準確) |
--preview | 僅以 640x360 渲染區塊 0-1,以便快速預覽 |
--skip-render | 僅重新規劃(不渲染) |
--workers WORKERS | 渲染 + 字幕工作執行緒數量(0 = 所有核心減一) |
--force | 即使已存在完成的 out/FILM.mp4 也強制重建 |
效能與安全性
- 生產快取 位於
E:\Storyteller catche files(可透過STORYTELLER_CACHE覆寫)。每個大型成品都會根據內容雜湊值進行快取,因此重新執行或調整後期階段只會重新處理有變更的部分:
| 資料夾 | 快取的內容 | 鍵 |
|---|---|---|
whisper/ | faster-whisper 單詞時間 | 語音檔案 + 模型 + 裝置 |
commons_search/ | Commons 搜尋結果集 | 查詢 + 限制 |
commons_files/ | 下載的 Commons 原始檔案 + 出處 sidecar | Commons 標題 |
blocks/ | 渲染的風格區塊 | 場景 + 節拍 + 區塊幾何 + 尺寸 + CRF |
silent/ | 拼接的無聲影片 | 區塊檔案 + CRF + fps |
captioned/ | 有字幕的影片 + SRT | 影片 + 時間 + 字幕程式碼 + CRF |
sfx/ | 合成的 SFX 匯流排 | 提示表 + build_sfx.py |
music/ | 循環的背景配樂 | 配樂檔案 + 影片長度 |
mix/ | 完成的音訊混合 | 語音 + 提示 + 音樂 + 音量 + LUFS |
檔案命名為 <label>-<hash12>.<ext> 並按類型排序(sort 列表會自然閱讀),附有一個僅附加的 index.jsonl 清單和根目錄下的 README.txt。快取未命中會自動重建;刪除快取總是安全的。對未變更階段的完整重新執行只需幾秒鐘(whisper/區塊/拼接/字幕/SFX/音訊混合全部命中)。
- 每個區塊分別渲染,然後使用幀精確的
concat濾鏡拼接區塊。在腳本編輯後重新執行,只會重新渲染計劃有變更的區塊(render_blocks.py會重複使用新的區塊檔案,再加上生產快取作為第二層)。 - 12 核心 / 足夠的 RAM:使用
--workers 6。一部 3 分鐘的 1080p 影片大約需要 15-30 分鐘。 - 永遠不要在使用者要求之前渲染最終影片:先使用
--preview或較小的--size,展示給使用者看,然後才以全尺寸生成FILM.mp4。 - Whisper tiny.en 在 CPU 上大約是 1 倍即時速度;如果長句的時間有偏移,請使用
--model base.en。
導演的決策
每個字幕行變成一個節拍。一個節拍會根據其單詞從下列佈局中獲得一個精準的選擇:
| 佈局 | 觸發條件 | 繪圖方式 |
|---|---|---|
title / end | 前 2 行 / 最後 2 行 | 霓虹圖示 + 大的粉筆標題(標題 = 該行內容單詞的標題大小寫) |
chain | first/second/then/process/pipeline | 3 個帶箭頭的素描框 |
split | before/after/versus/compared/instead | 在撕裂的分隔線兩側各有一個帶標籤的框架 |
window | code/script/terminal/agent/model/server | 手繪終端機視窗,帶有塗鴉行 + 突出顯示行 |
check | protect/patch/secure/prevent/never | 粉筆勾選標記沿著列表排列 |
stat | 任何數字 | 巨大的發光數字 |
quote | 其他所有內容 / 問句 | 粉筆引文 |
| photo variants | 每隔一個區塊 | station (照片 + 卡片)、doc (紙張文件 + 印章)、stat |
連續的行(1-4 行,最多約 9 秒,在句子結尾處切斷)會分組為區塊;區塊在整個影片中交替使用 board/photo。第一個和最後一個區塊始終是 board。
寫入的檔案
audio/narration.m4a 正規化的語音
audio/timing.json 每行開始/結束(引擎架構)
script.json 按說話順序的錄音,id 順序保留
beats.json 每行:開始/結束/佈局/開場/標題/要點/數字/圖示/墨水/照片/x
plan.json 區塊(風格、幀範圍、世界 x)、fps、持續時間
beats.md 整個計劃的人類可讀表格
sfx_cues.json 為 build_sfx.py 合成的音效
photos.json 帶有授權/出處/來源的 Commons 挑選結果
out/blocks/bNNN.mp4 每個風格區塊一個剪輯
out/silent.mp4 拼接的畫面
out/captioned.mp4 + 燒錄的霓虹字幕 (+ .srt)
out/FILM.mp4 最終,帶有混合音訊
out/qa/*.png 審查靜態圖
credits.md 圖片 + 音樂出處
品質檢查閘道(scripts/qa.py,由 run.py 自動執行)
在以下情況下建置失敗:幀數與 timing.total_duration * fps 不符、缺少/沒有音訊串流、響度超出 -15 +/- 1.5 LUFS、真實峰值 > -0.8 dBTP、字幕區塊不可見、或字幕基線高於底部邊緣超過畫面高度的 8.5%。
配套技能(生產如何實際完成)
此技能是教育/解說影片工作流程的專用編排器("像 AI 開發工具影片一樣的影片")。它驅動兩個配套技能來完成一個生產,就像之前的影片製作方式一樣——你永遠不會直接調用它們;run.py 和 qa.py 會處理。規則是絕對的:永遠不要編輯配套技能——或任何其他專案(例如 C:\remotion-build\dark-reality-explainer)——來讓這個技能運作;按照它們的出廠狀態來驅動它們。所有編排邏輯、快取、品質檢查和風格決策都位於此技能中。
1. cinematic-film — 世界、照片、聲音(必要,硬性依賴)
位於此技能旁(可透過 CINEMATIC_SCRIPTS=<path to its scripts dir> 覆寫)。由以下腳本調用:
| 腳本 | 由誰使用 | 為此影片做什麼 |
|---|---|---|
prep_assets.py | prep 階段 | 將 Commons 照片分級為黑白外觀(`--grade bw |
fetch_commons.py | fetch_photos.py | 下載授權的原始檔案 (get),填入檔案/出處/授權資訊,並寫入 credits.md (credits) |
render.py | render_blocks.py | 使用 --t0/--t1 渲染每個風格區塊;繪製 board/photo 世界、攝影機和每幀的每個項目 |
engine.py | storyboard.py、每個渲染 | 世界模型:Film、攝影機關鍵影格、Board、PaperDoc、StylePanel、樣條攝影機 |
captions.py | captions_burn.py | 用於計時熱區單詞的單詞時鐘 (words_with_times) |
build_sfx.py | audio_finish.py | 根據 sfx_cues.json 合成音效匯流排(無需樣本庫授權) |
mix_soundtrack.py | audio_finish.py | 語音 + 音效 + 配樂:-19 dB 音效,-18 dB 音樂,4:1 閃避,-15 LUFS / -1.5 dBTP 主輸出 |
參與規則:不要為了此技能而編輯它的腳本——行為變更應屬於 storyboard.py / render_blocks.py / 此處。它的 CLI 合約(--t0/--t1、fetch_commons get|credits、mix_soundtrack --lufs)是生產快取進行雜湊的依據;如果 cinematic-film 變更了某個,請更新此處的階段並刪除 E:\Storyteller catche files,以便沒有過時的快取命中存活。
2. remotion-studio — 瀏覽器預覽 / 操作(可選,僅供審查)
npx remotion studio(打開列印的 URL;或使用 --no-open 並自行打開 URL)。
誠實的範圍,以免浪費任何人的時間:Studio 僅預覽 Remotion 組成——在 Remotion 專案中註冊的 React 組件。它無法播放此技能完成的母版(out/FILM.mp4 是 skia/ffmpeg 渲染,不是 Remotion 專案;AI-attack 影片也不是)。當交付物也以 Remotion 專案形式存在,並且你想要獲得邊編輯邊預覽的體驗(或操作一個基於 Remotion 的變體)時使用它。為了審查此技能自己的輸出,請使用 out/FILM.mp4 / out/preview_captioned.mp4 以及 out/qa/ 中的靜態圖——Studio 沒有東西可以附加。
生產配方(三個技能如何像上次一樣完成一部影片)
- 語音 + 腳本 ->
run.py --preview(2 個區塊,640x360,約 2 分鐘)。檢查外觀、board/photo 節奏、字幕大小和底部齊平,以及qa.py是否顯示 PASS。 - 完整計劃 — 攝入(whisper 對齊) -> 導演(節拍、佈局、風格交替) -> Commons 照片(免費授權,出處在
credits.md) -> 準備(bw 分級) -> 場景 -> 提示。 - 渲染 — 每個區塊以 1080p 分別渲染;透過
E:\Storyteller catche files上的生產快取重複使用。 - 完成 — 拼接(concat 濾鏡) -> 底部齊平霓虹字幕 -> 音效
-19 dB/ 配樂-18 dB,閃避,-15 LUFS主輸出。 - 審查 — 播放
out/FILM.mp4;out/qa/包含靜態圖。如果需要 Remotion 封裝/審查步驟,使用remotion studio打開該 Remotion 專案並驗證它是否載入。 - 交付 —
FILM.mp4+FILM.srt+credits.md。上傳/匯出在此技能之外進行。
SRT / 生產的分發部分
qa PASS 之後:out/captioned.srt 與 out/captioned.mp4 放在一起(完成步驟可以將它複製到 FILM.mp4 旁邊)。對於社群變體(9:16 重新剪輯、平台匯出、縮圖暫存),請使用分發技能而不是在此技能中重新渲染——此技能僅生成 16:9 母版。
需求
請參閱上方的開始之前——先決條件檢查:Python 3.8+, numpy, skia-python, Pillow, faster-whisper, ffmpeg/ffprobe 在 PATH 中,以及位於此技能旁的 cinematic-film 技能(可透過 CINEMATIC_SCRIPTS 覆寫)。每次執行開始時都會自動執行檢查。
已知限制
- 對齊預設使用 whisper tiny.en;含糊的錄音可能會在長時間段中出現時間偏移。如果發生這種情況,請使用更準確的模型(
--model base.en或small.en)。 - 快取路徑目前硬編碼為
E:\Storyteller catche files;請使用環境變數STORYTELLER_CACHE將其指向一個更合適的位置(例如專案目錄),尤其是在多人協作環境中。 - 此技能僅生成橫向 (16:9) 的母版。如果需要直向或正方形的重新剪輯,則需要使用外部工具或一個專門的社群媒體分發技能來處理。
- 雖然引用了
remotion-studio,但它並非用於審查此技能的輸出。它的目的是在 Remotion 交付物與此技能所建立的基於 skia/ffmpeg 的影片同時存在時,提供一個替代的預覽工作流程。 - 依賴項檢查假設具有管理員/超級使用者權限才能自動安裝系統級套件(ffmpeg)。如果腳本因為權限不足而無法安裝,它會提示使用者以手動方式安裝。
--music auto選項使用內建的 Kevin MacLeod "Crypto" 曲目。它會循環以符合影片長度。此曲目採用 CC BY 4.0 授權,並且將在credits.md中正確標示出處。