Communitygithub.com

自動故事生成動畫

教導 AI Agent 如何將單一音檔與腳本,自動規劃、建構並剪輯成一部完整的影片,輸出成品為一個完成的影片剪輯。

自動故事生成動畫 是什麼?

這個技能「automatic-storyteller-animate」是一個專用的編排器,用於將單一錄音檔和腳本自動轉換成一部帶有旁白的劇情短片,無需手動製作分鏡腳本。它首先轉錄語音,為每句旁白精確計時,然後根據腳本內容動態選擇兩種視覺風格:「白板式」(帶有手繪粉筆字、霓虹圖標的藍圖草圖)和「照片式」(使用維基共享資源的授權照片,營造證據牆效果)。每個風格區塊會獨立渲染,然後以幀為單位精確拼接,並加上底部對齊的霓虹字幕、同步音效(-19 dB)和背景音樂(-18 dB)。最終輸出會進行嚴格的品質檢查(QA),包括幀數核對、響度(-15 LUFS)和字幕位置驗證。此技能完全自給自足,若有缺少的依賴項(如 ffmpeg、Python 套件)會自動安裝。它適用於任何「將旁白轉為影片」的工作流程,並支援 `--preview` 預覽模式來快速迭代,避免在最終成品前浪費時間渲染完整解析度。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/omnieditxstudio-IT/Automatic-Storytailer-Animate/tree/HEAD

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

自動故事生成動畫 是做什麼的?

給它一個語音檔案和一個腳本。它會完成整部影片:時間控制、佈局、渲染、剪輯、字幕、音效、混音和品管。無需手動分鏡、場景程式碼或編輯時間軸。

python scripts/run.py --project my-film --voice voice.mp3 --script script.md

這一個指令會執行完整的流程,並在 my-film/out/FILM.mp4、my-film/out/FILM.srt(與 captioned.mp4 一起)、credits.md、beats.json、plan.json、beats.md、out/qa/ 中的審查靜態圖以及所有中間檔案中產生輸出。

開始之前——先決條件檢查(自動)

每次執行都從 check_requirements.py 開始,在執行任何其他操作之前。如果所有可用工具都已安裝,則會立即繼續生產——無需設定。如果缺少某些東西,它會自動下載/安裝,然後繼續生產。

它會依序檢查:

  1. Python 3.8+
  2. Python 套件 — numpy, skia-python, Pillow, faster-whisper — 如果缺少,會自動透過 pip 安裝
  3. ffmpeg + ffprobe 在 PATH 中 — 如果缺少,會透過 winget(Windows)、brew(macOS)或 apt-get(Linux)自動安裝
  4. cinematic-film 位於此技能旁(或設定 CINEMATIC_SCRIPTS=<path to its scripts>)

如果一切就緒:一行輸出 — requirements: ok — 並開始建置。如果 Python 套件無法安裝,腳本會印出確切的修復指令並退出,而不是開始一個註定失敗的建置。如果找不到 cinematic-film,也一樣——你會確切知道缺少什麼以及需要設定什麼。

它產生的效果(外觀)

兩種視覺語言每隔 3-10 秒嚴格交替,由導演為每個區塊決定:

  • Board - 一張滿版的藍圖紙。文字以手繪粉筆字體顯示在深藍色網格上,帶有素描矩形標註框、搖擺筆觸、塗鴉程式碼視窗、勾選標記、分隔線和霓虹圖示(兩層發光 + 熾熱核心),這些都是在程式碼中繪製的。
  • Photo - cinematic-film 中的夜間證據牆:帶有投影和圖釘的真實維基共享資源授權照片、排版紙本文檔、抖動的強調規則、發光的霓虹圖示,所有這些都在 credits.md 中標註了出處。

字幕位於底部中央,並且與底部邊緣齊平(720p 時為 6 像素,依解析度縮放),大寫,使用九種種子糖果色之一,具有緩和入場(上升/彈出/滑入/傾斜/淡入/掃入/交錯)和出場(淡出/掉落/上升消失/縮小)效果、三通道綻放光暈、以及在口說單詞上的彩虹漸變掃描(霓虹管白色描邊)。字幕帶後的漸層可確保它們在任何畫面下都清晰可讀。文字與語音完全一致。

重新開始 vs. 繼續執行

  • 新專案:提供語音和腳本;技能會建構所有內容。
    python scripts/run.py --project my-film --voice voice.mp3 --script script.md
    
  • 繼續執行:在已經有 out/FILM.mp4(以及計畫/照片)的專案上重新執行,只會透過 QA 進行重新驗證——不會重新下載或重新渲染任何內容。加入 --force 則從頭開始重建。

輸入

  • --voice:任何 ffmpeg 可以讀取的音訊檔案 (mp3/wav/m4a...)。使用乾淨的單次錄製旁白可獲得最佳效果。它會按原樣使用,僅轉換為 48 kHz 立體聲 AAC。
  • --script:.md / .txt / .srt / .json。Markdown 標題會變成螢幕上的章節開場;空白行和段落會被分割成句子,然後再分割成字幕區塊(<= 9 個單詞 / <= 64 個字元)。螢幕上的文字即為檔案中的文字,逐字顯示。當存在時,會採用帶有 {"title": ..., "takes": [...]} 的 script.json。

選項

旗標效果
--size 1920x1080渲染尺寸(預設 1920x1080)
--crf 16品質(數值越低越好;16 為影片品質,26 為預覽品質)
`--photos autoexisting
`--music autonone
--model tiny.en用於對齊的 faster-whisper 模型大小(base.en/small.en 更準確)
--preview僅以 640x360 渲染區塊 0-1,以便快速預覽
--skip-render僅重新規劃(不渲染)
--workers WORKERS渲染 + 字幕工作執行緒數量(0 = 所有核心減一)
--force即使已存在完成的 out/FILM.mp4 也強制重建

效能與安全性

  • 生產快取 位於 E:\Storyteller catche files(可透過 STORYTELLER_CACHE 覆寫)。每個大型成品都會根據內容雜湊值進行快取,因此重新執行或調整後期階段只會重新處理有變更的部分:
資料夾快取的內容鍵
whisper/faster-whisper 單詞時間語音檔案 + 模型 + 裝置
commons_search/Commons 搜尋結果集查詢 + 限制
commons_files/下載的 Commons 原始檔案 + 出處 sidecarCommons 標題
blocks/渲染的風格區塊場景 + 節拍 + 區塊幾何 + 尺寸 + CRF
silent/拼接的無聲影片區塊檔案 + CRF + fps
captioned/有字幕的影片 + SRT影片 + 時間 + 字幕程式碼 + CRF
sfx/合成的 SFX 匯流排提示表 + build_sfx.py
music/循環的背景配樂配樂檔案 + 影片長度
mix/完成的音訊混合語音 + 提示 + 音樂 + 音量 + LUFS

檔案命名為 <label>-<hash12>.<ext> 並按類型排序(sort 列表會自然閱讀),附有一個僅附加的 index.jsonl 清單和根目錄下的 README.txt。快取未命中會自動重建;刪除快取總是安全的。對未變更階段的完整重新執行只需幾秒鐘(whisper/區塊/拼接/字幕/SFX/音訊混合全部命中)。

  • 每個區塊分別渲染,然後使用幀精確的 concat 濾鏡拼接區塊。在腳本編輯後重新執行,只會重新渲染計劃有變更的區塊(render_blocks.py 會重複使用新的區塊檔案,再加上生產快取作為第二層)。
  • 12 核心 / 足夠的 RAM:使用 --workers 6。一部 3 分鐘的 1080p 影片大約需要 15-30 分鐘。
  • 永遠不要在使用者要求之前渲染最終影片:先使用 --preview 或較小的 --size,展示給使用者看,然後才以全尺寸生成 FILM.mp4。
  • Whisper tiny.en 在 CPU 上大約是 1 倍即時速度;如果長句的時間有偏移,請使用 --model base.en。

導演的決策

每個字幕行變成一個節拍。一個節拍會根據其單詞從下列佈局中獲得一個精準的選擇:

佈局觸發條件繪圖方式
title / end前 2 行 / 最後 2 行霓虹圖示 + 大的粉筆標題(標題 = 該行內容單詞的標題大小寫)
chainfirst/second/then/process/pipeline3 個帶箭頭的素描框
splitbefore/after/versus/compared/instead在撕裂的分隔線兩側各有一個帶標籤的框架
windowcode/script/terminal/agent/model/server手繪終端機視窗,帶有塗鴉行 + 突出顯示行
checkprotect/patch/secure/prevent/never粉筆勾選標記沿著列表排列
stat任何數字巨大的發光數字
quote其他所有內容 / 問句粉筆引文
photo variants每隔一個區塊station (照片 + 卡片)、doc (紙張文件 + 印章)、stat

連續的行(1-4 行,最多約 9 秒,在句子結尾處切斷)會分組為區塊;區塊在整個影片中交替使用 board/photo。第一個和最後一個區塊始終是 board。

寫入的檔案

audio/narration.m4a   正規化的語音
audio/timing.json     每行開始/結束(引擎架構)
script.json           按說話順序的錄音,id 順序保留
beats.json            每行:開始/結束/佈局/開場/標題/要點/數字/圖示/墨水/照片/x
plan.json             區塊(風格、幀範圍、世界 x)、fps、持續時間
beats.md              整個計劃的人類可讀表格
sfx_cues.json         為 build_sfx.py 合成的音效
photos.json           帶有授權/出處/來源的 Commons 挑選結果
out/blocks/bNNN.mp4   每個風格區塊一個剪輯
out/silent.mp4        拼接的畫面
out/captioned.mp4     + 燒錄的霓虹字幕 (+ .srt)
out/FILM.mp4          最終,帶有混合音訊
out/qa/*.png          審查靜態圖
credits.md            圖片 + 音樂出處

品質檢查閘道(scripts/qa.py,由 run.py 自動執行)

在以下情況下建置失敗:幀數與 timing.total_duration * fps 不符、缺少/沒有音訊串流、響度超出 -15 +/- 1.5 LUFS、真實峰值 > -0.8 dBTP、字幕區塊不可見、或字幕基線高於底部邊緣超過畫面高度的 8.5%。

配套技能(生產如何實際完成)

此技能是教育/解說影片工作流程的專用編排器("像 AI 開發工具影片一樣的影片")。它驅動兩個配套技能來完成一個生產,就像之前的影片製作方式一樣——你永遠不會直接調用它們;run.py 和 qa.py 會處理。規則是絕對的:永遠不要編輯配套技能——或任何其他專案(例如 C:\remotion-build\dark-reality-explainer)——來讓這個技能運作;按照它們的出廠狀態來驅動它們。所有編排邏輯、快取、品質檢查和風格決策都位於此技能中。

1. cinematic-film — 世界、照片、聲音(必要,硬性依賴)

位於此技能旁(可透過 CINEMATIC_SCRIPTS=<path to its scripts dir> 覆寫)。由以下腳本調用:

腳本由誰使用為此影片做什麼
prep_assets.pyprep 階段將 Commons 照片分級為黑白外觀(`--grade bw
fetch_commons.pyfetch_photos.py下載授權的原始檔案 (get),填入檔案/出處/授權資訊,並寫入 credits.md (credits)
render.pyrender_blocks.py使用 --t0/--t1 渲染每個風格區塊;繪製 board/photo 世界、攝影機和每幀的每個項目
engine.pystoryboard.py、每個渲染世界模型:Film、攝影機關鍵影格、Board、PaperDoc、StylePanel、樣條攝影機
captions.pycaptions_burn.py用於計時熱區單詞的單詞時鐘 (words_with_times)
build_sfx.pyaudio_finish.py根據 sfx_cues.json 合成音效匯流排(無需樣本庫授權)
mix_soundtrack.pyaudio_finish.py語音 + 音效 + 配樂:-19 dB 音效,-18 dB 音樂,4:1 閃避,-15 LUFS / -1.5 dBTP 主輸出

參與規則:不要為了此技能而編輯它的腳本——行為變更應屬於 storyboard.py / render_blocks.py / 此處。它的 CLI 合約(--t0/--t1、fetch_commons get|credits、mix_soundtrack --lufs)是生產快取進行雜湊的依據;如果 cinematic-film 變更了某個,請更新此處的階段並刪除 E:\Storyteller catche files,以便沒有過時的快取命中存活。

2. remotion-studio — 瀏覽器預覽 / 操作(可選,僅供審查)

npx remotion studio(打開列印的 URL;或使用 --no-open 並自行打開 URL)。

誠實的範圍,以免浪費任何人的時間:Studio 僅預覽 Remotion 組成——在 Remotion 專案中註冊的 React 組件。它無法播放此技能完成的母版(out/FILM.mp4 是 skia/ffmpeg 渲染,不是 Remotion 專案;AI-attack 影片也不是)。當交付物也以 Remotion 專案形式存在,並且你想要獲得邊編輯邊預覽的體驗(或操作一個基於 Remotion 的變體)時使用它。為了審查此技能自己的輸出,請使用 out/FILM.mp4 / out/preview_captioned.mp4 以及 out/qa/ 中的靜態圖——Studio 沒有東西可以附加。

生產配方(三個技能如何像上次一樣完成一部影片)

  1. 語音 + 腳本 -> run.py --preview(2 個區塊,640x360,約 2 分鐘)。檢查外觀、board/photo 節奏、字幕大小和底部齊平,以及 qa.py 是否顯示 PASS。
  2. 完整計劃 — 攝入(whisper 對齊) -> 導演(節拍、佈局、風格交替) -> Commons 照片(免費授權,出處在 credits.md) -> 準備(bw 分級) -> 場景 -> 提示。
  3. 渲染 — 每個區塊以 1080p 分別渲染;透過 E:\Storyteller catche files 上的生產快取重複使用。
  4. 完成 — 拼接(concat 濾鏡) -> 底部齊平霓虹字幕 -> 音效 -19 dB / 配樂 -18 dB,閃避,-15 LUFS 主輸出。
  5. 審查 — 播放 out/FILM.mp4;out/qa/ 包含靜態圖。如果需要 Remotion 封裝/審查步驟,使用 remotion studio 打開該 Remotion 專案並驗證它是否載入。
  6. 交付 — FILM.mp4 + FILM.srt + credits.md。上傳/匯出在此技能之外進行。

SRT / 生產的分發部分

qa PASS 之後:out/captioned.srt 與 out/captioned.mp4 放在一起(完成步驟可以將它複製到 FILM.mp4 旁邊)。對於社群變體(9:16 重新剪輯、平台匯出、縮圖暫存),請使用分發技能而不是在此技能中重新渲染——此技能僅生成 16:9 母版。

需求

請參閱上方的開始之前——先決條件檢查:Python 3.8+, numpy, skia-python, Pillow, faster-whisper, ffmpeg/ffprobe 在 PATH 中,以及位於此技能旁的 cinematic-film 技能(可透過 CINEMATIC_SCRIPTS 覆寫)。每次執行開始時都會自動執行檢查。

已知限制

  • 對齊預設使用 whisper tiny.en;含糊的錄音可能會在長時間段中出現時間偏移。如果發生這種情況,請使用更準確的模型(--model base.en 或 small.en)。
  • 快取路徑目前硬編碼為 E:\Storyteller catche files;請使用環境變數 STORYTELLER_CACHE 將其指向一個更合適的位置(例如專案目錄),尤其是在多人協作環境中。
  • 此技能僅生成橫向 (16:9) 的母版。如果需要直向或正方形的重新剪輯,則需要使用外部工具或一個專門的社群媒體分發技能來處理。
  • 雖然引用了 remotion-studio,但它並非用於審查此技能的輸出。它的目的是在 Remotion 交付物與此技能所建立的基於 skia/ffmpeg 的影片同時存在時,提供一個替代的預覽工作流程。
  • 依賴項檢查假設具有管理員/超級使用者權限才能自動安裝系統級套件(ffmpeg)。如果腳本因為權限不足而無法安裝,它會提示使用者以手動方式安裝。
  • --music auto 選項使用內建的 Kevin MacLeod "Crypto" 曲目。它會循環以符合影片長度。此曲目採用 CC BY 4.0 授權,並且將在 credits.md 中正確標示出處。

相關技能