Communitygithub.com

Reelwright

將一段簡短文字說明,自動轉換為附有旁白、字幕與插畫的 1080p 迷你紀錄片 MP4。適合製作短版解說影片、有旁白的幻燈片或社群媒體短片。

Reelwright 是什麼?

Reelwright 是一個專門將文字腳本自動化生成短影片的 AI 代理技能。使用者只需提供一段簡短的說明(brief),該工具便會依序執行以下步驟:透過 Pollinations 的文字模型規劃場景與風格、使用圖片模型為每一場景生成插畫、以語音模型產生旁白,最後借助 ffmpeg 合成為一部 1080p H.264/AAC 格式的 MP4 影片。輸出成品包含淡入淡出、Ken Burns 鏡頭推移、時間軸正確的內嵌字幕,以及一份可播放性驗證報告。此技能特別適用於產生社群媒體 Reel、60 秒解說短片或敘事型幻燈片,但不適用於長片剪輯或真人拍攝素材。關鍵設計考量包括場景時間由旁白長度動態決定,確保字幕與語音精準同步,並提供 `--transcribe` 選項進行音檔與腳本的字詞覆蓋率驗證(需達 80% 以上)。支援 Pollinations 平台,預設模型皆為免費用戶可使用的 `paid_only: false` 模型,且所有媒體模型可透過 Pollinations API 替換。

相容平台~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/SvirepyiBambr/pollinations-reelwright/tree/main/skills/reelwright

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

Reelwright 是做什麼的?

Reelwright 接收一段文字說明,隨即產出完成的 1080p H.264/AAC 影片:包含書面場景規劃、每幕插畫、旁白、內嵌字幕、淡入淡出效果、每段鏡頭的緩慢 Ken Burns 推移,以及一份驗證報告,用以確認檔案確實可播放。

所有創意部分皆由 Pollinations 提供。本機唯一相依項目為 ffmpeg/ffprobe。

使用時機

  • 「幫我做一部關於 X 的 60 秒影片。」
  • 「把這篇文章變成一個有旁白的幻燈片。」
  • 「我需要一支有旁白和字幕的社群媒體 Reel。」
  • 「用五個場景解釋 X。」

不適合用於:長片剪輯、人物訪談、你已擁有的現成素材,或任何需要真正攝影機的工作。Reelwright 是插畫解說工具,而非影片編輯器。

設定

npx @pollinations/cli auth login     # 一次性 Pollinations 登入
npm install                          # 安裝 ffmpeg-static + ffprobe-static

Reelwright 依序從 --api-key、POLLINATIONS_API_KEY 以及 polli auth login 儲存在 ~/.pollinations/credentials.json 中的登入資訊取得金鑰。建議使用登入方式:使用者在瀏覽器中核准一組裝置代碼,如此金鑰便不會出現在對話中。若在 CI 環境中執行,可透過環境變數覆蓋。

若系統 PATH 中已存在 ffmpeg,Reelwright 會優先使用;否則依序回退至 node_modules 中的靜態執行檔,再回退至 $FFMPEG/$FFPROBE。

執行

單一指令,從簡要說明到完成檔案:

python3 skills/reelwright/scripts/reelwright.py make \
  --brief examples/salt-road/brief.txt \
  --out examples/salt-road \
  --scenes 5 \
  --transcribe

或者逐步執行(當文字內容很重要時,這是較佳的做法):

# 1. plan:文字模型撰寫標題、副標題、風格及 N 個場景
python3 skills/reelwright/scripts/reelwright.py plan --brief brief.txt --out myreel --scenes 5

# 2. 手動編輯 myreel/project.json,修正任何不夠理想的文字——這是成本最低的調整時機

# 3. render:產生圖片、語音、片段、混成
python3 skills/reelwright/scripts/reelwright.py render --project myreel

# 4. check:使用 ffprobe 檢查結果,可選擇轉錄音檔並與腳本比較
python3 skills/reelwright/scripts/reelwright.py check --project myreel --transcribe

輸出檔案會放置在專案目錄中:

檔案說明
project.json規劃內容:標題、風格、場景、模型選擇。可編輯。
images/scNN.jpg每幕對應一張插畫,另附 scNN.prompt.txt 記錄精確提示詞。
audio/scNN.mp3每幕的旁白。
clips/scNN.mp4每幕無聲的 Ken Burns 片段。
timings.json場景開始/結束時間、旁白長度、推導出的場景持續時間。
captions.ass標題、副標題、各場景字幕、版權文字。
reel.mp4最終成品。
poster.jpg1.2 秒處的影格,用於縮圖。
render.json、check.json機器可讀的渲染與驗證報告。

時間控制機制

場景持續時間並非猜測而得:Reelwright 使用 ffprobe 測量每段旁白 MP3 的長度,加上固定的結尾填補時間,並以此數值建構時間軸。字幕會寫入同一時間軸,因此字幕不會與其所屬語音脫節。淡入淡出效果以固定時間重疊片段,而 xfade 偏移量也從相同的持續時間計算得出。

這是大多數幻燈片生成器容易出錯的地方。若你修改 PAD、FADE 或 MIN_SCENE,後續所有項目都會自動跟進調整。

驗證

check 並非感覺驗證。它會讀取完成檔案,並在以下情況大聲回報失敗:

  • 缺少視訊或音訊串流;
  • 編碼並非 H.264/AAC;
  • 解析度非 1920x1080 或影格率非 30;
  • 實際持續時間與規劃時間軸偏差超過 0.8 秒;
  • 時間軸中參照的圖片或音訊檔案遺失;
  • captions.ass 中的對話行數少於場景數;
  • 啟用 --transcribe 時:最終音檔的語音轉文字內容涵蓋腳本中不到 80% 的詞彙,此機制可偵測無聲、截斷或錯誤語言的音軌。

最後一項檢查特別值得注意。它是一種低成本端到端驗證,確保 MP4 中的音訊確實是你要求的旁白,而非一個內容為空的主體回傳 200 OK。

費用與模型

預設值(可透過旗標取代):

  • 文字:openai/gpt-5.4-nano — 一次規劃呼叫,加上驗證失敗時的一次修復呼叫
  • 圖片:tongyi-mai/z-image-turbo — 每場景一次呼叫
  • 語音:openai/tts-1,音色 onyx — 每場景一次呼叫

所有預設模型皆為免費用戶可用(paid_only: false),包括 --transcribe 所用的 openai/whisper-large-v3 轉錄模型,因此免費帳戶可從頭到尾執行完整管線。

一個五場景的影片需要五張圖片與五段簡短語音片段。重新執行 render 會重複使用已存在磁碟上的內容;加上 --force 會重新生成。--seed 可使圖片生成結果具備可重複性。

腳本撰寫

腳本是內容的北極星,請提供發展節奏而非形容詞:

標題:鹽之路

一部 50 秒的迷你紀錄片,解釋海水為何是鹹的。跟隨一滴雨水從花崗岩山脈到海洋的旅程。五個發展階段,依序如下:

1. 雨水落在花崗岩山上,開始順流而下。
2. 山間溪流切割岩石,攜帶溶解的礦物質。
3. 河流逐漸變寬,帶著礦物質負載流向大海。
4. 太陽加熱海洋;水蒸氣上升,鹽分留在原處。
5. 黃昏時分,海岸上的鹽結晶。

視覺風格:編輯式水彩插畫,低飽和度的青綠與琥珀色調,紋理冷壓紙張,柔和顆粒感,電影級寬螢幕 16:9 構圖。

腳本中的風格描述比後續任何提示工程都更有價值:它會逐字被帶入每個圖片提示詞中,這正是讓五組獨立生成作品看起來像同一部影片的關鍵。

值得了解的失敗模式

  • Pollinations 回傳 402 — 金鑰對應的帳戶花粉不足。腳本會明確提示,而非輸出 JSON 資料。
  • image_prompt 包含文字 — 模型喜歡寫入「標示了『蒸發』的地圖」。系統提示已禁止文字,且每個圖片提示詞後方皆附加「無文字、無標題、無商標」的限制,但與其重新渲染,不如在 project.json 中修正不佳的規劃。
  • 旁白比預期長 — 場景會自動拉長以配合語音。沒有任何內容被截斷;影片會變長。若需要嚴格的時長控制,請減少每幕的字數。
  • 缺少 ffmpeg — 在儲存庫中執行 npm install 是建議的解決方式。錯誤訊息會同時指出套件名稱與環境變數。
  • 非拉丁字母的字幕 — ASS 格式支援 UTF-8,DejaVu Sans 字型涵蓋拉丁、西里爾與希臘字母。若需顯示中日韓(CJK)或阿拉伯文字,請在 captions.ass 中變更字型,並確保渲染機器上已安裝該字型。

相關技能