Communitygithub.com

remotion-video

將使用者的點子轉為含旁白的直式短影片(1080x1920 MP4)。腳本撰寫、語音生成與字詞時間戳記由 ElevenLabs 處理,並渲染出包含五種場景類型、逐字字幕與嘴型同步吉祥物的起始專案。

remotion-video 是什麼?

此技能「remotion-video」是一個 AI 輔助影片產生器,能根據使用者輸入的主題自動生成完整的直式短影片(1080x1920 MP4)。它先將使用者的想法整理成腳本,再透過 ElevenLabs API 將文字轉為語音,並產生逐字的時間戳記,最後利用 Remotion 這個 React 框架渲染出具有五種場景類型、逐字字幕以及嘴型同步吉祥物的影片。支援的平台包括 Claude Code、Coder 等可以執行 shell 命令的 AI 代理。其工作流程是:引導使用者提供主題與頻道名稱後,自動生成腳本;接著執行一個 shell 指令建立 Remotion 專案;再透過 Python 腳本檢查腳本字數後,向 ElevenLabs 付費取得音檔與時間資訊;最後使用 Remotion CLI 渲染靜態畫面與完整影片。此技能整合了多種工具與服務,需要使用者本地安裝 Node.js、Python 3、ffmpeg,並提供 ElevenLabs API 金鑰。它特別適合需要快速產出社交媒體短影片(如 Shorts、Reels、TikTok)的開發者或內容創作者。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/anujkapoor-arch/video-skills/tree/HEAD/skills/remotion-video

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

remotion-video 是做什麼的?

你將使用者的點子轉為 MP4。此檔案旁的套件組負責繁重工作:kit/new-video.sh 建立專案,narrate.py 將腳本轉為音檔與時間資訊,Remotion 專案負責渲染。

如果此檔案旁沒有 kit 資料夾,表示技能未隨附該套件。請複製 https://github.com/anujkapoor-arch/video-skills 並使用其中的 kit 資料夾。

開始之前

請檢查以下項目,若有遺漏請停止並顯示明確訊息:

  • node --version、python3 --version、ffmpeg -version。此套件在 Node 24、Python 3 與 ffmpeg 8 環境測試通過。
  • 環境變數中要有 ELEVENLABS_API_KEY,或者使用者準備好將其放入專案的 .env 檔案。沒有免費或靜音模式。請勿輸出金鑰或提交至版本控制。
  • Remotion 的授權。個人及員工數不超過 3 人的公司可免費使用。員工數超過 3 人的公司需付費取得公司授權(remotion.dev/docs/license)。請告知使用者一次。如果因此無法使用 Remotion,請改用採用 MIT 授權的 revideo-video 技能。

步驟

1. 將點子整理成腳本

只詢問你無法推斷的資訊:主題、目標對象、頻道名稱。然後自行撰寫腳本。

  • 4 到 7 個場景,總時長 20 到 45 秒。一般人每秒約說 2.5 個字。
  • 開頭用 hook,結尾用 cta。中間使用 points、stat 與 bars。
  • 每個 say 是一或兩個短句,以聽覺體驗撰寫。數字請拼寫為單字。
  • 螢幕上的每個數字都需要有來源,該來源可以是使用者提供,或你能夠指名。若沒有來源,請詢問。切勿捏造統計數據。
  • 為每個項目選擇一個提示詞(at),讓視覺元素能在該詞出現時對應呈現。

完整的欄位清單在 kit/common/SCRIPT.md。撰寫腳本前請先閱讀該檔案。

2. 建立專案

<此技能資料夾>/kit/new-video.sh remotion <新資料夾>
cd <新資料夾>
npm install

npm install 大約需要 20 秒。首次渲染時還會下載 Chrome Headless Shell(約 470 MB)到 node_modules。

3. 撰寫 script.json、檢查,然後付費取得語音

將範例 script.json 替換為使用者的腳本,然後執行:

python3 narrate.py --check    # 驗證並輸出字元數,不呼叫 API

向使用者展示口說內容與字元數,並在執行下個指令前獲得同意。ElevenLabs 按字元收費。

python3 narrate.py            # 寫入 public/narration.wav 與 src/spec.json

它會輸出每個場景的起始時間與長度。口說內容會快取在 .tts-cache/,因此編輯後重新執行只會對有變動的部分再次付費。

4. 完整渲染前先檢查靜止畫面

渲染靜止畫面約需 4 秒;完整渲染所需時間約等於影片長度。

npx remotion still src/index.ts Video out/check.png --frame=150

幀數 = 秒數 x 30。在每個場景的最後一個提示詞後約 1 秒處渲染一個靜止畫面,並逐一檢查。確認文字能放入卡片內、沒有物件重疊到字幕或吉祥物,且沒有任何重要內容低於 y = 1620(該區域會被 Shorts / Reels UI 覆蓋)。

5. 渲染

npm run render                # -> out/video.mp4
npm run studio                # 可選:預覽並包含時間軸與熱重載

6. 回報

對檔案執行 ffprobe,告知使用者影片長度、大小與位置。說明你檢查了哪些項目(靜止畫面)以及哪些未檢查(你無法聽到音訊或觀看動態)。請他們打開聲音觀看一次。

修改事項

欲修改項目編輯位置
顏色、頻道名稱、頁尾、字幕開關、吉祥物開關script.json,然後 python3 narrate.py(免費,音檔已快取)
語音script.json 或 ELEVENLABS_VOICE_ID 中的 voice.id。更換語音會對所有行重新收費。
字型將 .ttf 檔案放入 public/fonts,在 src/fonts.ts 中列出,並變更 src/util.ts 中的 FONT
場景類型的佈局src/scenes.tsx 中的對應元件
頁首、卡片、字幕、對話框、紙花src/Video.tsx
吉祥物src/Mascot.tsx

新增場景類型

  1. 在 src/scenes.tsx 中撰寫一個元件,接受 {s: Scene} 並將其內容包裹在 <Layer s={s}> 內。
  2. 將該元件加入該檔案底部的 KINDS,以及 src/util.ts 中的 kind 聯集型別。
  3. 將其加入 narrate.py 的 KINDS,並附上所需的欄位。

更換吉祥物

將角色的 SVG 移植到 src/Mascot.tsx,以 JSX 形式呈現。請勿載入 .svg 檔案。保留每個影格驅動的五個部分:根據 open 變化的嘴部高度、根據 blink 變化的眼睛 scaleY、瞳孔偏移、眉毛偏移,以及一個可傾斜的頭部群組。若後續 SVG 有變更,則需要重新移植。

確保 Remotion 渲染正確的規則

  • 螢幕上的一切都是目前影格的函數。不要使用 useState、CSS 過渡效果、setTimeout 或 Math.random()。Remotion 會平行且不按順序渲染影格,因此任何具有記憶狀態的寫法都會出錯。請使用 remotion 提供的 random(seed)。
  • 所有時間資訊都來自 spec.json。切勿在秒數寫死時間。請讀取 s.start、item.t 或某個字的 t,這樣更換旁白時影片時間會自動調整,無需修改程式碼。
  • 字型在 src/fonts.ts 中透過 delayRender 載入。若無此機制,影格可能在字型準備好前就被捕捉。
  • 瀏覽器在渲染時載入的檔案(音檔、字型、圖片)應放在 public/ 中,並透過 staticFile() 引用。
  • HTML 會將長文字自動換行,但不會縮小字型。起始專案會根據字元數選擇字型大小。如果你新增文字,也應採用相同做法,否則文字會溢出卡片。
  • 彈簧效果應寫為 spring({frame: frame - at * fps, fps, config})。util.ts 中的 pop() 輔助函式已包裝此寫法。
  • 嘴型同步來自字詞時間戳記(util.ts 中的 mouthOpen),不進行音訊分析。
  • 影片長度會無條件進位到整數影格,因此 MP4 最多可比 spec.total 長 1/30 秒。

我們測試機器的數據(Apple M2,8 GB RAM)

  • 25 秒影片:渲染需 26.5 秒,檔案大小 4.9 MB。
  • node_modules:安裝後約 240 MB,首次渲染後約 950 MB(包含 Chrome Headless Shell 與 webpack 快取)。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相關技能