AI Video Studio

AI 影片一站式工作流程：Seedance 2.0 生成 + CapCut Mate 剪輯 + 雲端渲染匯出。

核心能力

AI 生成影片片段 — 透過文字/圖片提示呼叫 Seedance 2.0 生成 5/8/11 秒影片
自動剪輯合成 — 多片段拼接、字幕疊加、轉場效果、背景音樂
雲端渲染匯出 — 生成最終 MP4

一條指令生成場景化影片（NEW — huobao 四層流水線）

drama 子命令封裝了「劇本 → 角色/場景 → 分鏡 → 渲染」完整鏈路，由 Sonnet 執行 + Opus advisor 自主挑選敘事模板（問題-轉折-解決 / 場景蒙太奇 / 故事劇情化 / hybrid）。方法論參考 reference/huobao/（CC BY-NC-SA 4.0）。

產品推廣短影片（一條指令）

python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py drama \
  --mode product \
  --idea "智慧保溫杯，精英通勤族的一天" \
  --scenario "晨跑/捷運/辦公室/加班" \
  --highlights "12 小時保溫、航空級不鏽鋼、一鍵溫控" \
  --shots 6 --duration 5 --ratio 9:16 --lang zh --run

短劇（一條指令）

python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py drama \
  --mode shortdrama \
  --idea "咖啡廳偶遇前任，一句話揭開三年誤會" \
  --shots 6 --duration 8 --ratio 9:16 --lang zh --run

參數

參數	說明
`--mode`	`product` 場景化產品推廣 / `shortdrama` 短劇
`--idea`	核心創意或產品一句話描述
`--scenario`	使用/故事場景限制（可選），advisor 會圍繞它構圖
`--highlights`	`product` 模式的賣點列表（advisor 會自然融入劇情，不做硬廣）
`--shots`	鏡頭數量，預設 6
`--duration`	每鏡頭時長 5/8/11 秒，預設 5
`--ratio`	畫面比例，直式短影片建議 `9:16`
`--advisor-calls`	Opus 諮詢次數上限，預設 3
`--run`	加上則立即執行 Seedance 生成 + ffmpeg 渲染，不加只產出藍本 JSON

輸出：藍本 JSON（含 characters / scenes / shots / narrative_template / logline）儲存在 $MEDIA_DIR/drama-<mode>-<ts>.json；加 --run 後繼續走 pipeline 產出最終 mp4。

完整工作流程（底層）

四類交付 profile 與外部渲染器

python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py profiles
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py profiles paibao_private

內建 profile：automotive_export、paibao_private、haitun_public、personal_ip。故事板可明確使用 renderer: video_use|hyperframes|remotion 接入實拍素材剪輯、HTML/GSAP 動效或 React 參數化模板；profile 不會自動選擇依賴 EDL/專案目錄的渲染器。

video_use 需要 edl，並要求 output 與 edl.json 同處 edit/；hyperframes 需要 project_dir；remotion 需要 project_dir、entry_point 和 composition_id。兩類 Node 專案必須用 package-lock.json 鎖定專案本地 CLI 並先執行 npm ci，渲染階段不會連網補包。外部渲染器只允許從本地 pipeline CLI 明確執行，伺服器端/LLM 路徑預設關閉。

paibao_private 對所有 renderer 都禁止故事板字幕燒錄：先輸出無字幕剪輯母版，再交由 paibao-course-publisher 完成 ASS、抽幀、雜湊與發布門禁。

一鍵生成：從故事板到成品

建立一個 JSON 故事板檔案，然後呼叫 pipeline：

# 建立故事板
cat > /tmp/storyboard.json << 'EOF'
{
  "title": "產品廣告",
  "ratio": "16:9",
  "shots": [
    {"prompt": "A modern smartphone floating in space with golden particles around it, cinematic lighting", "duration": 5, "caption": "全新設計 引領未來"},
    {"prompt": "Hands holding a smartphone with holographic UI elements emerging from screen", "duration": 5, "caption": "觸手可及的智慧"},
    {"prompt": "Slow motion water splash revealing a smartphone, dramatic lighting", "duration": 5, "caption": "防水新境界"}
  ],
  "bgm_url": null
}
EOF

# 執行完整流程
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py pipeline /tmp/storyboard.json

輸出：最終影片檔案路徑（如 /root/.openclaw/media/studio-xxx.mp4）

故事板欄位說明

欄位	類型	說明
`title`	string	專案名稱
`ratio`	string	畫面比例: `16:9`, `9:16`, `1:1`
`shots[].prompt`	string	Seedance 生成提示詞（建議英文，效果更佳）
`shots[].duration`	int	每段時長: 5, 8, 11 秒
`shots[].caption`	string	字幕文字（留空則不加字幕）
`shots[].ref_image`	string?	可選參考圖片 URL
`bgm_url`	string?	可選背景音樂 URL

分步使用（靈活組合）

Step 1: 生成單個影片片段

python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py generate \
  --prompt "一隻橘貓在陽光下打哈欠" \
  --ratio 16:9 \
  --duration 5

回傳：影片檔案路徑

Step 2: 合成多個片段

python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py compose \
  --videos /root/.openclaw/media/clip1.mp4,/root/.openclaw/media/clip2.mp4 \
  --captions "第一幕,第二幕" \
  --ratio 16:9

回傳：草稿 URL + 匯出影片路徑

Step 3: 僅用 CapCut Mate 編輯已有影片

python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py compose \
  --videos https://example.com/v1.mp4,https://example.com/v2.mp4 \
  --captions "開頭,結尾" \
  --bgm https://example.com/music.mp3 \
  --ratio 9:16

FFmpeg 直出模式（推薦，預設）

pipeline 命令預設使用 ffmpeg 在伺服器端直出 mp4，不依賴剪映客戶端。

僅渲染（跳過 Seedance，用已有片段）

python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py render   --videos clip1.mp4,clip2.mp4   --captions "第一幕,第二幕"   --bgm https://example.com/music.mp3   --ratio 16:9 --title myproject

回傳：最終 mp4 檔案路徑

ffmpeg 渲染能力

多片段拼接（自動歸一化解析度）
SRT 字幕燒錄（白字黑邊，底部居中）
BGM 混音（原聲 100% + BGM 30%）
H.264 + AAC 編碼，秒級渲染

pipeline 預設 ffmpeg

故事板 JSON 中 renderer 預設 ffmpeg，設 capcut 可切換為剪映草稿模式。

注意事項

Seedance 影片生成通常需要 3-10 分鐘/片段，多片段可並行提交
雲端渲染需要剪映 API Key（透過 CAPCUT_API_KEY 環境變數設定）
若無雲端渲染 Key，仍可產生草稿檔案，手動用剪映客戶端匯出
影片輸出目錄: /root/.openclaw/media/
中文提示詞用於 Seedance 效果更佳

環境變數

變數	用途	預設值
`SEEDANCE_API_KEY`	豆包 Seedance API	內建 fallback
`CAPCUT_MATE_URL`	CapCut Mate 服務地址	`http://127.0.0.1:30000`
`CAPCUT_API_KEY`	剪映雲端渲染 Key（可選）	無

ai-video-studio

ai-video-studio 是什麼？

在你喜歡的 AI 中提問

說明文件