影片生成技能
使用 AI(Google Veo 3.1、OpenAI Sora)生成影片。
功能:
- 🎬 文字轉影片:從文字描述建立影片
- 🖼️ 圖片轉影片:將圖片動畫化作為第一幀
- 🔊 音訊生成:對話、音效、環境音(Veo 3+)
- 🎭 參考圖片:使用最多 3 張參考圖片引導影片內容(Veo 3.1)
先決條件
預設:Vertex AI(每分鐘 10 次請求)⭐
Vertex AI 是預設後端,擁有 1400 倍更高的速率限制:
# 1. 設定您的專案
export GOOGLE_CLOUD_PROJECT=your-project-id
# 2. 進行驗證(開啟瀏覽器)
gcloud auth application-default login
# 3. 啟用 API(僅需一次)
gcloud services enable aiplatform.googleapis.com
新增至您的 .env 檔案:
GOOGLE_CLOUD_PROJECT=your-project-id
GOOGLE_CLOUD_LOCATION=us-central1
備援:AI Studio(每天 10 次請求)
僅在您沒有 GCP 專案時使用:
GOOGLE_API_KEY- 從 https://aistudio.google.com/apikey 取得
用於 Sora(OpenAI)
OPENAI_API_KEY- 用於 OpenAI Sora
可用模型
Google Veo 模型
| 模型 | 說明 | 最適合 |
|---|---|---|
veo-3.1 | 最高品質(預設) | 專業影片、對話、參考圖片 |
veo-3.1-fast | 更快的處理速度 | 快速迭代、批次生成 |
兩個模型皆包含:
- 720p/1080p 解析度
- 4、6 或 8 秒長度
- 原生音訊(對話、音效、環境音)
- 圖片轉影片(動畫化圖片)
- 參考圖片(最多 3 張)
- 影片延伸
- 批次/平行生成
OpenAI Sora
- 最適合:創意影片、電影級品質、複雜動作
- 解析度:480p、720p、1080p
- 長度:5 秒、10 秒、15 秒、20 秒
- 功能:文字轉影片、圖片轉影片
工作流程
步驟 1:收集需求(必填)
⚠️ 使用互動式提問 — 一次只問一個問題。
問題流程
⚠️ 對於每個問題,請使用 AskUserQuestion 工具。 不要只是將問題列印在回應中 — 使用該工具來建立帶有選項的互動式提示。
問題 1:圖片
"我將為您生成該影片!首先 — 您有要動畫化的圖片嗎?
- 有(提供路徑 — 我將用它作為第一幀)
- 沒有,從頭生成"
等待回應。
問題 2:音訊
"您偏好哪種 音訊設定?
- 包含音訊(預設)— Veo 3.1 會生成對話、音效、環境音
- 靜音影片 — 無音訊"
等待回應。
問題 3:模型
"您想要哪個 模型?
veo-3.1— 最新、最高品質、含音訊(預設)veo-3.1-fast— 更快處理、含音訊veo-3/veo-3-fast— 前一代、含音訊sora— OpenAI,最長 20 秒、無音訊"
等待回應。
問題 4:長度
"您要哪種 長度?
- 4 秒
- 6 秒
- 8 秒(預設)"
等待回應。
問題 5:格式
"您要哪種 長寬比與解析度?
- 16:9 橫向,720p
- 16:9 橫向,1080p
- 9:16 直向,720p
- 9:16 直向,1080p
- 或自行指定"
等待回應。
快速參考
| 問題 | 決定項目 |
|---|---|
| 圖片 | 圖片轉影片 vs 文字轉影片 |
| 音訊 | 包含/不包含音訊生成 |
| 模型 | 品質與速度的權衡 |
| 長度 | 片段長度 |
| 格式 | 長寬比與解析度 |
步驟 2:撰寫提示
將使用者請求轉換為有效的影片提示:
- 描述場景:設定視覺背景
- 指定動作:什麼在移動、變化、發生
- 加入運鏡:「慢速平移」、「跟拍鏡頭」、「推軌鏡頭」
- 加入音訊提示(Veo 3+):使用引號表示對話,描述聲音
- 設定氛圍:光線、氣氛、時間
含對話的範例(Veo 3.1):
- 使用者:「一個人在發現寶藏」
- 強化版:「特寫尋寶者的臉,火炬光芒搖曳。他低聲說『這一定就是...』,同時拂去古老寶箱上的灰塵。打開寶箱時傳來鉸鏈吱嘎聲,金色光芒照亮他驚嘆的臉龐。電影級、戲劇性陰影。」
無對話的範例:
- 使用者:「一隻狗在海灘上奔跑」
- 強化版:「電影級慢動作鏡頭,黃金獵犬在日落時分沿著海灘快樂奔跑,海浪拍打,溫暖的黃金時刻光線,淺景深」
步驟 3:選擇模型
預設:veo-3.1(最高品質、含音訊)
| 使用案例 | 建議模型 | 原因 |
|---|---|---|
| 最佳品質 | veo-3.1(預設) | 最高品質、含音訊 |
| 快速迭代 | veo-3.1-fast | 更快的處理速度 |
| 批次生成 | veo-3.1-fast | 多片段時速度為首要考量 |
| 更長的影片(>8 秒) | sora | 支援最長 20 秒 |
步驟 4:生成影片
從 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/ 執行適當的腳本:
用於 Google Veo 3.1(預設、含音訊):
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "您的強化提示,含引號內的'對話'" \
--model "veo-3.1" \
--duration 8 \
--aspect-ratio "16:9" \
--resolution "720p"
用於 Google Veo 3.1 搭配圖片輸入:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "貓咪慢慢睜開眼睛並打哈欠" \
--image "/path/to/cat.jpg" \
--model "veo-3.1" \
--duration 8
用於更快的生成:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "您的提示" \
--model "veo-3.1-fast"
用於 OpenAI Sora(更長的影片):
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/sora.py \
--prompt "您的強化提示" \
--duration 20 \
--resolution "1080p"
列出可用模型:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py --list-models
影片延伸(用於長片連續性)
--extend 標記可創造真正的視覺連續性,從前一部 Veo 影片結束的地方接續。這是長片影片的最佳方法。
基本延伸:
# 首先,生成初始片段
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "一個人在日出時分走過森林" \
--duration 8
# 延伸它並加入新內容(新增約 7 秒)
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--extend veo_veo-3.1_20260104_120000.mp4 \
--prompt "繼續走,發現一條隱藏的小溪"
多次延伸(用於更長的影片):
# 延伸 5 次(新增約 35 秒的連續內容)
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--extend initial_clip.mp4 \
--prompt "繼續探索森林,遇到野生動物" \
--extend-times 5
延伸 vs 拼接:
| 方法 | 結果 | 使用案例 |
|---|---|---|
| 延伸 | 真正的連續性,相同角色/場景 | 長連續鏡頭 |
| 拼接 | 帶轉場效果的獨立片段 | 場景變換、蒙太奇 |
延伸限制:
- 輸入影片必須是 Veo 生成的(最長 141 秒)
- 每次延伸增加約 7 秒
- 最多總共 20 次延伸(約 2.5 分鐘)
- 輸出解析度為 720p
批次生成(平行)
同時生成多個影片,加快多場景工作流程。無需等待 15 分鐘以上依序生成 5 個影片,可以全部平行生成(總共約 3 分鐘)。
建立 scenes.json 檔案:
[
{"prompt": "場景 1:電影級英雄鏡頭,無線耳機在深色表面上", "duration": 6, "output": "scene1_hero.mp4"},
{"prompt": "場景 2:聲波視覺化,人物享受音樂", "duration": 8, "output": "scene2_sound.mp4"},
{"prompt": "場景 3:特寫耳機在耳朵裡,人物正在運動", "duration": 8, "output": "scene3_comfort.mp4"},
{"prompt": "場景 4:生活風格蒙太奇,各種設定", "duration": 8, "output": "scene4_lifestyle.mp4"},
{"prompt": "場景 5:產品在乾淨背景上搭配商標", "duration": 4, "output": "scene5_cta.mp4"}
]
平行生成所有場景:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--batch scenes.json
使用自訂工作線程數:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--batch scenes.json \
--max-workers 3
每個影片的批次配置選項:
| 選項 | 說明 | 預設值 |
|---|---|---|
prompt | 影片描述(必填) | - |
model | veo-3.1、veo-3.1-fast 等 | veo-3.1 |
duration | 4、6 或 8 秒 | 8 |
aspect_ratio | "16:9" 或 "9:16" | "16:9" |
resolution | "720p" 或 "1080p" | "720p" |
image | 圖片轉影片的圖片路徑 | - |
negative_prompt | 要避免的內容 | - |
output | 自訂輸出檔名 | 自動生成 |
速度比較:
| 場景數量 | 依序 | 平行(5 個工作線程) | 加速倍數 |
|---|---|---|---|
| 3 | 約 9 分鐘 | 約 3 分鐘 | 3 倍 |
| 5 | 約 15 分鐘 | 約 3 分鐘 | 5 倍 |
| 10 | 約 30 分鐘 | 約 6 分鐘 | 5 倍 |
步驟 5:傳遞結果
- 提供生成的影片檔案/URL
- 分享所使用的強化提示
- 提及生成設定(長度、解析度)
- 主動提供:
- 生成變化版本
- 嘗試不同風格/長度
- 使用不同的 API
- 延伸影片
錯誤處理
缺少 API 金鑰:告知使用者需要哪個金鑰:
違反內容政策:適當地改寫提示。
生成失敗:使用簡化提示或不同的 API 重試。
配額超限:建議等待或嘗試其他提供者。
提示工程技巧
用於音訊(Veo 3.1)
- 對話:使用引號表示說話內容:
「你好!」她興奮地說 - 音效:明確描述:
輪胎尖叫、引擎轟鳴 - 環境音:描述聲音景觀:
鳥兒鳴叫、遠處的車流聲 - 範例:
一名男子低聲說「你聽到了嗎?」同時腳步聲在黑暗的走廊中迴盪
用於電影級品質
- 包含運鏡方向:「慢速推軌」、「跟拍鏡頭」、「吊臂鏡頭」
- 指定光線:「黃金時刻」、「戲劇性陰影」、「柔和擴散光」
- 加入電影參考:「銀翼殺手風格」、「魏斯·安德森美學」
用於真實動作
- 描述物理現象:「自然動作」、「真實物理」
- 包含環境細節:「風吹動頭髮」、「樹葉沙沙作響」
- 指定速度:「慢動作」、「即時」、「縮時」
用於圖片轉影片
- 描述從起始圖片中應改變/移動什麼
- 具體說明動作:「貓咪慢慢睜開眼睛」
- 包含環境運動:「樹葉吹過」
負面提示
- 描述不要包含的內容:
--negative-prompt "卡通、低品質、模糊" - 不要使用「不要」或「別」— 只需描述不想要的元素
API 比較
| 功能 | Veo 3.1(預設) | Veo 3.1 Fast | Sora |
|---|---|---|---|
| 提供者 | OpenAI | ||
| API 金鑰 | GOOGLE_API_KEY | GOOGLE_API_KEY | OPENAI_API_KEY |
| 最長長度 | 8 秒 | 8 秒 | 20 秒 |
| 解析度 | 720p、1080p | 720p、1080p | 最高 1080p |
| 長寬比 | 16:9、9:16 | 16:9、9:16 | 16:9、9:16、1:1 |
| 音訊(對話、音效) | ✅ 有 | ✅ 有 | ❌ 無 |
| 圖片轉影片 | ✅ 有 | ✅ 有 | ✅ 有 |
| 參考圖片 | ✅ 最多 3 張 | ✅ 最多 3 張 | ❌ 無 |
| 影片延伸 | ✅ 有 | ✅ 有 | ❌ 無 |
| 批次生成 | ✅ 有 | ✅ 有 | ❌ 無 |
| 速度 | 最佳品質 | 約快 2 倍 | 較慢 |
| 最適合 | 專業用途 | 批次工作流程 | 更長的影片 |