视频生成技能
使用 AI(Google Veo 3.1、OpenAI Sora)生成视频。
能力:
- 🎬 文生视频:根据文本描述创建视频
- 🖼️ 图生视频:以图像作为第一帧制作动画
- 🔊 音频生成:对话、音效、环境音(Veo 3+)
- 🎭 参考图像:使用最多 3 张参考图像指导视频内容(Veo 3.1)
前提条件
默认:Vertex AI(每分钟 10 次请求)⭐
Vertex AI 是默认后端,速率限制高出 1400 倍:
# 1. 设置项目
export GOOGLE_CLOUD_PROJECT=your-project-id
# 2. 进行身份验证(打开浏览器)
gcloud auth application-default login
# 3. 启用 API(一次性操作)
gcloud services enable aiplatform.googleapis.com
添加到您的 .env 文件中:
GOOGLE_CLOUD_PROJECT=your-project-id
GOOGLE_CLOUD_LOCATION=us-central1
备用:AI Studio(每天 10 次请求)
仅当您没有 GCP 项目时使用:
GOOGLE_API_KEY- 从 https://aistudio.google.com/apikey 获取
对于 Sora(OpenAI)
OPENAI_API_KEY- 用于 OpenAI Sora
可用模型
Google Veo 模型
| 模型 | 描述 | 最佳用途 |
|---|---|---|
veo-3.1 | 最高质量(默认) | 专业视频、对话、参考图像 |
veo-3.1-fast | 更快处理 | 快速迭代、批量生成 |
两个模型均包含:
- 720p/1080p 分辨率
- 4、6 或 8 秒时长
- 原生音频(对话、音效、环境音)
- 图生视频(图像动画)
- 参考图像(最多 3 张)
- 视频扩展
- 批量/并行生成
OpenAI Sora
- 最佳用途:创意视频、电影级质量、复杂运动
- 分辨率:480p、720p、1080p
- 时长:5 秒、10 秒、15 秒、20 秒
- 功能:文生视频、图生视频
工作流程
第 1 步:收集需求(必选)
⚠️ 使用交互式提问——一次只问一个问题。
提问流程
⚠️ 对以下每个问题使用 AskUserQuestion 工具。 不要仅仅在回复中打印问题——使用该工具创建包含所示选项的交互式提示。
问题 1:图像
“我将为您生成该视频!首先——您是否有要动画化的图像?
- 是(提供路径——我将将其用作第一帧)
- 否,从头生成”
等待回复。
问题 2:音频
“您想要什么 音频偏好?
- 带音频(默认)——Veo 3.1 生成对话、音效、环境音
- 静音视频——无音频”
等待回复。
问题 3:模型
“您想要哪个 模型?
veo-3.1— 最新、最高质量,带音频(默认)veo-3.1-fast— 更快处理,带音频veo-3/veo-3-fast— 上一代,带音频sora— OpenAI,最长 20 秒,无音频”
等待回复。
问题 4:时长
“您想要什么 时长?
- 4 秒
- 6 秒
- 8 秒(默认)”
等待回复。
问题 5:格式
“您想要什么 宽高比和分辨率?
- 16:9 横向,720p
- 16:9 横向,1080p
- 9:16 纵向,720p
- 9:16 纵向,1080p
- 或自行指定”
等待回复。
快速参考
| 问题 | 决定 |
|---|---|
| 图像 | 图生视频 vs 文生视频 |
| 音频 | 带/不带音频生成 |
| 模型 | 质量与速度的权衡 |
| 时长 | 片段长度 |
| 格式 | 宽高比和分辨率 |
第 2 步:编写提示
将用户请求转化为有效的视频提示:
- 描述场景:设置视觉背景
- 指定动作:什么在移动、变化、发生
- 包含镜头运动:“慢速平移”、“跟踪镜头”、“推拉镜头”
- 添加音频提示(Veo 3+):使用引号表示对话,描述声音
- 设定情绪:照明、氛围、一天中的时间
带对话的示例(Veo 3.1):
- 用户:“一个人发现宝藏”
- 增强版:“特写镜头展示一位寻宝者的脸,火把的光闪烁不定。他喃喃自语‘这一定是...’,同时拂去古老箱子上的灰尘。打开时传来铰链吱吱作响的声音,金色的光芒映照在他充满敬畏的脸上。电影感、戏剧性阴影。”
不带对话的示例:
- 用户:“一只狗在海滩上奔跑”
- 增强版:“慢动作电影镜头,一只金毛猎犬在日落时分快乐地沿着海滩奔跑,海浪拍打,温暖的金色时刻照明,浅景深”
第 3 步:选择模型
默认:veo-3.1(最高质量,带音频)
| 使用场景 | 推荐模型 | 原因 |
|---|---|---|
| 最佳质量 | veo-3.1(默认) | 最高质量,带音频 |
| 快速迭代 | veo-3.1-fast | 更快处理 |
| 批量生成 | veo-3.1-fast | 多片段时速度优先 |
| 长视频(>8 秒) | sora | 支持最长 20 秒 |
第 4 步:生成视频
执行 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/ 中的相应脚本:
对于 Google Veo 3.1(默认,带音频):
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "您的增强提示('引号内为对话')" \
--model "veo-3.1" \
--duration 8 \
--aspect-ratio "16:9" \
--resolution "720p"
对于带图像输入的 Google Veo 3.1:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "猫慢慢睁开眼睛并打哈欠" \
--image "/path/to/cat.jpg" \
--model "veo-3.1" \
--duration 8
对于更快的生成:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "您的提示" \
--model "veo-3.1-fast"
对于 OpenAI Sora(更长的视频):
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/sora.py \
--prompt "您的增强提示" \
--duration 20 \
--resolution "1080p"
列出可用模型:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py --list-models
视频扩展(用于长片连续性)
--extend 标志创建真正的视觉连续性,通过从上一个 Veo 视频结束的地方继续。这是长片视频的最佳方法。
基本扩展:
# 首先,生成初始片段
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "一个人在日出时走过森林" \
--duration 8
# 用新内容扩展它(增加约 7 秒)
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--extend veo_veo-3.1_20260104_120000.mp4 \
--prompt "继续走,发现一条隐藏的小溪"
多次扩展(用于更长的视频):
# 扩展 5 次(增加约 35 秒的延续)
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--extend initial_clip.mp4 \
--prompt "继续探索森林,遇到野生动物" \
--extend-times 5
扩展 vs 拼接:
| 方法 | 结果 | 使用场景 |
|---|---|---|
| 扩展 | 真正连续性,相同角色/场景 | 长连续镜头 |
| 拼接 | 带转场的独立片段 | 场景切换、蒙太奇 |
扩展限制:
- 输入视频必须是 Veo 生成的(最长 141 秒)
- 每次扩展增加约 7 秒
- 总计最多 20 次扩展(约 2.5 分钟)
- 输出分辨率为 720p
批量生成(并行)
同时生成多个视频,以加快多场景工作流程。无需等待 15 分钟以上依次生成 5 个视频,而是全部并行生成(总共约 3 分钟)。
创建 scenes.json 文件:
[
{"prompt": "场景 1:在深色表面上的无线耳塞的 cinematic 英雄镜头", "duration": 6, "output": "scene1_hero.mp4"},
{"prompt": "场景 2:声波可视化,一个人享受音乐", "duration": 8, "output": "scene2_sound.mp4"},
{"prompt": "场景 3:耳塞在耳朵中的特写,一个人锻炼", "duration": 8, "output": "scene3_comfort.mp4"},
{"prompt": "场景 4:生活方式蒙太奇,各种设置", "duration": 8, "output": "scene4_lifestyle.mp4"},
{"prompt": "场景 5:产品在干净背景上带有标志", "duration": 4, "output": "scene5_cta.mp4"}
]
并行生成所有场景:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--batch scenes.json
使用自定义工作线程数:
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--batch scenes.json \
--max-workers 3
每个视频的批次配置选项:
| 选项 | 描述 | 默认值 |
|---|---|---|
prompt | 视频描述(必填) | - |
model | veo-3.1、veo-3.1-fast 等 | veo-3.1 |
duration | 4、6 或 8 秒 | 8 |
aspect_ratio | “16:9”或“9:16” | “16:9” |
resolution | “720p”或“1080p” | “720p” |
image | 用于图生视频的图像路径 | - |
negative_prompt | 要避免的内容 | - |
output | 自定义输出文件名 | 自动生成 |
速度比较:
| 场景数 | 顺序 | 并行(5 个工作线程) | 加速比 |
|---|---|---|---|
| 3 | ~9 分钟 | ~3 分钟 | 3 倍 |
| 5 | ~15 分钟 | ~3 分钟 | 5 倍 |
| 10 | ~30 分钟 | ~6 分钟 | 5 倍 |
第 5 步:交付结果
- 提供生成的视频文件/URL
- 分享使用的增强提示
- 提及生成设置(时长、分辨率)
- 提供以下选项:
- 生成变体
- 尝试不同的样式/时长
- 使用不同的 API
- 扩展视频
错误处理
缺少 API 密钥:告知用户所需的密钥:
内容政策违规:适当改写提示。
生成失败:使用简化的提示或不同的 API 重试。
配额超限:建议等待或尝试其他提供商。
提示工程技巧
对于音频(Veo 3.1)
- 对话:使用引号表示语言:
“你好!”她兴奋地说 - 音效:明确描述:
轮胎尖叫,引擎轰鸣 - 环境音:描述声音景观:
鸟鸣,远处交通 - 示例:
一个男人低声说“你听到了吗?”随着脚步声在黑暗的走廊中回响
对于电影级质量
- 包含镜头方向:“慢速推拉”、“跟踪镜头”、“升降镜头”
- 指定照明:“黄金时刻”、“戏剧性阴影”、“柔和的漫射光”
- 添加电影参考:“银翼杀手风格”、“韦斯·安德森美学”
对于逼真运动
- 描述物理:“自然运动”、“逼真物理”
- 包含环境细节:“风吹头发”、“树叶沙沙作响”
- 指定速度:“慢动作”、“实时”、“延时摄影”
对于图生视频
- 描述起始图像中应该改变/移动的内容
- 具体说明动作:“猫慢慢睁开眼睛”
- 包含环境运动:“树叶吹过”
负向提示
- 描述不要包含的内容:
--negative-prompt “卡通、低质量、模糊” - 不要使用“no”或“不要”——只需描述不想要的元素
API 比较
| 功能 | Veo 3.1(默认) | Veo 3.1 Fast | Sora |
|---|---|---|---|
| 提供商 | OpenAI | ||
| API 密钥 | GOOGLE_API_KEY | GOOGLE_API_KEY | OPENAI_API_KEY |
| 最大时长 | 8 秒 | 8 秒 | 20 秒 |
| 分辨率 | 720p、1080p | 720p、1080p | 最高 1080p |
| 宽高比 | 16:9、9:16 | 16:9、9:16 | 16:9、9:16、1:1 |
| 音频(对话、音效) | ✅ 是 | ✅ 是 | ❌ 否 |
| 图生视频 | ✅ 是 | ✅ 是 | ✅ 是 |
| 参考图像 | ✅ 最多 3 张 | ✅ 最多 3 张 | ❌ 否 |
| 视频扩展 | ✅ 是 | ✅ 是 | ❌ 否 |
| 批量生成 | ✅ 是 | ✅ 是 | ❌ 否 |
| 速度 | 最佳质量 | ~2 倍更快 | 较慢 |
| 最佳用途 | 专业 | 批量工作流程 | 更长的视频 |