video-generator — 多模型云端视频生成 (Higgsfield)
通过 Higgsfield 生成视频片段——该平台聚合了 6 个以上领先模型,统一 API 和计费账户。根据成本与质量权衡选择合适的模型,其余界面完全相同。
技能目录(此 SKILL.md 所在目录)下文简称为 $SKILL_DIR。
云端运行。 无需本地 GPU。需要 Higgsfield 账户和 API 密钥,可从 cloud.higgsfield.ai 获取。
模式
| 模式 | 触发条件 | 效果 |
|---|---|---|
text-to-video | input/ 中无图片 | 仅根据提示词生成视频 |
image-to-video | input/ 中有图片 | 将每张图片动画化为一个片段 |
auto(默认) | — | 自动选择上述模式 |
预设
技能使用预设作为同一视频引擎上的薄覆盖层。预设可以设置默认模型、画面比例、时长和提示词前缀。显式配置值仍优先。
| 预设 | 最佳用途 | 默认模型 | 默认比例 |
|---|---|---|---|
cinematic(默认) | 通用电影级视频 | kling | 16:9 |
social-hook | 吸引眼球的短视频 | seedance | 9:16 |
motion-design-ad | SaaS/产品动态广告 | kling | 16:9 |
ecommerce-ad | 产品促销片段 | kling | 9:16 |
brand-story | 创始人/品牌叙事 | kling | 16:9 |
product-360 | 孤立产品展示 | kling | 1:1 |
工作流规则:
- 在编辑
config.json之前先选择预设 - 确认预设与期望的输出风格匹配
- 如果用户未选择,保留默认预设并在配置中记录
- 不要重复叠加相同风格;如果提示词已匹配预设,保持提示词不变
模型
| 键 | 完整模型 ID | 最佳用途 |
|---|---|---|
kling(默认) | kling-video/v2.1/pro/image-to-video | 真实运动,成本高效 |
seedance | bytedance/seedance/v1/pro/image-to-video | 原生音频同步 |
dop | higgsfield-ai/dop/standard | 影院工作室光学物理效果 |
dop-preview | higgsfield-ai/dop/preview | 影院工作室(预览版) |
以上是官方文档确认的模型 ID。更多模型(Sora、Veo、Wan 等)可在 cloud.higgsfield.ai/explore 找到。 要添加新模型,请将其插入
generate.py中的MODEL_IDS并添加一个--model别名。仅成功生成才计费;失败和 NSFW 请求会退款。
设置(仅首次运行)
cd "$SKILL_DIR" && uv sync
从 cloud.higgsfield.ai 获取凭据(API 密钥 + API 秘密),然后使用以下一种形式导出:
# 选项 A — 合并(推荐)
export HF_KEY="your-api-key:your-api-secret"
# 选项 B — 分开变量
export HF_API_KEY="your-api-key"
export HF_API_SECRET="your-api-secret"
代理工作流
1. 询问用户
在生成视频之前,我需要了解以下信息:
🎬 模式
- text-to-video(仅提示词)或 image-to-video(将图片放入 input/)
- 默认:自动检测
🎛️ 预设(默认:cinematic)
- cinematic · social-hook · motion-design-ad · ecommerce-ad · brand-story · product-360
- 在写入 config.json 前确认选择
- 如果省略,保留默认预设并记录该选择
🤖 模型(默认:kling)
kling · seedance · dop · dop-preview
建议:kling 用于速度/成本,seedance 用于质量
💬 提示词(必填)
描述运动或场景,例如:
“缓慢电影推近,温暖金色光线,微妙的相机漂移”
⚙️ 设置
- duration — 视频长度(秒)(默认:6,范围:3–16)
- aspect_ratio — 16:9 · 9:16 · 1:1(默认:16:9)
- resolution — 720p · 1080p(默认:1080p)
等待用户响应后再继续。
2. 编辑 config.json
根据用户的选择写入或更新 $SKILL_DIR/config.json。即使使用默认预设,也要显式设置 preset。
3.(仅图片转视频)放置图片
将源图片复制到 $SKILL_DIR/input/。支持的格式:.jpg .jpeg .png .webp
4. 运行
cd "$SKILL_DIR" && uv run python scripts/generate.py --config config.json
5. 报告结果
告知用户:
output/中的输出文件路径- 使用的模型和大致信用点成本
- 视频时长和分辨率
配置参考
| 键 | 值 | 默认值 | 描述 |
|---|---|---|---|
input_dir | 路径 | ./input | 源图片目录(仅图片转视频) |
output_dir | 路径 | ./output | MP4 输出目录 |
mode | auto · text-to-video · image-to-video | auto | 生成模式 |
preset | cinematic · social-hook · motion-design-ad · ecommerce-ad · brand-story · product-360 | cinematic | 创意预设覆盖 |
model | kling · seedance · dop · dop-preview | kling | 使用的模型 |
prompt | 字符串 | (必填) | 运动或场景描述 |
duration | 整数 3–16 | 5 | 视频长度(秒) |
aspect_ratio | 16:9 · 9:16 · 1:1 | 16:9 | 输出画面比例 |
extra_params | 对象 | {} | 透传给模型 API 的附加参数 |
常见调用
# 文本转视频,使用默认模型 (kling)
cd "$SKILL_DIR" && uv run python scripts/generate.py \
--prompt "日出时迷雾山峦上的无人机镜头" --duration 8
# 图片转视频,使用 Kling(先将图片放入 input/)
cd "$SKILL_DIR" && uv run python scripts/generate.py \
--prompt "缓慢电影推近,金色光线" --model kling
# 更高质量:Seedance
cd "$SKILL_DIR" && uv run python scripts/generate.py \
--prompt "黎明时雾城上方的拉远航拍" --model seedance
# 竖屏视频,适用于 Reels/TikTok
cd "$SKILL_DIR" && uv run python scripts/generate.py \
--prompt "讲述者头部特写,自然虚化背景" \
--aspect-ratio 9:16 --model kling
# 快速草图:更低分辨率,更短剪辑
cd "$SKILL_DIR" && uv run python scripts/generate.py \
--prompt "深色背景上的产品展示" \
--resolution 720p --duration 4 --model dop-preview
输出
每个任务将生成一个 .mp4 文件到 output_dir:
- 文本转视频:
output.mp4 - 图片转视频:每张输入图片生成一个
<图片文件名_stem>.mp4
对比 animate-image
animate-image | video-generator | |
|---|---|---|
| 提供商 | fal.ai | Higgsfield |
| 模式 | 仅图片→视频 | 文本→视频 + 图片→视频 |
| 模型 | LTX-2.3 Fast(固定) | Kling、Sora、Veo、Wan、Seedance、MiniMax |
| 速度 | 非常快 | 取决于模型 |
| 最大分辨率 | 4K | 1080p |
| 电影控制 | 否 | 通过 extra_params |
使用 animate-image 用于从图片快速、廉价、高分辨率地生成视频片段。
使用 video-generator 当你需要文本转视频、模型选择或 Higgsfield 影院工作室物理控制时。
API 说明
该技能直接与 Higgsfield REST API(cloud.higgsfield.ai)通信。模型端点路径在 generate.py 顶部的 MODEL_ENDPOINTS 中定义。如果 Higgsfield 更新了路由,通过配置中的 "extra_params" 覆盖或更新常量——无需其他更改。