AI 视频生成技能
使用 AI 从文本描述生成完整视频。
功能
- 图像生成 - DALL-E 3, Stable Diffusion, Flux
- 视频生成 - LumaAI, Runway, Replicate 模型
- 配音 - OpenAI TTS, ElevenLabs
- 视频编辑 - FFmpeg 组装、转场、叠加
快速开始
# 生成完整视频
python skills/ai-video-gen/generate_video.py --prompt "山上的日落" --output sunset.mp4
# 仅图像转视频
python skills/ai-video-gen/images_to_video.py --images img1.png img2.png --output result.mp4
# 添加配音
python skills/ai-video-gen/add_voiceover.py --video input.mp4 --text "您的旁白" --output final.mp4
设置
所需 API 密钥
添加到您的环境或 .env 文件中:
# 图像生成(选择其一)
OPENAI_API_KEY=sk-... # DALL-E 3
REPLICATE_API_TOKEN=r8_... # Stable Diffusion, Flux
# 视频生成(选择其一)
LUMAAI_API_KEY=luma_... # LumaAI Dream Machine
RUNWAY_API_KEY=... # Runway ML
REPLICATE_API_TOKEN=r8_... # 多种模型
# 语音(可选)
OPENAI_API_KEY=sk-... # OpenAI TTS
ELEVENLABS_API_KEY=... # ElevenLabs
# 或者使用免费本地选项(无需 API)
安装依赖
pip install openai requests pillow replicate python-dotenv
FFmpeg
已通过 winget 安装。
使用示例
1. 文本转视频(完整流程)
python skills/ai-video-gen/generate_video.py \
--prompt "夜晚的未来城市,有飞行汽车" \
--duration 5 \
--voiceover "欢迎来到未来" \
--output future_city.mp4
2. 多场景
python skills/ai-video-gen/multi_scene.py \
--scenes "清晨日出" "繁忙的城市街道" "宁静的夜晚" \
--duration 3 \
--output day_in_life.mp4
3. 图像序列转视频
python skills/ai-video-gen/images_to_video.py \
--images frame1.png frame2.png frame3.png \
--fps 24 \
--output animation.mp4
工作流选项
经济模式(免费)
- 图像:Stable Diffusion(本地或免费 API)
- 视频:开源模型
- 语音:OpenAI TTS(廉价)或免费 TTS
- 编辑:FFmpeg
高质量模式(付费)
- 图像:DALL-E 3 或 Midjourney
- 视频:Runway Gen-3 或 LumaAI
- 语音:ElevenLabs
- 编辑:FFmpeg + 特效
脚本参考
generate_video.py- 主端到端生成器images_to_video.py- 将图像序列转换为视频add_voiceover.py- 为现有视频添加旁白multi_scene.py- 创建多场景视频edit_video.py- 应用特效、转场、叠加
API 成本估算
- DALL-E 3: 每张图像约 $0.04-0.08
- Replicate: 每次生成约 $0.01-0.10
- LumaAI: 每 5 秒 $0-0.50(提供免费套餐)
- Runway: 每秒约 $0.05
- OpenAI TTS: 每 1K 字符约 $0.015
- ElevenLabs: 每 1K 字符约 $0.30(质量更高)
示例
查看 examples/ 文件夹中的示例输出和提示。