AI 影片生成技能
從文字描述使用 AI 產生完整影片。
功能
- 圖片生成 - DALL-E 3、Stable Diffusion、Flux
- 影片生成 - LumaAI、Runway、Replicate 模型
- 旁白配音 - OpenAI TTS、ElevenLabs
- 影片剪輯 - FFmpeg 組裝、轉場、疊加效果
快速開始
# 生成完整影片
python skills/ai-video-gen/generate_video.py --prompt "山脈上的日落" --output sunset.mp4
# 僅將圖片轉為影片
python skills/ai-video-gen/images_to_video.py --images img1.png img2.png --output result.mp4
# 加入旁白
python skills/ai-video-gen/add_voiceover.py --video input.mp4 --text "您的旁白" --output final.mp4
設定
必需的 API 金鑰
加入您的環境變數或 .env 檔案中:
# 圖片生成(選擇其中一個)
OPENAI_API_KEY=sk-... # DALL-E 3
REPLICATE_API_TOKEN=r8_... # Stable Diffusion、Flux
# 影片生成(選擇其中一個)
LUMAAI_API_KEY=luma_... # LumaAI Dream Machine
RUNWAY_API_KEY=... # Runway ML
REPLICATE_API_TOKEN=r8_... # 多種模型
# 語音(選用)
OPENAI_API_KEY=sk-... # OpenAI TTS
ELEVENLABS_API_KEY=... # ElevenLabs
# 或者使用免費的本地選項(不需要 API)
安裝相依套件
pip install openai requests pillow replicate python-dotenv
FFmpeg
已透過 winget 安裝。
使用範例
1. 文字轉影片(完整管線)
python skills/ai-video-gen/generate_video.py \
--prompt "夜晚未來城市,有飛天車" \
--duration 5 \
--voiceover "歡迎來到未來" \
--output future_city.mp4
2. 多場景
python skills/ai-video-gen/multi_scene.py \
--scenes "早晨日出" "繁忙城市街道" "寧靜夜晚" \
--duration 3 \
--output day_in_life.mp4
3. 圖片序列轉影片
python skills/ai-video-gen/images_to_video.py \
--images frame1.png frame2.png frame3.png \
--fps 24 \
--output animation.mp4
工作流程選項
預算模式(免費)
- 圖片:Stable Diffusion(本地或免費 API)
- 影片:開源模型
- 語音:OpenAI TTS(便宜)或免費 TTS
- 剪輯:FFmpeg
高品質模式(付費)
- 圖片:DALL-E 3 或 Midjourney
- 影片:Runway Gen-3 或 LumaAI
- 語音:ElevenLabs
- 剪輯:FFmpeg + 特效
腳本參考
generate_video.py- 主要的端到端生成器images_to_video.py- 將圖片序列轉換為影片add_voiceover.py- 為現有影片加入旁白multi_scene.py- 建立多場景影片edit_video.py- 套用特效、轉場、疊加效果
API 成本估算
- DALL-E 3:每張約 $0.04-0.08
- Replicate:每次生成約 $0.01-0.10
- LumaAI:每 5 秒 $0-0.50(有免費方案)
- Runway:每秒約 $0.05
- OpenAI TTS:每 1000 字元約 $0.015
- ElevenLabs:每 1000 字元約 $0.30(品質較佳)
範例
請參閱 examples/ 資料夾以取得範例輸出和提示。