AI 虛擬角色與說話頭像影片
透過 inference.sh CLI 建立 AI 虛擬角色與說話頭像影片。
快速開始
curl -fsSL https://cli.inference.sh | sh && infsh login
# 從圖片與音訊建立角色影片
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
可用模型
| 模型 | 應用程式 ID | 最佳用途 |
|---|---|---|
| OmniHuman 1.5 | bytedance/omnihuman-1-5 | 多角色、最佳品質 |
| OmniHuman 1.0 | bytedance/omnihuman-1-0 | 單一角色 |
| Fabric 1.0 | falai/fabric-1-0 | 圖片說話與嘴型同步 |
| PixVerse Lipsync | falai/pixverse-lipsync | 高度擬真 |
搜尋角色應用程式
infsh app list --search "omnihuman"
infsh app list --search "lipsync"
infsh app list --search "fabric"
範例
OmniHuman 1.5(多角色)
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
支援在多人圖片中指定要驅動的角色。
Fabric 1.0(圖片說話)
infsh app run falai/fabric-1-0 --input '{
"image_url": "https://face.jpg",
"audio_url": "https://audio.mp3"
}'
PixVerse Lipsync
infsh app run falai/pixverse-lipsync --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
從任何音訊產生高度擬真的嘴型同步。
完整工作流程:TTS + 角色
# 1. 從文字生成語音
infsh app run infsh/kokoro-tts --input '{
"text": "歡迎來到我們的產品示範。今天我將向您展示..."
}' > speech.json
# 2. 使用該語音建立角色影片
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://presenter-photo.jpg",
"audio_url": "<步驟1的音訊網址>"
}'
完整工作流程:替影片配上另一種語言配音
# 1. 轉寫原始影片
infsh app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json
# 2. 翻譯文字(手動或使用 LLM)
# 3. 以新語言生成語音
infsh app run infsh/kokoro-tts --input '{"text": "<已翻譯的文字>"}' > new_speech.json
# 4. 將原始影片與新音訊進行唇形同步
infsh app run infsh/latentsync-1-6 --input '{
"video_url": "https://original-video.mp4",
"audio_url": "<新音訊網址>"
}'
使用案例
- 行銷:由 AI 主持人示範產品
- 教育:課程影片、解說影片
- 在地化:用多種語言為內容配音
- 社交媒體:一致的虛擬網紅
- 企業:訓練影片、公告
提示
- 使用高品質的正面人物照片(正面、光線良好)
- 音訊應清晰、背景噪音低
- OmniHuman 1.5 支援單張圖片中的多人
- LatentSync 最適合將現有影片與新音訊同步
相關技能
# 完整平台技能(150 多個應用程式)
npx skills add inference-sh/skills@inference-sh
# 文字轉語音(為角色生成音訊)
npx skills add inference-sh/skills@text-to-speech
# 語音轉文字(為配音轉寫)
npx skills add inference-sh/skills@speech-to-text
# 影片生成
npx skills add inference-sh/skills@ai-video-generation
# 圖片生成(建立角色圖片)
npx skills add inference-sh/skills@ai-image-generation
瀏覽所有影片應用程式:infsh app list --category video