AI 虛擬人物與說話頭影片
透過 inference.sh CLI 建立 AI 虛擬人物和說話頭影片。

快速開始
需要 inference.sh CLI(
belt)。安裝說明
belt login
# 推薦:P-Video-Avatar(最快、最便宜、內建 TTS)
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "您好,歡迎來到我們的產品示範!",
"voice": "Zephyr (Female)"
}'
可用模型
從 P-Video-Avatar 開始——它比替代方案快 18 倍、便宜 6 倍,內建 TTS、動態背景,支援 1080p。
| 模型 | App ID | 最佳用途 | 內建 TTS |
|---|---|---|---|
| P-Video-Avatar | pruna/p-video-avatar | 最佳整體表現:速度、成本、品質、控制 | 是(30 種語音、10 種語言) |
| OmniHuman 1.5 | bytedance/omnihuman-1-5 | 多角色、音訊驅動 | 否 |
| Fabric 1.0 | falai/fabric-1-0 | 圖片說話搭配嘴型同步 | 是 |
| PixVerse Lipsync | falai/pixverse-lipsync | 高度真實的嘴型同步 | 否 |
成本與速度比較
| 模型 | 速度(每秒影片) | 每秒成本 |
|---|---|---|
| P-Video-Avatar | ~1.83s/s | $0.025 |
| OmniHuman 1.5 | ~28s/s(慢 15 倍) | $0.16(貴 6.4 倍) |
| Fabric 1.0 | ~34s/s(慢 18 倍) | $0.14(貴 5.6 倍) |
範例
P-Video-Avatar(推薦)
從人像照片搭配文字腳本,使用內建 TTS 生成虛擬人物:
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "歡迎來到我們的產品導覽。今天我將向您展示三個關鍵功能。",
"voice": "Puck (Male)",
"voice_language": "English (US)",
"resolution": "720p"
}'
搭配自訂風格控制:
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "這是個令人興奮的消息!",
"voice": "Aoede (Female)",
"voice_prompt": "熱情且充滿活力的語氣",
"video_prompt": "這個人在舞台上,搭配戲劇性燈光進行簡報",
"resolution": "1080p"
}'
使用音訊檔案而非 TTS:
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"audio": "https://speech.mp3"
}'
完整工作流程:產生人像 + 虛擬人物
使用 Pruna P-Image 產生人像,再建立虛擬人物:
# 1. 產生人像圖片
belt app run pruna/p-image --input '{
"prompt": "專業女性半身照,中性背景,直視鏡頭,棚拍燈光,擬真風格",
"aspect_ratio": "9:16"
}'
# 2. 使用內建 TTS 建立虛擬人物影片
belt app run pruna/p-video-avatar --input '{
"image": "<第一步驟產生的圖片網址>",
"voice_script": "嗨!讓我為您介紹我們的最新功能。",
"voice": "Zephyr (Female)"
}'
OmniHuman 1.5(多角色)
belt app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
支援在多人物圖片中指定要驅動的角色。
Fabric 1.0(圖片說話)
belt app run falai/fabric-1-0 --input '{
"image_url": "https://face.jpg",
"audio_url": "https://audio.mp3"
}'
PixVerse Lipsync
belt app run falai/pixverse-lipsync --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
完整工作流程:TTS + 虛擬人物(非 TTS 模型)
對於沒有內建 TTS 的模型,先產生語音:
# 1. 從文字產生語音
belt app run infsh/kokoro-tts --input '{
"prompt": "歡迎來到我們的產品示範。今天我將向您展示..."
}' > speech.json
# 2. 使用語音建立虛擬人物影片
belt app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://presenter-photo.jpg",
"audio_url": "<第一步驟產生的音訊網址>"
}'
完整工作流程:將影片配音成另一種語言
# 1. 轉錄原始影片
belt app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json
# 2. 翻譯文字(手動或使用 LLM)
# 3. 以新語言產生語音
belt app run infsh/kokoro-tts --input '{"text": "<翻譯後的文字>"}' > new_speech.json
# 4. 將原始影片與新音訊進行嘴型同步
belt app run infsh/latentsync-1-6 --input '{
"video_url": "https://original-video.mp4",
"audio_url": "<新音訊網址>"
}'
使用案例
- 行銷:以 AI 主持人進行產品示範
- 教育:課程影片、解說影片
- 在地化:以多種語言配音內容
- 社群媒體:一致的虛擬網紅
- 企業:訓練影片、公告
- 遊戲:角色虛擬人物、NPC 對話
提示
- 使用高品質的人像照片(正面、光線充足)
- 音訊應清晰,背景噪音要少
- P-Video-Avatar 支援內建 TTS——無需另外進行語音產生步驟
- P-Video-Avatar 的輸出畫面比例與輸入圖片一致
- 使用
pruna/p-image產生人像時,採用9:16的畫面比例以製作垂直影片 - OmniHuman 1.5 支援同一張圖片中的多人物
- LatentSync 最適合將現有影片與新音訊進行同步
相關技能
# 專用 P-Video-Avatar 技能
npx skills add inference-sh/skills@p-video-avatar
# 完整平台技能(超過 250 個應用程式)
npx skills add inference-sh/skills@infsh-cli
# 文字轉語音(為無 TTS 的虛擬人物模型產生音訊)
npx skills add inference-sh/skills@text-to-speech
# 語音轉文字(為配音進行轉錄)
npx skills add inference-sh/skills@speech-to-text
# 影片生成
npx skills add inference-sh/skills@ai-video-generation
# 圖片生成(建立虛擬人物圖片)
npx skills add inference-sh/skills@ai-image-generation
瀏覽所有影片應用程式:belt app list --category video