AI 虚拟形象与说话头像视频
通过 inference.sh CLI 创建 AI 虚拟形象和说话头像视频。

快速开始
需要 inference.sh CLI(
belt)。安装说明
belt login
# 推荐:P-Video-Avatar(最快、最便宜、内置 TTS)
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "你好,欢迎来到我们的产品演示!",
"voice": "Zephyr (Female)"
}'
可用模型
从 P-Video-Avatar 开始——它比替代方案快 18 倍、便宜 6 倍,内置 TTS、动态背景和 1080p 支持。
| 模型 | 应用 ID | 最佳用途 | 内置 TTS |
|---|---|---|---|
| P-Video-Avatar | pruna/p-video-avatar | 最佳整体:速度、成本、质量、控制 | 是(30 种语音,10 种语言) |
| OmniHuman 1.5 | bytedance/omnihuman-1-5 | 多人物、音频驱动 | 否 |
| Fabric 1.0 | falai/fabric-1-0 | 图像说话及唇同步 | 是 |
| PixVerse Lipsync | falai/pixverse-lipsync | 高度逼真的唇同步 | 否 |
成本与速度对比
| 模型 | 速度(每秒钟视频) | 每秒成本 |
|---|---|---|
| P-Video-Avatar | ~1.83 秒/秒 | $0.025 |
| OmniHuman 1.5 | ~28 秒/秒(慢 15 倍) | $0.16(贵 6.4 倍) |
| Fabric 1.0 | ~34 秒/秒(慢 18 倍) | $0.14(贵 5.6 倍) |
示例
P-Video-Avatar(推荐)
通过肖像 + 文本脚本使用内置 TTS 生成虚拟形象:
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "欢迎来到我们的产品演示。今天我将向您展示三个关键功能。",
"voice": "Puck (Male)",
"voice_language": "English (US)",
"resolution": "720p"
}'
带自定义风格控制:
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "这是个令人兴奋的消息!",
"voice": "Aoede (Female)",
"voice_prompt": "热情洋溢、充满活力的语气",
"video_prompt": "该人物正在聚光灯下于舞台上进行演示",
"resolution": "1080p"
}'
使用音频文件代替 TTS:
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"audio": "https://speech.mp3"
}'
完整工作流:生成肖像 + 虚拟形象
使用 Pruna P-Image 生成肖像,然后创建虚拟形象:
# 1. 生成肖像图像
belt app run pruna/p-image --input '{
"prompt": "professional headshot portrait of a young woman, neutral background, looking at camera, studio lighting, photorealistic",
"aspect_ratio": "9:16"
}'
# 2. 使用内置 TTS 创建虚拟形象视频
belt app run pruna/p-video-avatar --input '{
"image": "<image-url-from-step-1>",
"voice_script": "你好!让我带你了解我们最新的功能。",
"voice": "Zephyr (Female)"
}'
OmniHuman 1.5(多人物)
belt app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
支持指定多人物图像中要驱动的人物。
Fabric 1.0(图像说话)
belt app run falai/fabric-1-0 --input '{
"image_url": "https://face.jpg",
"audio_url": "https://audio.mp3"
}'
PixVerse Lipsync
belt app run falai/pixverse-lipsync --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
完整工作流:TTS + 虚拟形象(非 TTS 模型)
对于没有内置 TTS 的模型,先生成语音:
# 1. 从文本生成语音
belt app run infsh/kokoro-tts --input '{
"prompt": "欢迎来到我们的产品演示。今天我将向您展示..."
}' > speech.json
# 2. 使用生成的语音创建虚拟形象视频
belt app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://presenter-photo.jpg",
"audio_url": "<audio-url-from-step-1>"
}'
完整工作流:用另一种语言配音视频
# 1. 转录原始视频
belt app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json
# 2. 翻译文本(手动或使用 LLM)
# 3. 用新语言生成语音
belt app run infsh/kokoro-tts --input '{"text": "<translated-text>"}' > new_speech.json
# 4. 将原始视频与新的音频进行唇同步
belt app run infsh/latentsync-1-6 --input '{
"video_url": "https://original-video.mp4",
"audio_url": "<new-audio-url>"
}'
使用场景
- 营销:使用 AI 主持人的产品演示
- 教育:课程视频、讲解视频
- 本地化:多种语言的内容配音
- 社交媒体:统一的虚拟网红
- 企业:培训视频、公告
- 游戏:角色虚拟形象、NPC 对话
提示
- 使用高质量的正面肖像照片(正面朝向、光线良好)
- 音频应清晰,背景噪音尽量少
- P-Video-Avatar 支持内置 TTS,无需单独的语音生成步骤
- P-Video-Avatar 输出的宽高比与输入图像一致
- 使用
pruna/p-image生成肖像时,竖版视频建议使用9:16的宽高比 - OmniHuman 1.5 支持一张图像中的多个人物
- LatentSync 最适合将现有视频与新音频同步
相关技能
# 专用 P-Video-Avatar 技能
npx skills add inference-sh/skills@p-video-avatar
# 完整平台技能(全部 250+ 应用)
npx skills add inference-sh/skills@infsh-cli
# 文本转语音(为无 TTS 的虚拟形象模型生成音频)
npx skills add inference-sh/skills@text-to-speech
# 语音转文本(为配音进行转录)
npx skills add inference-sh/skills@speech-to-text
# 视频生成
npx skills add inference-sh/skills@ai-video-generation
# 图像生成(创建虚拟形象图像)
npx skills add inference-sh/skills@ai-image-generation
浏览所有视频应用:belt app list --category video