AI 虚拟形象与说话头像视频
通过 inference.sh CLI 创建 AI 虚拟形象和说话头像视频。
快速开始
curl -fsSL https://cli.inference.sh | sh && infsh login
# 从图像和音频创建虚拟形象视频
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
可用模型
| 模型 | 应用ID | 最佳用途 |
|---|---|---|
| OmniHuman 1.5 | bytedance/omnihuman-1-5 | 多人物,最佳质量 |
| OmniHuman 1.0 | bytedance/omnihuman-1-0 | 单人物 |
| Fabric 1.0 | falai/fabric-1-0 | 图像说话与唇形同步 |
| PixVerse Lipsync | falai/pixverse-lipsync | 高保真唇形同步 |
搜索虚拟形象应用
infsh app list --search "omnihuman"
infsh app list --search "lipsync"
infsh app list --search "fabric"
示例
OmniHuman 1.5(多人物)
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
支持在多人物图像中指定驱动哪个人物。
Fabric 1.0(图像说话)
infsh app run falai/fabric-1-0 --input '{
"image_url": "https://face.jpg",
"audio_url": "https://audio.mp3"
}'
PixVerse Lipsync
infsh app run falai/pixverse-lipsync --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
从任意音频生成高保真唇形同步。
完整工作流:TTS + 虚拟形象
# 1. 从文本生成语音
infsh app run infsh/kokoro-tts --input '{
"text": "欢迎来到我们的产品演示。今天我将向您展示..."
}' > speech.json
# 2. 使用生成的语音创建虚拟形象视频
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://presenter-photo.jpg",
"audio_url": "<第一步中的音频URL>"
}'
完整工作流:将视频配音成另一种语言
# 1. 转录原始视频
infsh app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json
# 2. 翻译文本(手动或使用LLM)
# 3. 生成新语言的语音
infsh app run infsh/kokoro-tts --input '{"text": "<翻译后的文本>"}' > new_speech.json
# 4. 将原始视频与新音频进行唇形同步
infsh app run infsh/latentsync-1-6 --input '{
"video_url": "https://original-video.mp4",
"audio_url": "<新音频URL>"
}'
使用场景
- 市场营销:使用AI主持人的产品演示
- 教育:课程视频、讲解视频
- 本地化:将内容配音成多种语言
- 社交媒体:一致的虚拟网红
- 企业:培训视频、公告
技巧
- 使用高质量的肖像照片(正面、光线良好)
- 音频应清晰,背景噪音尽可能少
- OmniHuman 1.5 支持单张图像中的多个人物
- LatentSync 最适合将现有视频与新音频同步
相关技能
# 完整平台技能(150+ 个应用)
npx skills add inference-sh/skills@inference-sh
# 文本转语音(为虚拟形象生成音频)
npx skills add inference-sh/skills@text-to-speech
# 语音转文本(为配音进行转录)
npx skills add inference-sh/skills@speech-to-text
# 视频生成
npx skills add inference-sh/skills@ai-video-generation
# 图像生成(创建虚拟形象图像)
npx skills add inference-sh/skills@ai-image-generation
浏览所有视频应用:infsh app list --category video