AI アバター&トーキングヘッド動画
inference.sh CLI を使用して、AI アバターとトーキングヘッド動画を作成します。
クイックスタート
curl -fsSL https://cli.inference.sh | sh && infsh login
# 画像と音声からアバター動画を作成
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
利用可能なモデル
| モデル | アプリ ID | 最適な用途 |
|---|---|---|
| OmniHuman 1.5 | bytedance/omnihuman-1-5 | 複数キャラクター、最高品質 |
| OmniHuman 1.0 | bytedance/omnihuman-1-0 | 単一キャラクター |
| Fabric 1.0 | falai/fabric-1-0 | 画像がリップシンクで話す |
| PixVerse Lipsync | falai/pixverse-lipsync | 非常にリアルなリップシンク |
アバターアプリの検索
infsh app list --search "omnihuman"
infsh app list --search "lipsync"
infsh app list --search "fabric"
使用例
OmniHuman 1.5(複数キャラクター)
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
複数人物の画像で駆動するキャラクターを指定できます。
Fabric 1.0(画像が話す)
infsh app run falai/fabric-1-0 --input '{
"image_url": "https://face.jpg",
"audio_url": "https://audio.mp3"
}'
PixVerse Lipsync
infsh app run falai/pixverse-lipsync --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
任意の音声から非常にリアルなリップシンクを生成します。
完全ワークフロー:TTS + アバター
# 1. テキストから音声を生成
infsh app run infsh/kokoro-tts --input '{
"text": "製品デモへようこそ。本日は..."
}' > speech.json
# 2. 生成した音声でアバター動画を作成
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://presenter-photo.jpg",
"audio_url": "<step-1 の音声URL>"
}'
完全ワークフロー:動画を別言語に吹き替え
# 1. 元の動画を文字起こし
infsh app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json
# 2. テキストを翻訳(手動または LLM を使用)
# 3. 新しい言語で音声を生成
infsh app run infsh/kokoro-tts --input '{"text": "<翻訳テキスト>"}' > new_speech.json
# 4. 元の動画に新しい音声でリップシンク
infsh app run infsh/latentsync-1-6 --input '{
"video_url": "https://original-video.mp4",
"audio_url": "<新しい音声のURL>"
}'
ユースケース
- マーケティング: AI プレゼンターによる製品デモ
- 教育: コース動画、説明動画
- ローカライゼーション: 複数言語へのコンテンツ吹き替え
- ソーシャルメディア: 一貫性のあるバーチャルインフルエンサー
- 企業: トレーニング動画、お知らせ
ヒント
- 高品質なポートレート写真を使用する(正面を向き、照明良好)
- 音声は明瞭でバックグラウンドノイズが最小限であること
- OmniHuman 1.5 は一枚の画像内の複数人物に対応
- LatentSync は既存の動画に新しい音声を同期させるのに最適
関連スキル
# フルプラットフォームスキル(全 150 以上のアプリ)
npx skills add inference-sh/skills@inference-sh
# テキスト読み上げ(アバター用音声生成)
npx skills add inference-sh/skills@text-to-speech
# 音声認識(吹き替え用文字起こし)
npx skills add inference-sh/skills@speech-to-text
# 動画生成
npx skills add inference-sh/skills@ai-video-generation
# 画像生成(アバター画像作成)
npx skills add inference-sh/skills@ai-image-generation
すべての動画アプリを参照: infsh app list --category video
ドキュメント
- アプリの実行 - CLI でアプリを実行する方法
- コンテンツパイプラインの例 - メディアワークフローの構築
- ストリーミング結果 - リアルタイムの進捗状況