AIアバター&トーキングヘッド動画
inference.sh CLI を使ってAIアバターとトーキングヘッド動画を作成します。

クイックスタート
curl -fsSL https://cli.inference.sh | sh && infsh login
# 画像と音声からアバター動画を作成
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
インストールメモ: インストールスクリプトはOS/アーキテクチャを自動検出し、
dist.inference.shから適切なバイナリをダウンロードしてSHA-256チェックサムを検証します。昇格された権限やバックグラウンドプロセスは不要です。手動インストールと検証も可能です。
利用可能なモデル
| モデル | アプリID | 最適な用途 |
|---|---|---|
| OmniHuman 1.5 | bytedance/omnihuman-1-5 | 複数キャラクター、最高品質 |
| OmniHuman 1.0 | bytedance/omnihuman-1-0 | 単一キャラクター |
| Fabric 1.0 | falai/fabric-1-0 | 画像がリップシンクで話す |
| PixVerse Lipsync | falai/pixverse-lipsync | 非常にリアル |
アバターアプリの検索
infsh app list --search "omnihuman"
infsh app list --search "lipsync"
infsh app list --search "fabric"
使用例
OmniHuman 1.5(複数キャラクター)
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
複数人物の画像の中で、どのキャラクターを動かすかを指定できます。
Fabric 1.0(画像が話す)
infsh app run falai/fabric-1-0 --input '{
"image_url": "https://face.jpg",
"audio_url": "https://audio.mp3"
}'
PixVerse Lipsync
infsh app run falai/pixverse-lipsync --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
あらゆる音声から非常にリアルなリップシンクを生成します。
完全なワークフロー:TTS+アバター
# 1. テキストから音声を生成
infsh app run infsh/kokoro-tts --input '{
"text": "製品デモへようこそ。本日は..."
}' > speech.json
# 2. 生成した音声でアバター動画を作成
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://presenter-photo.jpg",
"audio_url": "<step-1の音声URL>"
}'
完全なワークフロー:別言語への動画吹き替え
# 1. 元の動画を文字起こし
infsh app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json
# 2. テキストを翻訳(手動またはLLMを使用)
# 3. 新しい言語で音声を生成
infsh app run infsh/kokoro-tts --input '{"text": "<翻訳テキスト>"}' > new_speech.json
# 4. 元の動画に新しい音声でリップシンク
infsh app run infsh/latentsync-1-6 --input '{
"video_url": "https://original-video.mp4",
"audio_url": "<新しい音声URL>"
}'
ユースケース
- マーケティング: AIプレゼンターによる製品デモ
- 教育: コース動画、解説動画
- ローカライゼーション: 複数言語でのコンテンツ吹き替え
- ソーシャルメディア: 一貫性のあるバーチャルインフルエンサー
- 企業: トレーニング動画、お知らせ
ヒント
- 高品質なポートレート写真を使用する(正面を向き、明るい照明)
- 音声はクリアで、背景ノイズが最小限であること
- OmniHuman 1.5は1枚の画像内の複数人物をサポート
- LatentSyncは既存の動画を新しい音声に同期させるのに最適
関連スキル
# フルプラットフォームスキル(150以上の全アプリ)
npx skills add inference-sh/skills@inference-sh
# テキスト読み上げ(アバター用音声生成)
npx skills add inference-sh/skills@text-to-speech
# 音声認識(吹き替え用文字起こし)
npx skills add inference-sh/skills@speech-to-text
# 動画生成
npx skills add inference-sh/skills@ai-video-generation
# 画像生成(アバター画像作成)
npx skills add inference-sh/skills@ai-image-generation
すべての動画アプリを表示: infsh app list --category video
ドキュメント
- アプリの実行 - CLIでアプリを実行する方法
- コンテンツパイプラインの例 - メディアワークフローの構築
- ストリーミング結果 - リアルタイムの進捗状況更新