Communitygithub.com

JantonioFC/skillsbank: AIアバター&トーキングヘッド動画生成

OmniHuman、Fabric、PixVerseなどのモデルを利用して、AIアバターやトーキングヘッド動画を生成します。inference.sh CLIを使用して、音声駆動のアバター、リップシンク動画、仮想プレゼンターを作成できます。

skillsbank: AIアバター&トーキングヘッド動画生成 とは?

このスキルは、inference.sh CLIを介して、複数の最先端AIモデル(OmniHuman 1.5/1.0、Fabric 1.0、PixVerse Lipsync)を活用し、静止画像と音声から高品質なAIアバター動画やトーキングヘッド動画を生成するためのものです。画像と音声ファイルのURLを指定するだけで、アバターが音声に合わせてリップシンクやヘッド動作を行う動画を作成できます。特にOmniHuman 1.5は複数人物の画像から特定のキャラクターのみを動かすことも可能で、マーケティング、教育、ローカリゼーション、ソーシャルメディア、社内研修など幅広いユースケースに対応します。このスキールは、テキスト読み上げ(TTS)や音声認識(ASR)など関連スキルと組み合わせることで、完全なメディア制作パイプラインを構築できます。主にinference.shプラットフォーム上で動作し、CLIを通じて簡単に利用できます。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/JantonioFC/skillsbank/tree/HEAD/skills/ai-avatar-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

プレビュー

スキル README より

AIアバター&トーキングヘッド動画

ドキュメント

AIアバター&トーキングヘッド動画

使用タイミング

指定された自動化タスクを実行するために、必要に応じてこのスキルを使用してください。

inference.sh CLIを使用して、AIアバターとトーキングヘッド動画を作成します。

AIアバター&トーキングヘッド動画

クイックスタート

curl -fsSL https://cli.inference.sh | sh && infsh login

# 画像と音声からアバター動画を作成
infsh app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

利用可能なモデル

モデルアプリID最適な用途
OmniHuman 1.5bytedance/omnihuman-1-5複数キャラクター、最高品質
OmniHuman 1.0bytedance/omnihuman-1-0単一キャラクター
Fabric 1.0falai/fabric-1-0画像がリップシンクで話す
PixVerse Lipsyncfalai/pixverse-lipsync非常にリアルなリップシンク

アバターアプリの検索

infsh app list --search "omnihuman"
infsh app list --search "lipsync"
infsh app list --search "fabric"

使用例

OmniHuman 1.5(複数キャラクター)

infsh app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

複数人物が写った画像で、どのキャラクターを動かすかを指定できます。

Fabric 1.0(画像が話す)

infsh app run falai/fabric-1-0 --input '{
  "image_url": "https://face.jpg",
  "audio_url": "https://audio.mp3"
}'

PixVerse Lipsync

infsh app run falai/pixverse-lipsync --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

任意の音声から非常にリアルなリップシンクを生成します。

完全なワークフロー:TTS + アバター

# 1. テキストから音声を生成
infsh app run infsh/kokoro-tts --input '{
  "text": "弊社の製品デモへようこそ。本日は..."
}' > speech.json

# 2. 生成した音声でアバター動画を作成
infsh app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://presenter-photo.jpg",
  "audio_url": "<step-1で取得した音声URL>"
}'

完全なワークフロー:動画の別言語吹き替え

# 1. 元動画の文字起こし
infsh app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json

# 2. テキストを翻訳(手動またはLLMを使用)

# 3. 新しい言語で音声を生成
infsh app run infsh/kokoro-tts --input '{"text": "<翻訳済みテキスト>"}' > new_speech.json

# 4. 元動画に新しい音声でリップシンク
infsh app run infsh/latentsync-1-6 --input '{
  "video_url": "https://original-video.mp4",
  "audio_url": "<新しい音声URL>"
}'

ユースケース

  • マーケティング: AIプレゼンターによる製品デモ
  • 教育: コース動画、解説動画
  • ローカリゼーション: 多言語でのコンテンツ吹き替え
  • ソーシャルメディア: 一貫性のある仮想インフルエンサー
  • 企業: トレーニング動画、お知らせ

ヒント

  • 高品質なポートレート写真を使用してください(正面顔、良好な照明)
  • 音声は明瞭で、バックグラウンドノイズが少ないものを使用してください
  • OmniHuman 1.5は1枚の画像内の複数人物に対応しています
  • LatentSyncは既存の動画に新しい音声を同期させるのに最適です

関連スキル

# フルプラットフォームスキル(150以上のアプリ)
npx skills add inference-sh/skills@inference-sh

# テキスト読み上げ(アバター用音声生成)
npx skills add inference-sh/skills@text-to-speech

# 音声認識(吹き替え用文字起こし)
npx skills add inference-sh/skills@speech-to-text

# 動画生成
npx skills add inference-sh/skills@ai-video-generation

# 画像生成(アバター画像作成)
npx skills add inference-sh/skills@ai-image-generation

すべての動画アプリを参照: infsh app list --category video

ドキュメント

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

JantonioFC/skillsbank

AI-powered image editing with style transfer and object removal

JantonioFC/skillsbank

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

JantonioFC/skillsbank

Analise e auditoria de editais de leilao judicial e extrajudicial. Riscos ocultos, clausulas perigosas, debitos, ocupante e classificacao da oportunidade.

JantonioFC/skillsbank

Embed Photopea in web apps using photopea.js. Covers embedding, file I/O, scripting, exporting, layers, text, filters, and the full Photoshop-compatible API.

JantonioFC/skillsbank

Best practices for Remotion - Video creation in React

JantonioFC/skillsbank

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

JantonioFC/skillsbank

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

JantonioFC/skillsbank

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

JantonioFC/skillsbank

Video and audio perception, indexing, and editing. Ingest files/URLs/live streams, build visual/spoken indexes, search with timestamps, edit timelines, add overlays/subtitles, generate media, and create real-time alerts.

JantonioFC/skillsbank

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

JantonioFC/skillsbank

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

JantonioFC/skillsbank

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

JantonioFC/skillsbank

Tool lifecycle UI components for React/Next.js from ui.inference.sh. Display tool calls: pending, progress, approval required, results. Capabilities: tool status, progress indicators, approval flows, results display. Use for: showing agent tool calls, human-in-the-loop approvals, tool output. Triggers: tool ui, tool calls, tool status, tool approval, tool results, agent tools, mcp tools ui, function calling ui, tool lifecycle, tool pending

JantonioFC/skillsbank

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

JantonioFC/skillsbank

When the user wants help with paid advertising campaigns on Google Ads, Meta (Facebook/Instagram), LinkedIn, Twitter/X, or other ad platforms. Also use when the user mentions 'PPC,' 'paid media,' 'ROAS,' 'CPA,' 'ad campaign,' 'retargeting,' 'audience targeting,' 'Google Ads,' 'Facebook ads,'...

JantonioFC/skillsbank

Create AI marketing videos for ads, promos, product launches, and brand content. Models: Veo, Seedance, Wan, FLUX for visuals, Kokoro for voiceover. Types: product demos, testimonials, explainers, social ads, brand videos. Use for: Facebook ads, YouTube ads, product launches, brand awarene...

JantonioFC/skillsbank

Generate AI videos with Google Veo, Seedance, Wan, Grok and 40+ models via inference.sh CLI. Models: Veo 3.1, Veo 3, Seedance 1.5 Pro, Wan 2.5, Grok Imagine Video, OmniHuman, Fabric, HunyuanVideo. Capabilities: text-to-video, image-to-video, lipsync, avatar animation, video upscaling, fole...

JantonioFC/skillsbank

Production-ready CI/CD configurations for Playwright — GitHub Actions, GitLab CI, CircleCI, Azure DevOps, Jenkins, Docker, parallel sharding, reporting, code coverage, and global setup/teardown.

JantonioFC/skillsbank

Next.js 16+ and Turbopack — incremental bundling, FS caching, dev speed, and when to use Turbopack vs webpack.

JantonioFC/skillsbank

You are an expert copy editor specializing in marketing and conversion copy. Your goal is to systematically improve existing copy through focused editing passes while preserving the core message.

関連スキル