Communitygithub.com

AI 아바타 및 토킹 헤드 비디오

OmniHuman, Fabric, PixVerse 모델을 inference.sh CLI를 사용하여 AI 아바타 및 토킹 헤드 비디오를 생성합니다.

AI 아바타 및 토킹 헤드 비디오란 무엇인가요?

이 스킬은 inference.sh CLI를 통해 OmniHuman 1.5/1.0, Fabric 1.0, PixVerse Lipsync 등 최신 AI 모델을 활용하여 오디오 기반 아바타, 립싱크 비디오, 가상 프레젠터를 손쉽게 제작할 수 있도록 지원합니다. 단일 이미지와 오디오 파일만으로 사실적인 토킹 헤드 영상을 생성할 수 있으며, 여러 인물이 포함된 이미지에서 특정 캐릭터를 선택하여 구동하는 고급 기능도 제공합니다. 또한 TTS(Text-to-Speech) 및 음성 인식 모델과 결합하여 전체 워크플로우(예: 텍스트→음성→아바타 비디오, 비디오 더빙)를 자동화할 수 있어 마케팅, 교육, 현지화, 소셜 미디어, 기업 교육 등 다양한 분야에서 AI 프레젠터와 가상 인플루언서를 구현하는 데 매우 유용합니다. 이 스킬은 Claude Code, Cursor, Codex 등 다양한 AI 에이전트 플랫폼에서 실행 가능하며, inference.sh CLI를 통해 간단한 명령어로 모델을 호출하고 결과를 스트리밍 방식으로 확인할 수 있습니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ComeOnOliver/skillshub/tree/HEAD/skills/aiskillstore/marketplace/inference-sh/ai-avatar-video

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

AI 아바타 및 토킹 헤드 비디오은(는) 무엇을 하나요?

inference.sh CLI를 통해 AI 아바타 및 토킹 헤드 비디오를 생성합니다.

빠른 시작

curl -fsSL https://cli.inference.sh | sh && infsh login

# 이미지 + 오디오로 아바타 비디오 생성
infsh app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

사용 가능한 모델

모델앱 ID최적 용도
OmniHuman 1.5bytedance/omnihuman-1-5여러 캐릭터, 최고 품질
OmniHuman 1.0bytedance/omnihuman-1-0단일 캐릭터
Fabric 1.0falai/fabric-1-0이미지 말하기(립싱크)
PixVerse Lipsyncfalai/pixverse-lipsync초실감형 립싱크

아바타 앱 검색

infsh app list --search "omnihuman"
infsh app list --search "lipsync"
infsh app list --search "fabric"

예제

OmniHuman 1.5 (여러 캐릭터)

infsh app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

여러 인물이 포함된 이미지에서 구동할 캐릭터를 지정할 수 있습니다.

Fabric 1.0 (이미지 말하기)

infsh app run falai/fabric-1-0 --input '{
  "image_url": "https://face.jpg",
  "audio_url": "https://audio.mp3"
}'

PixVerse Lipsync

infsh app run falai/pixverse-lipsync --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

모든 오디오로 초실감형 립싱크를 생성합니다.

전체 워크플로우: TTS + 아바타

# 1. 텍스트로 음성 생성
infsh app run infsh/kokoro-tts --input '{
  "text": "제품 데모에 오신 것을 환영합니다. 오늘 보여드릴 것은..."
}' > speech.json

# 2. 생성된 음성으로 아바타 비디오 제작
infsh app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://presenter-photo.jpg",
  "audio_url": "<1단계-오디오-url>"
}'

전체 워크플로우: 다른 언어로 비디오 더빙

# 1. 원본 비디오 텍스트 추출
infsh app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json

# 2. 텍스트 번역 (수동 또는 LLM 사용)

# 3. 새 언어로 음성 생성
infsh app run infsh/kokoro-tts --input '{"text": "<번역된-텍스트>"}' > new_speech.json

# 4. 원본 비디오에 새 오디오로 립싱크 적용
infsh app run infsh/latentsync-1-6 --input '{
  "video_url": "https://original-video.mp4",
  "audio_url": "<새-오디오-url>"
}'

사용 사례

  • 마케팅: AI 프레젠터를 활용한 제품 데모
  • 교육: 강의 영상, 설명 영상
  • 현지화: 여러 언어로 콘텐츠 더빙
  • 소셜 미디어: 일관된 가상 인플루언서
  • 기업: 교육 영상, 공지 사항

팁

  • 고품질의 정면, 조명이 좋은 인물 사진을 사용하세요.
  • 오디오는 배경 소음이 적고 명확해야 합니다.
  • OmniHuman 1.5는 한 이미지에 여러 사람을 지원합니다.
  • LatentSync는 기존 비디오에 새 오디오를 동기화하는 데 가장 적합합니다.

관련 스킬

# 전체 플랫폼 스킬 (150개 이상의 앱)
npx skills add inference-sh/skills@inference-sh

# 텍스트-음성 변환 (아바타용 오디오 생성)
npx skills add inference-sh/skills@text-to-speech

# 음성-텍스트 변환 (더빙용 텍스트 추출)
npx skills add inference-sh/skills@speech-to-text

# 비디오 생성
npx skills add inference-sh/skills@ai-video-generation

# 이미지 생성 (아바타 이미지 제작)
npx skills add inference-sh/skills@ai-image-generation

모든 비디오 앱 둘러보기: infsh app list --category video

문서

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ComeOnOliver/skillshub

Create stunning, animation-rich HTML presentations from scratch or by converting PowerPoint files. Use when the user wants to build a presentation, convert a PPT/PPTX to web, or create slides for a talk/pitch. Helps non-designers discover their aesthetic through visual exploration rather than abstract choices.

ComeOnOliver/skillshub

Next.js 16+ 和 Turbopack — 增量打包、文件系统缓存、开发速度,以及何时使用 Turbopack 与 webpack。

ComeOnOliver/skillshub

SwiftUI architecture patterns, state management with @Observable, view composition, navigation, performance optimization, and modern iOS/macOS UI best practices.

ComeOnOliver/skillshub

See, Understand, Act on video and audio. See- ingest from local files, URLs, RTSP/live feeds, or live record desktop; return realtime context and playable stream links. Understand- extract frames, build visual/semantic/temporal indexes, and search moments with timestamps and auto-clips. Act- transcode and normalize (codec, fps, resolution, aspect ratio), perform timeline edits (subtitles, text/image overlays, branding, audio overlays, dubbing, translation), generate media assets (image, audio, video), and create real time alerts for events from live streams or desktop capture.

ComeOnOliver/skillshub

AI-assisted video editing workflows for cutting, structuring, and augmenting real footage. Covers the full pipeline from raw capture through FFmpeg, Remotion, ElevenLabs, fal.ai, and final polish in Descript or CapCut. Use when the user wants to edit video, cut footage, create vlogs, or build video content.

ComeOnOliver/skillshub

Next.js 15 애플리케이션을 위한 프론트엔드 개발 가이드라인. React 19, TypeScript, Shadcn/ui, Tailwind CSS를 사용한 모던 패턴. Server Components, Client Components, App Router, 파일 구조, Shadcn/ui 컴포넌트, 성능 최적화, TypeScript 모범 사례 포함. 컴포넌트, 페이지, 기능 생성, 데이터 페칭, 스타일링, 라우팅, 프론트엔드 코드 작업 시 사용.

ComeOnOliver/skillshub

Provides Tamagui patterns for config v4, compiler optimization, styled context, and cross-platform styling. Must use when working with Tamagui projects (tamagui.config.ts, @tamagui imports).

ComeOnOliver/skillshub

Create distinctive, production-grade frontend interfaces with high design quality. Use this skill when the user asks to build web components, pages, or applications. Generates creative, polished code that avoids generic AI aesthetics.

ComeOnOliver/skillshub

Create high-converting, visually distinctive landing pages. Use when building marketing pages, product launches, SaaS homepages, or any single-page conversion-focused website. Guides section-by-section composition with anti-AI-slop principles.

ComeOnOliver/skillshub

Auto-loaded context for Portfolio Buddy 2 development. Use for ANY task involving: React 19 development, TypeScript, portfolio analysis features, metrics calculations, trading strategy comparison, or working with the Portfolio Buddy 2 codebase. Contains tech stack, known issues, and architectural constraints.

ComeOnOliver/skillshub

Next.js development tooling via MCP. Inspect routes, components, build info, and debug Next.js apps. Use when working on Next.js applications, debugging routing, or inspecting app structure. NOT for general React or non-Next.js projects.

ComeOnOliver/skillshub

Implement UI using Shadcn MCP (atoms/theme) and 21st.dev MCP (complex sections). Use when adding buttons, layouts, or generating landing pages.

ComeOnOliver/skillshub

A conceptual skill for building an API client in Next.js that handles JWT tokens

ComeOnOliver/skillshub

Best practices and patterns for Next.js App Router, Server Actions, and Routing in this project.

ComeOnOliver/skillshub

The Design System, Theme, and UX rules for the Physical AI Hub.

ComeOnOliver/skillshub

Comprehensive frontend development skill for building modern, performant web applications using ReactJS, NextJS, TypeScript, Tailwind CSS. Includes component scaffolding, performance optimization, bundle analysis, and UI best practices. Use when developing frontend features, optimizing performance, implementing UI/UX designs, managing state, or reviewing frontend code.

ComeOnOliver/skillshub

This document captures learnings from fixing keyboard navigation issues when floating components (Select, DropdownMenu, Popover) have CSS open/close animations.

ComeOnOliver/skillshub

Build Next.js 16 applications with correct patterns and distinctive design. Use when creating pages, layouts, dynamic routes, upgrading from Next.js 15, or implementing proxy.ts. Covers breaking changes (async params/searchParams, Turbopack, cacheComponents) and frontend aesthetics. NOT when building non-React or backend-only applications.

ComeOnOliver/skillshub

Comprehensive Framer Motion animation library for React. Covers motion components, variants, gestures, page transitions, and scroll animations. Use when adding animations to React/Next.js applications.

ComeOnOliver/skillshub

Build interfaces that resonate, not just render. This skill enforces bold, intentional

관련 스킬