AI 아바타 및 토킹 헤드 비디오
inference.sh CLI를 통해 AI 아바타 및 토킹 헤드 비디오를 생성하세요.

빠른 시작
curl -fsSL https://cli.inference.sh | sh && infsh login
# 이미지 + 오디오에서 아바타 비디오 생성
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
설치 참고: 설치 스크립트는 사용자의 OS/아키텍처를 감지하고,
dist.inference.sh에서 일치하는 바이너리를 다운로드한 후 SHA-256 체크섬을 검증합니다. 상승된 권한이나 백그라운드 프로세스가 필요하지 않습니다. 수동 설치 및 검증도 가능합니다.
사용 가능한 모델
| 모델 | 앱 ID | 최적 용도 |
|---|---|---|
| OmniHuman 1.5 | bytedance/omnihuman-1-5 | 다중 캐릭터, 최고 품질 |
| OmniHuman 1.0 | bytedance/omnihuman-1-0 | 단일 캐릭터 |
| Fabric 1.0 | falai/fabric-1-0 | 이미지 말하기 + 립싱크 |
| PixVerse Lipsync | falai/pixverse-lipsync | 매우 사실적인 립싱크 |
아바타 앱 검색
infsh app list --search "omnihuman"
infsh app list --search "lipsync"
infsh app list --search "fabric"
예제
OmniHuman 1.5 (다중 캐릭터)
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
여러 사람이 있는 이미지에서 어떤 캐릭터를 구동할지 지정할 수 있습니다.
Fabric 1.0 (이미지 말하기)
infsh app run falai/fabric-1-0 --input '{
"image_url": "https://face.jpg",
"audio_url": "https://audio.mp3"
}'
PixVerse Lipsync
infsh app run falai/pixverse-lipsync --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
모든 오디오에서 매우 사실적인 립싱크를 생성합니다.
전체 워크플로우: TTS + 아바타
# 1. 텍스트에서 음성 생성
infsh app run infsh/kokoro-tts --input '{
"text": "저희 제품 데모에 오신 것을 환영합니다. 오늘은 여러분께..."
}' > speech.json
# 2. 생성된 음성으로 아바타 비디오 만들기
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://presenter-photo.jpg",
"audio_url": "<1단계에서-생성된-오디오-URL>"
}'
전체 워크플로우: 다른 언어로 비디오 더빙
# 1. 원본 비디오 텍스트 변환
infsh app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json
# 2. 텍스트 번역 (수동 또는 LLM 사용)
# 3. 새 언어로 음성 생성
infsh app run infsh/kokoro-tts --input '{"text": "<번역된-텍스트>"}' > new_speech.json
# 4. 원본 비디오를 새 오디오에 립싱크
infsh app run infsh/latentsync-1-6 --input '{
"video_url": "https://original-video.mp4",
"audio_url": "<새-오디오-URL>"
}'
사용 사례
- 마케팅: AI 발표자가 있는 제품 데모
- 교육: 강의 비디오, 설명 영상
- 로컬라이제이션: 여러 언어로 콘텐츠 더빙
- 소셜 미디어: 일관된 가상 인플루언서
- 기업: 교육 비디오, 공지 사항
팁
- 고품질의 정면 초상화 사진 사용 (좋은 조명)
- 오디오는 배경 잡음이 최소화된 깨끗한 상태여야 함
- OmniHuman 1.5는 한 이미지에서 여러 사람을 지원함
- LatentSync는 기존 비디오를 새 오디오에 동기화하는 데 가장 적합함
관련 스킬
# 전체 플랫폼 스킬 (150개 이상의 앱)
npx skills add inference-sh/skills@inference-sh
# 텍스트-음성 변환 (아바타용 오디오 생성)
npx skills add inference-sh/skills@text-to-speech
# 음성-텍스트 변환 (더빙용 텍스트 변환)
npx skills add inference-sh/skills@speech-to-text
# 비디오 생성
npx skills add inference-sh/skills@ai-video-generation
# 이미지 생성 (아바타 이미지 만들기)
npx skills add inference-sh/skills@ai-image-generation
모든 비디오 앱 보기: infsh app list --category video
문서
- 앱 실행 - CLI를 통해 앱을 실행하는 방법
- 콘텐츠 파이프라인 예제 - 미디어 워크플로우 구축
- 스트리밍 결과 - 실시간 진행 상황 업데이트