AI 아바타 및 토킹 헤드 비디오은(는) 무엇을 하나요?
inference.sh CLI를 통해 AI 아바타 및 토킹 헤드 비디오를 생성합니다.
빠른 시작
curl -fsSL https://cli.inference.sh | sh && infsh login
# 이미지 + 오디오로 아바타 비디오 생성
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
사용 가능한 모델
| 모델 | 앱 ID | 최적 용도 |
|---|---|---|
| OmniHuman 1.5 | bytedance/omnihuman-1-5 | 여러 캐릭터, 최고 품질 |
| OmniHuman 1.0 | bytedance/omnihuman-1-0 | 단일 캐릭터 |
| Fabric 1.0 | falai/fabric-1-0 | 이미지 말하기(립싱크) |
| PixVerse Lipsync | falai/pixverse-lipsync | 초실감형 립싱크 |
아바타 앱 검색
infsh app list --search "omnihuman"
infsh app list --search "lipsync"
infsh app list --search "fabric"
예제
OmniHuman 1.5 (여러 캐릭터)
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
여러 인물이 포함된 이미지에서 구동할 캐릭터를 지정할 수 있습니다.
Fabric 1.0 (이미지 말하기)
infsh app run falai/fabric-1-0 --input '{
"image_url": "https://face.jpg",
"audio_url": "https://audio.mp3"
}'
PixVerse Lipsync
infsh app run falai/pixverse-lipsync --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
모든 오디오로 초실감형 립싱크를 생성합니다.
전체 워크플로우: TTS + 아바타
# 1. 텍스트로 음성 생성
infsh app run infsh/kokoro-tts --input '{
"text": "제품 데모에 오신 것을 환영합니다. 오늘 보여드릴 것은..."
}' > speech.json
# 2. 생성된 음성으로 아바타 비디오 제작
infsh app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://presenter-photo.jpg",
"audio_url": "<1단계-오디오-url>"
}'
전체 워크플로우: 다른 언어로 비디오 더빙
# 1. 원본 비디오 텍스트 추출
infsh app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}' > transcript.json
# 2. 텍스트 번역 (수동 또는 LLM 사용)
# 3. 새 언어로 음성 생성
infsh app run infsh/kokoro-tts --input '{"text": "<번역된-텍스트>"}' > new_speech.json
# 4. 원본 비디오에 새 오디오로 립싱크 적용
infsh app run infsh/latentsync-1-6 --input '{
"video_url": "https://original-video.mp4",
"audio_url": "<새-오디오-url>"
}'
사용 사례
- 마케팅: AI 프레젠터를 활용한 제품 데모
- 교육: 강의 영상, 설명 영상
- 현지화: 여러 언어로 콘텐츠 더빙
- 소셜 미디어: 일관된 가상 인플루언서
- 기업: 교육 영상, 공지 사항
팁
- 고품질의 정면, 조명이 좋은 인물 사진을 사용하세요.
- 오디오는 배경 소음이 적고 명확해야 합니다.
- OmniHuman 1.5는 한 이미지에 여러 사람을 지원합니다.
- LatentSync는 기존 비디오에 새 오디오를 동기화하는 데 가장 적합합니다.
관련 스킬
# 전체 플랫폼 스킬 (150개 이상의 앱)
npx skills add inference-sh/skills@inference-sh
# 텍스트-음성 변환 (아바타용 오디오 생성)
npx skills add inference-sh/skills@text-to-speech
# 음성-텍스트 변환 (더빙용 텍스트 추출)
npx skills add inference-sh/skills@speech-to-text
# 비디오 생성
npx skills add inference-sh/skills@ai-video-generation
# 이미지 생성 (아바타 이미지 제작)
npx skills add inference-sh/skills@ai-image-generation
모든 비디오 앱 둘러보기: infsh app list --category video
문서
- 앱 실행하기 - CLI를 통해 앱을 실행하는 방법
- 콘텐츠 파이프라인 예제 - 미디어 워크플로우 구축
- 스트리밍 결과 - 실시간 진행 상황 업데이트