Installiere das belt CLI-Skill:
npx skills add belt-sh/cli
Talking Head Produktion
Erstelle Videos mit KI-Avataren und Lippen-Synchronisation über die inference.sh CLI.
Kurzanleitung
Erfordert inference.sh CLI (
belt). Installationsanleitung
belt login
# Empfohlen: P-Video-Avatar (integrierte TTS, schnellste, günstigste)
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "Willkommen zu unserer Produkttour. Heute zeige ich Ihnen drei Funktionen, die Ihnen jede Woche Stunden sparen.",
"voice": "Zephyr (Weiblich)"
}'
Porträt-Anforderungen
Das Quellporträt ist entscheidend. Schlechte Porträts = schlechte Videoausgabe.
Unbedingt erforderlich
| Anforderung | Warum | Spezifikation |
|---|---|---|
| Zentriert | Avatar benötigt Gesicht in vorhersagbarer Position | Gesicht zentriert im Bildausschnitt |
| Kopf und Schultern | Körper für natürliche Gesten sichtbar | Zuschnitt unterhalb der Brust |
| Blick in die Kamera | Schafft Verbindung zum Zuschauer | Direkter frontaler Blick |
| Neutraler Gesichtsausdruck | Ausgangspunkt für Animation | Leichtes Lächeln ok, nicht lachen/stirnrunzeln |
| Klares Gesicht | Modell muss Merkmale erkennen | Keine Sonnenbrillen, starke Schatten oder Behinderungen |
| Hohe Auflösung | Detailerhaltung | Mindestens 512x512 Gesichtsregion, idealerweise 1024x1024+ |
Ein Porträt generieren
# Generiere ein professionelles Porträt mit P-Image
belt app run pruna/p-image --input '{
"prompt": "professionelles Porträt einer freundlichen Geschäftsperson, weiches Studio-Licht, sauberer grauer Hintergrund, Kopf und Schultern, direkter Blickkontakt, neutraler angenehmer Gesichtsausdruck, fotorealistisch",
"aspect_ratio": "9:16"
}'
Hintergrundoptionen
| Typ | Wann verwenden |
|---|---|
| Einfarbig | Professionell, sauber, einfach zu überblenden |
| Sanfter Bokeh | Natürlich, Lifestyle-Gefühl |
| Büro/Studio | Geschäftskontext |
| Dynamisch (P-Video-Avatar) | video_prompt verwenden, um Hintergrund festzulegen |
Modellauswahl
Beginne mit P-Video-Avatar — es ist 18x schneller und 6x günstiger als Alternativen, mit integrierter TTS.
| Modell | App-ID | Integrierte TTS | Am besten für |
|---|---|---|---|
| P-Video-Avatar | pruna/p-video-avatar | Ja (30 Stimmen, 10 Sprachen) | Insgesamt am besten: Geschwindigkeit, Kosten, Qualität |
| OmniHuman 1.5 | bytedance/omnihuman-1-5 | Nein | Mehrere Charaktere, Gesten |
| OmniHuman 1.0 | bytedance/omnihuman-1-0 | Nein | Einzelner Charakter |
| Fabric 1.0 | falai/fabric-1-0 | Ja | Bild spricht mit Lippensynchronisation |
| PixVerse-Lippensynchronisation | falai/pixverse-lipsync | Nein | Realistische Lippensynchronisation |
Kosten- und Geschwindigkeitsvergleich
| Modell | Geschwindigkeit (pro Sekunde Video) | Kosten pro Sekunde |
|---|---|---|
| P-Video-Avatar | ~1,83s/s | $0,025 |
| OmniHuman 1.5 | ~28s/s (15x langsamer) | $0,16 (6,4x mehr) |
| Fabric 1.0 | ~34s/s (18x langsamer) | $0,14 (5,6x mehr) |
Produktionsworkflows
Einfach: Textskript -> Video (P-Video-Avatar)
Kein separater TTS-Schritt nötig – P-Video-Avatar hat integrierte Stimmen:
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "Hallo! Ich freue mich, heute etwas mit Ihnen zu teilen.",
"voice": "Puck (Männlich)",
"voice_language": "Englisch (US)",
"resolution": "720p"
}'
Mit Stilkontrolle
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "Das sind aufregende Neuigkeiten für unsere Gemeinschaft!",
"voice": "Aoede (Weiblich)",
"voice_prompt": "Begeisterter und energischer Ton, etwas schnelleres Tempo",
"video_prompt": "Die Person präsentiert auf einer Bühne mit dramatischer Beleuchtung",
"resolution": "1080p"
}'
Audiogesteuert (jedes Modell)
Bereitstellung einer eigenen Audiodatei:
# P-Video-Avatar mit benutzerdefiniertem Audio
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"audio": "https://speech.mp3"
}'
# OmniHuman mit benutzerdefiniertem Audio
belt app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "https://speech.mp3"
}'
Vollständiger Workflow: Porträt + Avatar generieren
# 1. Generiere ein Porträtbild
belt app run pruna/p-image --input '{
"prompt": "professionelles Porträt einer jungen Frau, neutraler Hintergrund, in die Kamera blickend, Studio-Beleuchtung, fotorealistisch",
"aspect_ratio": "9:16"
}'
# 2. Erstelle Avatar-Video mit integrierter TTS
belt app run pruna/p-video-avatar --input '{
"image": "<bild-url-aus-schritt-1>",
"voice_script": "Hallo! Lassen Sie mich unsere neuesten Funktionen vorstellen.",
"voice": "Zephyr (Weiblich)"
}'
Mit separater TTS (für Modelle ohne TTS)
# 1. Sprache generieren
belt app run falai/dia-tts --input '{
"prompt": "[S1] Ihr Erzähltext hier."
}'
# 2. Talking Head erstellen
belt app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://portrait.jpg",
"audio_url": "<audio-url-aus-schritt-1>"
}'
Multi-Charakter-Konversation
OmniHuman 1.5 unterstützt bis zu 2 Charaktere:
# 1. Dialog mit zwei Sprechern generieren
belt app run falai/dia-tts --input '{
"prompt": "[S1] Erzählen Sie mir von der neuen Funktion. [S2] Gerne! Wir haben ein Dashboard gebaut, das Echtzeitanalysen zeigt. [S1] Das klingt großartig. Wie lange hat es gedauert? [S2] Etwa zwei Wochen vom Konzept bis zum Start."
}'
# 2. Video mit zwei Charakteren erstellen
belt app run bytedance/omnihuman-1-5 --input '{
"image_url": "https://zwei-personen-portrait.png",
"audio_url": "<audio-url>"
}'
Langformat (zusammengefügte Clips)
Für Inhalte länger als ~60 Sekunden in Segmente aufteilen:
# Generiere Clips mit demselben Porträt für Konsistenz
belt app run pruna/p-video-avatar --input '{"image": "https://portrait.jpg", "voice_script": "Segment eins..."}' --no-wait
belt app run pruna/p-video-avatar --input '{"image": "https://portrait.jpg", "voice_script": "Segment zwei..."}' --no-wait
belt app run pruna/p-video-avatar --input '{"image": "https://portrait.jpg", "voice_script": "Segment drei..."}' --no-wait
# Alle Segmente zusammenführen
belt app run infsh/media-merger --input '{
"media": ["segment1.mp4", "segment2.mp4", "segment3.mp4"]
}'
Mehrsprachige Inhalte
P-Video-Avatar unterstützt 10 Sprachen mit integrierter TTS:
# Spanisch
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "Bienvenidos a nuestra demostración de producto.",
"voice": "Kore (Weiblich)",
"voice_language": "Spanisch"
}'
# Japanisch
belt app run pruna/p-video-avatar --input '{
"image": "https://portrait.jpg",
"voice_script": "こんにちは、製品デモへようこそ。",
"voice": "Leda (Weiblich)",
"voice_language": "Japanisch"
}'
Vorhandenes Video synchronisieren
# 1. Originalvideo transkribieren
belt app run infsh/fast-whisper-large-v3 --input '{"audio_url": "https://video.mp4"}'
# 2. Text übersetzen (manuell oder mit LLM)
# 3. Sprache in neuer Sprache generieren
belt app run infsh/kokoro-tts --input '{"text": "<übersetzter-text>"}'
# 4. Originalvideo mit neuem Audio lippensynchronisieren
belt app run infsh/latentsync-1-6 --input '{
"video_url": "https://original-video.mp4",
"audio_url": "<neue-audio-url>"
}'
Audioqualität (für Workflows ohne TTS)
Wenn Sie Ihr eigenes Audio bereitstellen, beeinflusst die Qualität direkt die Lippensynchronisationsgenauigkeit.
| Parameter | Ziel | Warum |
|---|---|---|
| Hintergrundgeräusche | Keine/minimal | Rauschen verwirrt das Lippen-Synchronisations-Timing |
| Lautstärke | Durchgängig gleichmäßig | Verhindert Synchronisationsdrift |
| Abtastrate | 44,1 kHz oder 48 kHz | Standardqualität |
| Format | MP3 128 kbps+ oder WAV | Kompatibel mit allen Werkzeugen |
Verfügbare Stimmen (P-Video-Avatar)
Weiblich: Zephyr, Kore, Leda, Aoede, Callirrhoe, Autonoe, Despina, Erinome, Laomedeia, Achernar, Gacrux, Pulcherrima, Vindemiatrix, Sulafat
Männlich: Puck, Charon, Fenrir, Orus, Enceladus, Iapetus, Umbriel, Algenib, Algieba, Schedar, Achird, Zubenelgenubi, Sadachbia, Sadaltager, Alnilam, Rasalgethi
Sprachen: Englisch (US), Englisch (UK), Spanisch, Französisch, Deutsch, Italienisch, Portugiesisch (Brasilien), Japanisch, Koreanisch, Hindi
Bildausschnittsrichtlinien
┌─────────────────────────────────┐
│ Kopfraum (minimal) │
│ ┌───────────────────────────┐ │
│ │ │ │
│ │ ● ─ ─ Augen auf 1/3 ─│─ │ ← Augen auf der oberen 1/3-Linie
│ │ /|\ │ │
│ │ | Kopf & Schultern │ │
│ │ / \ sichtbar │ │
│ │ │ │
│ └───────────────────────────┘ │
│ Zuschnitt unter Brust │
└─────────────────────────────────┘
Häufige Fehler
| Fehler | Problem | Lösung |
|---|---|---|
| Niedrig aufgelöstes Porträt | Unscharfes Gesicht, schlechte Lippensynchronisation | Gesichtsregion 1024x1024+ verwenden |
| Profil-/Seitenwinkel | Lippensynchronisation kann Mund nicht gut verfolgen | Frontale oder nahezu frontale Ansicht verwenden |
| Verrauschtes Audio | Lippensynchronisation driftet, wirkt unnatürlich | Integrierte TTS verwenden oder sauber aufnehmen |
| Zu lange Clips | Qualität verschlechtert sich | In Segmente aufteilen, zusammenfügen |
| Sonnenbrille/Behinderung | Gesichtsmerkmale verdeckt | Klares Gesicht erforderlich |
| Uneinheitliche Beleuchtung | Unheimlich bei Animation | Gleichmäßiges, weiches Licht |
Verwandte Skills
# Dediziertes P-Video-Avatar-Skill
npx skills add inference-sh/skills@p-video-avatar
# Alle Avatarmodelle
npx skills add inference-sh/skills@ai-avatar-video
# Alle Videogenerierungsmodelle
npx skills add inference-sh/skills@ai-video-generation
# Text-zu-Sprache
npx skills add inference-sh/skills@text-to-speech
# Bildgenerierung (für Porträts)
npx skills add inference-sh/skills@ai-image-generation
Alle Apps durchsuchen: belt app list