Wann verwenden
Der Benutzer möchte ein Talking-Head- / Digital-Human-Video aus einem Porträtfoto und einer Audiodatei erstellen (口播视频, 数字人生成, photo talk). Auslöser: „generiere ein sprechendes Video”, „lass dieses Foto sprechen”, „Foto sprechen lassen”, „digitales Menschenvideo”, „sadtalker”, „talking head”, „Avatar-Video aus Foto”. Gilt nur für macOS (Apple Silicon oder Intel).
Vorgehen
- Skripte lokalisieren: sie befinden sich im selben Verzeichnis wie diese SKILL.md. Finde sie mit:
ls "$(dirname <Pfad-zu-dieser-SKILL.md>)"– du siehst setup.sh und generate.sh zusammen mit dieser Datei. - Voraussetzungen prüfen: ffmpeg, conda env sadtalker, ~/SadTalker/checkpoints/. Falls etwas fehlt, führe setup.sh aus (nur beim ersten Mal, ~15 Min., ~2,5 GB Download).
- Bestätigen, dass der Benutzer ein Porträtfoto (.jpg/.png) und eine Sprach-Audiodatei (.wav/.mp3) bereitgestellt hat. Falls das Audio in einem anderen Format vorliegt, zuerst mit ffmpeg konvertieren.
- Generierung ausführen:
bash generate.sh <Foto> <Audio> [--enhancer gfpgan] [--still] [--preprocess full|resize|crop]. Dies ruft im Hintergrundconda run -n sadtalker python inference.pyauf. - Die Ausgabe-.mp4 erscheint in ~/SadTalker/results//. Öffne sie mit:
open <Pfad>(macOS). Melde den Pfad dem Benutzer.
Fallstricke
- Python MUSS 3.10 innerhalb der conda-Umgebung sein. 3.8 vermisst Apple-Silicon-Wheels, 3.11+ hat kein scikit-image==0.19.3-Wheel.
- 8 GB RAM: Schließe Chrome/IDE vor der Ausführung. SadTalker läuft auf Mac rein auf CPU – kein GPU-Pfad vorhanden.
- dlib muss auf Mac separat installiert werden:
conda run -n sadtalker pip install dlib– das ist der häufigste M1-Fehler. - Installiere torch OHNE CUDA-Suffix: einfaches
pip install torch torchvision torchaudio. Wenn torch.version '+cu' enthält, neu installieren. - ffmpeg über brew, nicht conda. Condas ffmpeg fehlen manchmal benötigte Codecs.
- Erster Lauf lädt ~2 GB Checkpoints herunter. In China zuerst HF_ENDPOINT=https://hf-mirror.com setzen.
- GFPGAN-Verbesserer (
--enhancer gfpgan) verdoppelt in etwa die Verarbeitungszeit. Überspringe ihn für schnelle Vorschauen. - Der --still-Modus erwartet Ganzkörper-Quellfotos in Kombination mit --preprocess full.
- Audio muss .wav oder .mp3 sein. Andere Formate führen zu Fehlern mit 'Header missing'. Mit ffmpeg konvertieren:
ffmpeg -i input.m4a output.wav.
Überprüfung
- conda run -n sadtalker python -c 'import torch; print(torch.version)' – darf NICHT '+cu' enthalten
- ls ~/SadTalker/checkpoints/ – muss auido2exp_00300-model.pth, auido2pose_00140-model.pth, epoch_20.pth und andere .pth-Dateien enthalten
- conda run -n sadtalker python -c 'import dlib; print("ok")' – muss 'ok' ausgeben (keine Illegal Hardware Instruction)
- Testlauf: cd ~/SadTalker && conda run -n sadtalker python inference.py --driven_audio examples/driven_audio/bus_chinese.wav --source_image examples/source_image/full_body_1.png – erzeugt Ausgabe in results/