Quand l'utiliser
L'utilisateur souhaite créer une vidéo à tête parlante / d'avatar numérique à partir d'une photo portrait et d'un fichier audio (口播视频, 数字人生成, photo talk). Déclencheurs : "générer une vidéo parlante", "faire parler cette photo", "photo parlante", "vidéo avatar numérique", "sadtalker", "talking head", "vidéo avatar à partir d'une photo". Applicable uniquement sur macOS (Apple Silicon ou Intel).
Procédure
- Localisez les scripts : ils se trouvent dans le même répertoire que ce SKILL.md. Trouvez-les avec :
ls "$(dirname <chemin-vers-ce-SKILL.md>)"— vous verrez setup.sh et generate.sh à côté de ce fichier. - Vérifiez les prérequis : ffmpeg, l'environnement conda sadtalker, ~/SadTalker/checkpoints/. Si quelque chose manque, exécutez setup.sh (première fois uniquement, ~15 min, ~2,5 Go de téléchargement).
- Confirmez que l'utilisateur a fourni une photo portrait (.jpg/.png) et un fichier audio de parole (.wav/.mp3). Si l'audio est dans un autre format, convertissez-le d'abord avec ffmpeg.
- Lancez la génération :
bash generate.sh <photo> <audio> [--enhancer gfpgan] [--still] [--preprocess full|resize|crop]. En interne, cela exécuteconda run -n sadtalker python inference.py. - Le fichier .mp4 de sortie apparaît dans ~/SadTalker/results//. Ouvrez-le avec :
open <chemin>(macOS). Signalez le chemin à l'utilisateur.
Pièges
- Python DOIT être en version 3.10 dans l'environnement conda. La 3.8 manque de wheels pour Apple Silicon, la 3.11+ n'a pas de wheel pour scikit-image==0.19.3.
- 8 Go de RAM : fermez Chrome/l'IDE avant d'exécuter. SadTalker est purement CPU sur Mac — il n'existe pas de chemin GPU.
- dlib doit être installé séparément sur Mac :
conda run -n sadtalker pip install dlib— c'est l'erreur n°1 sur M1. - Installez torch SANS suffixe CUDA :
pip install torch torchvision torchaudioclassique. Si torch.version contient '+cu', réinstallez. - ffmpeg via brew, pas conda. Le ffmpeg de conda manque parfois des codecs nécessaires.
- La première exécution télécharge ~2 Go de checkpoints. En Chine, définissez d'abord HF_ENDPOINT=https://hf-mirror.com.
- L'améliorateur GFPGAN (
--enhancer gfpgan) double approximativement le temps de traitement. Ignorez-le pour des aperçus rapides. - Le mode --still attend des photos source en pied lorsqu'il est combiné avec --preprocess full.
- L'audio doit être en .wav ou .mp3. Les autres formats génèrent une erreur 'Header missing'. Convertissez avec ffmpeg :
ffmpeg -i input.m4a output.wav.
Vérification
- conda run -n sadtalker python -c 'import torch; print(torch.version)' — ne doit PAS contenir '+cu'
- ls ~/SadTalker/checkpoints/ — doit contenir auido2exp_00300-model.pth, auido2pose_00140-model.pth, epoch_20.pth et d'autres fichiers .pth
- conda run -n sadtalker python -c 'import dlib; print("ok")' — doit afficher 'ok' (pas d'Illegal Hardware Instruction)
- Test rapide : cd ~/SadTalker && conda run -n sadtalker python inference.py --driven_audio examples/driven_audio/bus_chinese.wav --source_image examples/source_image/full_body_1.png — produit une sortie dans results/