Communitygithub.com

haoyiyin/sadtalker-mac

Génération de vidéos à tête parlante en une commande sur macOS. Fournissez une photo + un fichier audio → obtenez une vidéo d'avatar numérique. Fonctionne avec n'importe quel agent IA (Claude Code, Pi, Cursor, Codex, Copilot).

Qu'est-ce que sadtalker-mac ?

Ce skill permet de générer une vidéo d'avatar numérique (tête parlante) à partir d'une photo portrait et d'un fichier audio, en une seule commande, directement sur macOS (Apple Silicon ou Intel). Il est conçu pour être utilisé par n'importe quel agent IA compatible avec les skills (comme Claude Code, Pi, Cursor, Codex ou Copilot). Le skill repose sur SadTalker, un modèle de deep learning, et gère automatiquement l'installation des dépendances (conda, ffmpeg, dlib, torch) via un script de configuration. L'utilisateur fournit simplement une photo et un fichier audio ; le skill exécute generate.sh qui appelle l'inférence SadTalker, puis ouvre le résultat .mp4. Le skill inclut des vérifications de prérequis (environnement conda, checkpoints, dlib) et des conseils pour éviter les erreurs courantes sur Mac (version Python 3.10, torch sans CUDA, installation spécifique de dlib). Il prend en charge des options d'amélioration (GFPGAN), de mode fixe (--still) et de prétraitement (full/resize/crop). Utile pour créer rapidement des vidéos de type « digital human » ou « photo qui parle », typiquement pour des présentations, des doublages ou des réseaux sociaux.

Compatible avec✓Claude Code✓Codex CLI✓Cursor
npx skills add haoyiyin/sadtalker-mac

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Quand l'utiliser

L'utilisateur souhaite créer une vidéo à tête parlante / d'avatar numérique à partir d'une photo portrait et d'un fichier audio (口播视频, 数字人生成, photo talk). Déclencheurs : "générer une vidéo parlante", "faire parler cette photo", "photo parlante", "vidéo avatar numérique", "sadtalker", "talking head", "vidéo avatar à partir d'une photo". Applicable uniquement sur macOS (Apple Silicon ou Intel).

Procédure

  1. Localisez les scripts : ils se trouvent dans le même répertoire que ce SKILL.md. Trouvez-les avec : ls "$(dirname <chemin-vers-ce-SKILL.md>)" — vous verrez setup.sh et generate.sh à côté de ce fichier.
  2. Vérifiez les prérequis : ffmpeg, l'environnement conda sadtalker, ~/SadTalker/checkpoints/. Si quelque chose manque, exécutez setup.sh (première fois uniquement, ~15 min, ~2,5 Go de téléchargement).
  3. Confirmez que l'utilisateur a fourni une photo portrait (.jpg/.png) et un fichier audio de parole (.wav/.mp3). Si l'audio est dans un autre format, convertissez-le d'abord avec ffmpeg.
  4. Lancez la génération : bash generate.sh <photo> <audio> [--enhancer gfpgan] [--still] [--preprocess full|resize|crop]. En interne, cela exécute conda run -n sadtalker python inference.py.
  5. Le fichier .mp4 de sortie apparaît dans ~/SadTalker/results//. Ouvrez-le avec : open <chemin> (macOS). Signalez le chemin à l'utilisateur.

Pièges

  • Python DOIT être en version 3.10 dans l'environnement conda. La 3.8 manque de wheels pour Apple Silicon, la 3.11+ n'a pas de wheel pour scikit-image==0.19.3.
  • 8 Go de RAM : fermez Chrome/l'IDE avant d'exécuter. SadTalker est purement CPU sur Mac — il n'existe pas de chemin GPU.
  • dlib doit être installé séparément sur Mac : conda run -n sadtalker pip install dlib — c'est l'erreur n°1 sur M1.
  • Installez torch SANS suffixe CUDA : pip install torch torchvision torchaudio classique. Si torch.version contient '+cu', réinstallez.
  • ffmpeg via brew, pas conda. Le ffmpeg de conda manque parfois des codecs nécessaires.
  • La première exécution télécharge ~2 Go de checkpoints. En Chine, définissez d'abord HF_ENDPOINT=https://hf-mirror.com.
  • L'améliorateur GFPGAN (--enhancer gfpgan) double approximativement le temps de traitement. Ignorez-le pour des aperçus rapides.
  • Le mode --still attend des photos source en pied lorsqu'il est combiné avec --preprocess full.
  • L'audio doit être en .wav ou .mp3. Les autres formats génèrent une erreur 'Header missing'. Convertissez avec ffmpeg : ffmpeg -i input.m4a output.wav.

Vérification

  1. conda run -n sadtalker python -c 'import torch; print(torch.version)' — ne doit PAS contenir '+cu'
  2. ls ~/SadTalker/checkpoints/ — doit contenir auido2exp_00300-model.pth, auido2pose_00140-model.pth, epoch_20.pth et d'autres fichiers .pth
  3. conda run -n sadtalker python -c 'import dlib; print("ok")' — doit afficher 'ok' (pas d'Illegal Hardware Instruction)
  4. Test rapide : cd ~/SadTalker && conda run -n sadtalker python inference.py --driven_audio examples/driven_audio/bus_chinese.wav --source_image examples/source_image/full_body_1.png — produit une sortie dans results/

Skills associés