Communitygithub.com

haoyiyin/sadtalker-mac

Agent-Fähigkeit: Ein-Befehl Talking-Head-Videogenerierung auf macOS. Gib ein Foto + Audio → erhalte ein digitales Menschenvideo. Funktioniert mit jedem KI-Agenten (Claude Code, Pi, Cursor, Codex, Copilot).

Was ist sadtalker-mac?

Diese Fähigkeit ermöglicht es KI-Agenten wie Claude Code, Cursor oder Copilot, auf macOS (Apple Silicon oder Intel) in einem einzigen Befehl ein sprechendes Kopfvideo aus einem Porträtfoto und einer Audiodatei zu generieren. Sie verwendet das SadTalker-Modell, das auf reinem CPU-Betrieb läuft (kein GPU-Pfad auf Mac), und erfordert einen ersten Einrichtungsdurchlauf von etwa 15 Minuten und 2,5 GB. Der Agent identifiziert, wann der Benutzer eine solche Aufgabe wünscht (z. B. „Foto sprechen lassen“ oder „Talking-Head-Video erstellen“), und führt dann eine vordefinierte Prozedur aus: Überprüfung der Voraussetzungen (ffmpeg, conda-Umgebung 'sadtalker', Checkpoints), optionaler Aufruf eines Setup-Skripts und schließlich Ausführung des generate.sh-Skripts mit dem Foto und der Audiodatei. Die Fähigkeit behandelt häufige Fallstricke wie falsche Python-Version, CUDA-Suffix in PyTorch oder fehlenden dlib auf Apple Silicon. Die Ausgabe ist eine MP4-Datei, die dem Benutzer gemeldet und mit dem open-Befehl geöffnet wird.

Funktioniert mit✓Claude Code✓Codex CLI✓Cursor
npx skills add haoyiyin/sadtalker-mac

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Wann verwenden

Der Benutzer möchte ein Talking-Head- / Digital-Human-Video aus einem Porträtfoto und einer Audiodatei erstellen (口播视频, 数字人生成, photo talk). Auslöser: „generiere ein sprechendes Video”, „lass dieses Foto sprechen”, „Foto sprechen lassen”, „digitales Menschenvideo”, „sadtalker”, „talking head”, „Avatar-Video aus Foto”. Gilt nur für macOS (Apple Silicon oder Intel).

Vorgehen

  1. Skripte lokalisieren: sie befinden sich im selben Verzeichnis wie diese SKILL.md. Finde sie mit: ls "$(dirname <Pfad-zu-dieser-SKILL.md>)" – du siehst setup.sh und generate.sh zusammen mit dieser Datei.
  2. Voraussetzungen prüfen: ffmpeg, conda env sadtalker, ~/SadTalker/checkpoints/. Falls etwas fehlt, führe setup.sh aus (nur beim ersten Mal, ~15 Min., ~2,5 GB Download).
  3. Bestätigen, dass der Benutzer ein Porträtfoto (.jpg/.png) und eine Sprach-Audiodatei (.wav/.mp3) bereitgestellt hat. Falls das Audio in einem anderen Format vorliegt, zuerst mit ffmpeg konvertieren.
  4. Generierung ausführen: bash generate.sh <Foto> <Audio> [--enhancer gfpgan] [--still] [--preprocess full|resize|crop]. Dies ruft im Hintergrund conda run -n sadtalker python inference.py auf.
  5. Die Ausgabe-.mp4 erscheint in ~/SadTalker/results//. Öffne sie mit: open <Pfad> (macOS). Melde den Pfad dem Benutzer.

Fallstricke

  • Python MUSS 3.10 innerhalb der conda-Umgebung sein. 3.8 vermisst Apple-Silicon-Wheels, 3.11+ hat kein scikit-image==0.19.3-Wheel.
  • 8 GB RAM: Schließe Chrome/IDE vor der Ausführung. SadTalker läuft auf Mac rein auf CPU – kein GPU-Pfad vorhanden.
  • dlib muss auf Mac separat installiert werden: conda run -n sadtalker pip install dlib – das ist der häufigste M1-Fehler.
  • Installiere torch OHNE CUDA-Suffix: einfaches pip install torch torchvision torchaudio. Wenn torch.version '+cu' enthält, neu installieren.
  • ffmpeg über brew, nicht conda. Condas ffmpeg fehlen manchmal benötigte Codecs.
  • Erster Lauf lädt ~2 GB Checkpoints herunter. In China zuerst HF_ENDPOINT=https://hf-mirror.com setzen.
  • GFPGAN-Verbesserer (--enhancer gfpgan) verdoppelt in etwa die Verarbeitungszeit. Überspringe ihn für schnelle Vorschauen.
  • Der --still-Modus erwartet Ganzkörper-Quellfotos in Kombination mit --preprocess full.
  • Audio muss .wav oder .mp3 sein. Andere Formate führen zu Fehlern mit 'Header missing'. Mit ffmpeg konvertieren: ffmpeg -i input.m4a output.wav.

Überprüfung

  1. conda run -n sadtalker python -c 'import torch; print(torch.version)' – darf NICHT '+cu' enthalten
  2. ls ~/SadTalker/checkpoints/ – muss auido2exp_00300-model.pth, auido2pose_00140-model.pth, epoch_20.pth und andere .pth-Dateien enthalten
  3. conda run -n sadtalker python -c 'import dlib; print("ok")' – muss 'ok' ausgeben (keine Illegal Hardware Instruction)
  4. Testlauf: cd ~/SadTalker && conda run -n sadtalker python inference.py --driven_audio examples/driven_audio/bus_chinese.wav --source_image examples/source_image/full_body_1.png – erzeugt Ausgabe in results/

Verwandte Skills