Communitygithub.com

haoyiyin/sadtalker-mac

Habilidade para agente: geração de vídeo de cabeça falante em um comando no macOS. Dê uma foto + áudio → obtenha um vídeo de humano digital. Funciona com qualquer agente de IA (Claude Code, Pi, Cursor, Codex, Copilot).

O que é sadtalker-mac?

Esta habilidade permite que qualquer agente de IA (como Claude Code, Cursor ou Codex) gere vídeos de cabeça falante (digital human / talking-head) no macOS com um único comando, a partir de uma foto de rosto e um arquivo de áudio. Ela automatiza a configuração do ambiente Conda com Python 3.10, instalação de dependências como dlib e torch (sem suporte CUDA), e executa o pipeline de inferência do SadTalker localmente, otimizado para CPU em Macs Apple Silicon ou Intel. O fluxo inclui verificação de pré-requisitos, conversão de formatos de áudio com ffmpeg e suporte a opções como aprimoramento facial (GFPGAN) e modo estático. É ideal para criadores de conteúdo que precisam gerar avatares falantes rápidos sem depender de serviços em nuvem.

Funciona com✓Claude Code✓Codex CLI✓Cursor
npx skills add haoyiyin/sadtalker-mac

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Quando Usar

O usuário quer criar um vídeo de cabeça falante / humano digital a partir de uma foto de retrato e um arquivo de áudio (口播视频, 数字人生成, photo talk). Gatilhos: "gerar vídeo de cabeça falante", "fazer esta foto falar", "foto falando", "vídeo de humano digital", "sadtalker", "talking head", "avatar video from photo". Aplica-se apenas ao macOS (Apple Silicon ou Intel).

Procedimento

  1. Localize os scripts: eles estão no mesmo diretório deste SKILL.md. Encontre-os com: ls "$(dirname <caminho-para-este-SKILL.md>)" — você verá setup.sh e generate.sh junto com este arquivo.
  2. Verifique os pré-requisitos: ffmpeg, ambiente conda sadtalker, ~/SadTalker/checkpoints/. Se algo estiver faltando, execute setup.sh (apenas na primeira vez, ~15 min, ~2,5 GB de download).
  3. Confirme que o usuário forneceu uma foto de retrato (.jpg/.png) e um arquivo de áudio de fala (.wav/.mp3). Se o áudio estiver em outro formato, converta com ffmpeg primeiro.
  4. Execute a geração: bash generate.sh <foto> <áudio> [--enhancer gfpgan] [--still] [--preprocess full|resize|crop]. Isso invoca conda run -n sadtalker python inference.py internamente.
  5. O .mp4 de saída aparece em ~/SadTalker/results//. Abra-o com: open <caminho> (macOS). Informe o caminho ao usuário.

Armadilhas

  • Python DEVE ser 3.10 dentro do ambiente conda. 3.8 não tem wheels para Apple Silicon, 3.11+ não tem wheel de scikit-image==0.19.3.
  • 8 GB de RAM: feche Chrome/IDE antes de executar. SadTalker é puramente CPU no Mac — não há suporte a GPU.
  • dlib deve ser instalado separadamente no Mac: conda run -n sadtalker pip install dlib — este é o erro #1 no M1.
  • Instale torch SEM o sufixo CUDA: simplesmente pip install torch torchvision torchaudio. Se torch.version contiver '+cu', reinstale.
  • ffmpeg via brew, não conda. O ffmpeg do conda às vezes não tem os codecs necessários.
  • A primeira execução baixa ~2 GB de checkpoints. Na China, defina HF_ENDPOINT=https://hf-mirror.com primeiro.
  • O aprimorador GFPGAN (--enhancer gfpgan) aproximadamente dobra o tempo de processamento. Pule para visualizações rápidas.
  • O modo --still espera fotos de corpo inteiro quando combinado com --preprocess full.
  • O áudio deve ser .wav ou .mp3. Outros formatos geram erro 'Header missing'. Converta com ffmpeg: ffmpeg -i input.m4a output.wav.

Verificação

  1. conda run -n sadtalker python -c 'import torch; print(torch.version)' — NÃO deve conter '+cu'
  2. ls ~/SadTalker/checkpoints/ — deve conter auido2exp_00300-model.pth, auido2pose_00140-model.pth, epoch_20.pth e outros arquivos .pth
  3. conda run -n sadtalker python -c 'import dlib; print("ok")' — deve imprimir 'ok' (sem Illegal Hardware Instruction)
  4. Teste rápido: cd ~/SadTalker && conda run -n sadtalker python inference.py --driven_audio examples/driven_audio/bus_chinese.wav --source_image examples/source_image/full_body_1.png — produz saída em results/

Habilidades Relacionadas