Quando Usar
O usuário quer criar um vídeo de cabeça falante / humano digital a partir de uma foto de retrato e um arquivo de áudio (口播视频, 数字人生成, photo talk). Gatilhos: "gerar vídeo de cabeça falante", "fazer esta foto falar", "foto falando", "vídeo de humano digital", "sadtalker", "talking head", "avatar video from photo". Aplica-se apenas ao macOS (Apple Silicon ou Intel).
Procedimento
- Localize os scripts: eles estão no mesmo diretório deste SKILL.md. Encontre-os com:
ls "$(dirname <caminho-para-este-SKILL.md>)"— você verá setup.sh e generate.sh junto com este arquivo. - Verifique os pré-requisitos: ffmpeg, ambiente conda sadtalker, ~/SadTalker/checkpoints/. Se algo estiver faltando, execute setup.sh (apenas na primeira vez, ~15 min, ~2,5 GB de download).
- Confirme que o usuário forneceu uma foto de retrato (.jpg/.png) e um arquivo de áudio de fala (.wav/.mp3). Se o áudio estiver em outro formato, converta com ffmpeg primeiro.
- Execute a geração:
bash generate.sh <foto> <áudio> [--enhancer gfpgan] [--still] [--preprocess full|resize|crop]. Isso invocaconda run -n sadtalker python inference.pyinternamente. - O .mp4 de saída aparece em ~/SadTalker/results//. Abra-o com:
open <caminho>(macOS). Informe o caminho ao usuário.
Armadilhas
- Python DEVE ser 3.10 dentro do ambiente conda. 3.8 não tem wheels para Apple Silicon, 3.11+ não tem wheel de scikit-image==0.19.3.
- 8 GB de RAM: feche Chrome/IDE antes de executar. SadTalker é puramente CPU no Mac — não há suporte a GPU.
- dlib deve ser instalado separadamente no Mac:
conda run -n sadtalker pip install dlib— este é o erro #1 no M1. - Instale torch SEM o sufixo CUDA: simplesmente
pip install torch torchvision torchaudio. Se torch.version contiver '+cu', reinstale. - ffmpeg via brew, não conda. O ffmpeg do conda às vezes não tem os codecs necessários.
- A primeira execução baixa ~2 GB de checkpoints. Na China, defina HF_ENDPOINT=https://hf-mirror.com primeiro.
- O aprimorador GFPGAN (
--enhancer gfpgan) aproximadamente dobra o tempo de processamento. Pule para visualizações rápidas. - O modo --still espera fotos de corpo inteiro quando combinado com --preprocess full.
- O áudio deve ser .wav ou .mp3. Outros formatos geram erro 'Header missing'. Converta com ffmpeg:
ffmpeg -i input.m4a output.wav.
Verificação
- conda run -n sadtalker python -c 'import torch; print(torch.version)' — NÃO deve conter '+cu'
- ls ~/SadTalker/checkpoints/ — deve conter auido2exp_00300-model.pth, auido2pose_00140-model.pth, epoch_20.pth e outros arquivos .pth
- conda run -n sadtalker python -c 'import dlib; print("ok")' — deve imprimir 'ok' (sem Illegal Hardware Instruction)
- Teste rápido: cd ~/SadTalker && conda run -n sadtalker python inference.py --driven_audio examples/driven_audio/bus_chinese.wav --source_image examples/source_image/full_body_1.png — produz saída em results/