使用するタイミング
ユーザーがポートレート写真と音声ファイルから口パク動画(デジタルヒューマン動画)を作成したい場合に使用します。トリガーとなるフレーズ:"口播視頻を生成する", "この写真を話させる", "写真を話させる", "デジタルヒューマン動画", "sadtalker", "talking head", "写真からアバター動画"。対象はmacOS(Apple SiliconまたはIntel)のみです。
手順
- スクリプトの場所を特定する:スクリプトはこのSKILL.mdと同じディレクトリにあります。次のコマンドで確認します:
ls "$(dirname <path-to-this-SKILL.md>)"— setup.shとgenerate.shがこのファイルと一緒に表示されます。 - 前提条件を確認する:ffmpeg、conda環境のsadtalker、
~/SadTalker/checkpoints/。不足しているものがあれば、setup.shを実行します(初回のみ、約15分、約2.5GBダウンロード)。 - ユーザーがポートレート写真(.jpg/.png)と音声ファイル(.wav/.mp3)を提供していることを確認する。音声が他の形式の場合は、まずffmpegで変換します。
- 生成を実行する:
bash generate.sh <写真> <音声> [--enhancer gfpgan] [--still] [--preprocess full|resize|crop]。内部的にはconda run -n sadtalker python inference.pyを呼び出します。 - 出力の.mp4ファイルが
~/SadTalker/results/<タイムスタンプ>/に保存されます。次のコマンドで開きます:open <パス>(macOS)。ユーザーにパスを報告します。
落とし穴
- conda環境内のPythonは3.10でなければなりません。3.8ではApple Silicon用のホイールが不足し、3.11以降ではscikit-image==0.19.3のホイールがありません。
- RAM 8GB:実行前にChrome/IDEを閉じてください。SadTalkerはMacではCPUのみで動作します。GPUパスはありません。
- dlibはMac上で個別にインストールする必要があります:
conda run -n sadtalker pip install dlib— これがM1で最もよくあるエラーです。 - torchはCUDA無しでインストールします:通常の
pip install torch torchvision torchaudio。torch.__version__に'+cu'が含まれている場合は、再インストールします。 - ffmpegはcondaではなくbrewでインストールします。condaのffmpegは必要なコーデックが不足している場合があります。
- 初回実行時は約2GBのチェックポイントをダウンロードします。中国国内の場合は、事前に
HF_ENDPOINT=https://hf-mirror.comを設定します。 - GFPGAN enhancer(
--enhancer gfpgan)を使用すると処理時間が約2倍になります。簡単なプレビューの場合はスキップしてください。 - --stillモードは、--preprocess fullと組み合わせると全身写真を期待します。
- 音声は.wavまたは.mp3でなければなりません。他の形式では'Header missing'エラーが発生します。ffmpegで変換します:
ffmpeg -i input.m4a output.wav。
検証
conda run -n sadtalker python -c 'import torch; print(torch.__version__)'— '+cu'が含まれていないことを確認します。ls ~/SadTalker/checkpoints/— auido2exp_00300-model.pth、auido2pose_00140-model.pth、epoch_20.pth、およびその他の.pthファイルが含まれていることを確認します。conda run -n sadtalker python -c 'import dlib; print("ok")'— 'ok'と表示されることを確認します(Illegal Hardware Instructionエラーが出ないこと)。- スモークテスト:
cd ~/SadTalker && conda run -n sadtalker python inference.py --driven_audio examples/driven_audio/bus_chinese.wav --source_image examples/source_image/full_body_1.png— 出力がresults/に生成されることを確認します。