Communitygithub.com

haoyiyin/sadtalker-mac

エージェントスキル:macOSでワンコマンドで口パク動画を生成。写真+音声からデジタルヒューマン動画を作成します。Claude Code、Pi、Cursor、Codex、CopilotなどあらゆるAIエージェントで動作します。

sadtalker-mac とは?

このスキルは、macOS環境で人物写真と音声ファイルから口パク動画(口播動画、デジタルヒューマン生成)をワンコマンドで生成するためのものです。ユーザーが「写真を話させる」「デジタルヒューマン動画を作る」といったリクエストをした際に、AIエージェント(Claude Code、Cursor、Codex、Copilotなど)が自動的に処理を実行します。スキルは同一ディレクトリにあるシェルスクリプト(setup.sh, generate.sh)を利用し、ffmpeg、conda環境の`平静なsadtalker`、事前学習済みチェックポイントを前提とします。初回実行時にはsetup.shで環境構築(約15分、約2.5GBダウンロード)が必要です。Apple SiliconおよびIntel Macに対応しており、CPUのみで動作しGPUは使用しません。出力は.mp4ファイルとして`~/SadTalker/results/`に保存され、`open`コマンドで即座に確認できます。このスキルはAIエージェントが効率的にデジタルヒューマン動画を生成するための手順と注意点を明確に定義しており、開発者による動画コンテンツ制作やプレゼンテーションに役立ちます。

対応✓Claude Code✓Codex CLI✓Cursor
npx skills add haoyiyin/sadtalker-mac

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

使用するタイミング

ユーザーがポートレート写真と音声ファイルから口パク動画(デジタルヒューマン動画)を作成したい場合に使用します。トリガーとなるフレーズ:"口播視頻を生成する", "この写真を話させる", "写真を話させる", "デジタルヒューマン動画", "sadtalker", "talking head", "写真からアバター動画"。対象はmacOS(Apple SiliconまたはIntel)のみです。

手順

  1. スクリプトの場所を特定する:スクリプトはこのSKILL.mdと同じディレクトリにあります。次のコマンドで確認します:ls "$(dirname <path-to-this-SKILL.md>)" — setup.shとgenerate.shがこのファイルと一緒に表示されます。
  2. 前提条件を確認する:ffmpeg、conda環境のsadtalker、~/SadTalker/checkpoints/。不足しているものがあれば、setup.shを実行します(初回のみ、約15分、約2.5GBダウンロード)。
  3. ユーザーがポートレート写真(.jpg/.png)と音声ファイル(.wav/.mp3)を提供していることを確認する。音声が他の形式の場合は、まずffmpegで変換します。
  4. 生成を実行する:bash generate.sh <写真> <音声> [--enhancer gfpgan] [--still] [--preprocess full|resize|crop]。内部的にはconda run -n sadtalker python inference.pyを呼び出します。
  5. 出力の.mp4ファイルが~/SadTalker/results/<タイムスタンプ>/に保存されます。次のコマンドで開きます:open <パス>(macOS)。ユーザーにパスを報告します。

落とし穴

  • conda環境内のPythonは3.10でなければなりません。3.8ではApple Silicon用のホイールが不足し、3.11以降ではscikit-image==0.19.3のホイールがありません。
  • RAM 8GB:実行前にChrome/IDEを閉じてください。SadTalkerはMacではCPUのみで動作します。GPUパスはありません。
  • dlibはMac上で個別にインストールする必要があります:conda run -n sadtalker pip install dlib — これがM1で最もよくあるエラーです。
  • torchはCUDA無しでインストールします:通常のpip install torch torchvision torchaudio。torch.__version__に'+cu'が含まれている場合は、再インストールします。
  • ffmpegはcondaではなくbrewでインストールします。condaのffmpegは必要なコーデックが不足している場合があります。
  • 初回実行時は約2GBのチェックポイントをダウンロードします。中国国内の場合は、事前にHF_ENDPOINT=https://hf-mirror.comを設定します。
  • GFPGAN enhancer(--enhancer gfpgan)を使用すると処理時間が約2倍になります。簡単なプレビューの場合はスキップしてください。
  • --stillモードは、--preprocess fullと組み合わせると全身写真を期待します。
  • 音声は.wavまたは.mp3でなければなりません。他の形式では'Header missing'エラーが発生します。ffmpegで変換します:ffmpeg -i input.m4a output.wav。

検証

  1. conda run -n sadtalker python -c 'import torch; print(torch.__version__)' — '+cu'が含まれていないことを確認します。
  2. ls ~/SadTalker/checkpoints/ — auido2exp_00300-model.pth、auido2pose_00140-model.pth、epoch_20.pth、およびその他の.pthファイルが含まれていることを確認します。
  3. conda run -n sadtalker python -c 'import dlib; print("ok")' — 'ok'と表示されることを確認します(Illegal Hardware Instructionエラーが出ないこと)。
  4. スモークテスト:cd ~/SadTalker && conda run -n sadtalker python inference.py --driven_audio examples/driven_audio/bus_chinese.wav --source_image examples/source_image/full_body_1.png — 出力がresults/に生成されることを確認します。

関連スキル