Communitygithub.com

avatar-studio

1枚のイラスト風ポートレート(漫画や描かれたキャラクター)と台本から、そのキャラクターが話すMP4動画を、すべてローカルマシン上で生成します。

avatar-studio とは?

avatar-studioは、1枚のイラストポートレートと台本を入力として、そのキャラクターが話すトーキングヘッド動画(MP4)を完全にローカル環境で生成するAIエージェントスキルです。主にClaude Code(コマンドラインエージェント)上での使用を想定しており、キャラクターの3Dヘッド作成、Kokoroを使った音声合成、音声に同期した口の動き(音量ベース)やまばたき、首振り、うなずきのアニメーション、ヘッドレスChromeでのレンダリング、字幕・ラベル・エンドカードの焼き込みまでをワンストップで行います。このスキルの最大の強みは、一切の外部クラウドサービスに依存せず、個人のマシンだけで完結するプライバシー重視の設計です。また、縦横・正方形いずれのフォーマットにも対応し、ソーシャルメディアやウェブページ用の説明動画、プレゼンター風アバター動画、キャラクターによる読み上げ動画などの作成に活用できます。ただし、実在の人物の無断使用やディープフェイク、なりすまし行為を厳しく禁止し、各動画に「コンピュータ生成キャラクターであること」を明示するラベルを自動で付与するなど、倫理的なガイドラインを実装しています。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/VinVirtual/avatar-studio/tree/HEAD

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

avatar-studio は何をしますか?

パイプライン:ヘッド(トーキングヘッド:肖像画→ head.glb + head.json)→ 音声(Kokoro音声、計測済み単語タイミング、フレームごとのラウドネス)→ 計画(ラウドネスからの口の動き、シード値によるまばたきと揺れ、強調単語でのうなずき、サイドパネルへの視線、時間軸上のレイアウト)→ レンダリング(各フレームを t の純粋関数として描画、ヘッドレスChromeで実行、ffmpegにパイプ)→ MP4 + 字幕 + ウェブコピー。

スキルフォルダ: ~/.claude/skills/avatar-studio/(以下 $A と表記)。 すべてのコマンドは $A/avatar <command> <project> です。 $A/avatar help で一覧表示されます。talking-head スキルがインストールされている必要があります(デフォルト ~/.claude/skills/talking-head;別のフォルダを使用するには TALKING_HEAD_DIR を設定してください)。

$A/avatar                  コマンドライン(check, new, lint, head, audio, sheet, stills, video, build, test)
$A/engine/gen_audio.py     音声、単語タイミング、フレームごとのラウドネス("avatar audio" で実行)
$A/engine/lib/             純粋関数でユニットテスト済みモジュール:envelope(口)、motion、layout、plan、lint、captions
$A/engine/page/frame.js    1フレームを描画:背景、ヘッド(talking-headのビューア)、タイトル、パネル、キャプション、ラベル
$A/references/script.md    すべての台本フィールド
$A/examples/juno/          完成済みの例(Juno、talking-headの架空キャラクター)

何よりも先に:顔と言葉に関するルール

これらは省略できません。該当する場合はユーザーに伝えてください。

  1. その顔は誰のものですか? 肖像画が実在の人物を示している、またはそこから描かれている場合、その人物がこの使用に同意している必要があります。ユーザーに確認してください。ユーザーが同意を確認できない場合は、中止してください。公人、同僚、元交際相手、子供、またはユーザーが代わりに話すことができない人物の動画を決して作成しないでください。台本では、ユーザーが確認した場合のみ "character": { "likeness": "real-person-with-consent", "consent": true } を設定し、それ以外の場合は "likeness": "original"(創作キャラクター)または "licensed" を設定します。
  2. 決してなりすまさないでください。 キャラクターが実在の人物になりすましてはならず、台本は実在の人物の口に言葉を入れたり、セリフをその人物の実際の発言、引用、推薦、謝罪として提示してはなりません。ユーザーがそれを求めてきた場合は、その部分を断り、オリジナルキャラクターか明確に架空の枠組みを提案してください。
  3. ラベルを表示してください。 すべてのフレームに画面上のラベル(デフォルト「Computer-generated character」;lintは空のラベルを拒否します)を表示し、エンドカードにはキャラクターと音声がコンピュータ生成であることを記載します。ユーザーには、動画を投稿する場所(キャプション、説明、ページテキスト)に同様の注意書きを残し、プラットフォームの合成メディアに関するルールに従うように伝えてください。
  4. 主張を列挙してください。 レンダリングの前に、台本が行っているすべての事実上の主張(数値、製品の能力、価格、日付、比較、健康・法律・財務に関する記述)を列挙し、ユーザーにそれぞれ確認を求めてください。キャラクターは自信を持ってそれを述べますが、その背後に立つのはユーザー自身です。
  5. ユーザーの許可なく、マシンの外にデータを出さないでください。 avatar head --source space は肖像画を公開Hugging Face Spaceにアップロードし、ユーザーが同意した後に --yes が必要です(talking-headのSKILL.mdにライセンス制限の説明があります)。音声、フレーム、動画はすべてローカルで生成されます。

ワークフロー

  1. チェック: $A/avatar check。不足しているもの(talking-head、three.js、Kokoro、ffmpeg、Playwright、WebGL対応ブラウザ)を修正する方法を表示します。
  2. 開始: $A/avatar new <dir> --portrait picture.png(ヘッドが構築されます)または --head <head.glb と head.json があるフォルダ>(既存のものを再利用、例:$A/examples/juno/head)。
  3. ヘッド(肖像画がある場合のみ): $A/avatar head <dir>。<dir>/build/head でtalking-head(new、mark --auto、shape --source inflate、build、preview)を実行し、結果を <dir>/head/ にコピーします。前回のマーク以降に肖像画が変更されている場合は停止します:--force(新しい自動マーク)または --marks FILE を付けて再実行してください。一度に1つのBlenderプロセスのみ。1〜2分かかります。その後 Read <dir>/build/head/out/preview.png を確認し、talking-headのSKILL.mdに従って評価します(まばたき時に目が隠れているか、口が唇のラインで開いているか)。talking-headの mark --page でマークを修正するか、--marks FILE を渡してから avatar head を再実行します。
  4. 台本: <dir>/script.json を編集します(フィールドは references/script.md 参照)。行は1〜2文に抑えてください。ポイントは2〜6単語で、同じ行の話される単語に結び付けます("at": "word")。うなずきのために、文ごとに1つの強調単語を *this* のようにマークします。次に $A/avatar lint <dir> をエラーが出なくなるまで実行します(sheet、stills、video、build はlintを自動実行し、エラーがあるとレンダリングを拒否します:character.likeness の欠落、同意なしの実在人物、空または長すぎるラベル、プロジェクト外のヘッドフォルダ)。今すぐルール4(主張の列挙)を実行します。
  5. 音声: $A/avatar audio <dir>。音声やタイミングを変更するもの(lines、voice、speed、lang、pronounce、fps、lead、gap、tail、pause、タイトルやエンドカードの追加・変更)を変更した後は、再度実行します。レンダリングコマンドは、音声が古い場合は拒否し、その旨を表示します。各行の開始時間と長さ、および単語タイミングがモデルから測定されたか(「モデルの音素持続時間から」)推定されたかを表示します。推定時間の場合、レンダリングコマンドはポイントとキャプションが多少ずれる可能性があることを警告します。20〜60秒を目指してください。
  6. ルック: $A/avatar sheet <dir> を実行し、Read stills/<name>-sheet.png(ビートごとに1フレーム:タイトル、各ラインの口が最も開いた瞬間、各ポイント、まばたき、エンドカード)を確認します。出力される layout: 行は収まらなかったテキストです:短縮してください。確認事項:顔の上にテキストがない、キャプションが読めて口の上にない、パネルのテキストが各行内に収まっている、ラベルが見えている、フレームの端で何も切れていない。詳細には $A/avatar stills <dir> 4.2 11 を使用して、そのPNGを Read します。実際に見ずに「正しく見える」と言ってはいけません。
  7. レンダリング: $A/avatar video <dir> --web(または avatar build <dir> で lint + audio + sheet + video + web + ループプレビューを一度に実行)。完了したファイルから測定された同期行を出力します:描画された口とMP4からデコードされた音声エネルギーとの相関 r、およびフレーム単位の最適な遅延。rが0.75以上、遅延が0または-1(口が意図的に1フレーム先行)を期待します。これらの数値を報告すること。あなたは音声を聞くことはできません。
  8. その他の形状: sheet、stills、video、build で --format vertical または --format square。ファイル名に -<format> が追加されます。各形状についてシートを再度確認します。
  9. ユーザーに伝える ファイルの場所(out/<name>.mp4、.vtt、.srt、out/web/)、同期数値、以下の制限事項、およびルール3と4。

正直な期待値

  • 口はラウドネスに従います(音素ではありません)。大きな音で開き、無音で閉じます。アニメには適していますが、読唇には適していません。
  • 正面を向いたイラストスタイルの頭部のみが良好に機能します(talking-headの制限が適用されます:オフラインシェイプでのふくらんだ横顔、約35度を超えると側面が平らになります)。そのため、頭部の回転は小さく抑えられています。
  • 実用上は動画ごとに1つの音声のみ(各行に独自の voice を設定できますが、画面上のキャラクターは1つです)。
  • レンダリングはソフトウェアWebGLを使用します:2ページで毎秒約4〜5フレーム、つまり30秒の横向き動画の場合、約3分かかります。

ルール

  • ブラウザページは最大2つ(--workers 1|2)、Blenderプロセスは一度に1つ。
  • ユーザーがレンダリング結果を保持したい場合を除き、プロジェクトの build/、stills/、out/ フォルダをコミットしないでください。
  • engine/lib/ 内の何かを変更した後は、$A/avatar test を実行します。

関連スキル