Communitygithub.com

mengyuyuan/pixel-explainer-workflow

Claude Code をコード駆動型アニメーターとして使い、短い動画(Douyin/TikTok/Reels/Shorts)を作成します。ミュージックビデオ、歌詞MV、ピクセルアートやフラットカットアウトアニメーション、ナレーション付き解説動画、PSA、またはClaudeが得意とする動画スタイルの質問に答えます。

pixel-explainer-workflow とは?

このスキルは、Claude Code にHyperFrames(HTML/CSS/GSAP を MP4 にレンダリングするツール)を組み合わせて、コードでフレームを描画することで動画を作成します。SoraやKlingのようなピクセル生成ではなく、コードで描画可能なスタイル(ピクセルアート、フラットカットアウトアニメーション)を優先し、2DキャラクターアニメーションはAIモーショントランスファーで実現します。実写映像の編集(AI編集)にも対応し、ローカルでの文字起こし(中国語対応)、字幕追加、透かし除去、顔モザイク処理、残像エフェクト、フリーズイントロ、スピードランプなどの人気エフェクトをスクリプトで実現します。音楽に合わせたビート同期、歌詞タイミング調整、ピクセルキャラクター生成、動画の品質チェックまで一貫して行います。主にPython, Node.js, ffmpeg, HyperFrames CLI を利用し、各機能に必要な依存関係は `check_env.py` で確認してからインストールすることが推奨されます。

対応✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/mengyuyuan/pixel-explainer-workflow/tree/HEAD/upstream/claude-video-studio

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Claude Video Studio

Claude は、すべてのフレームを描くコードを記述することで動画を作成します。HTML、CSS、GSAP を使用し、HyperFrames によって MP4 にレンダリングします。Sora、Kling、Veo のようにピクセルを生成するわけではありません。コードでうまく描画できるスタイルを選び、それ以外については正直に伝えてください。 2D キャラクターアニメーションの場合は、次の2つを組み合わせます。Claude がモーションをレンダリングし、すべてのポスト処理を行い、ビデオモデルが毎フレームキャラクターを描き直します(セクション5)。

0. 前提条件 — 最初に確認し、許可なくインストールしない

最初のビルドの前に、python3 scripts/check_env.py [--project <video dir>] を実行してください。 これは標準ライブラリのみを使用し、何もインストールしません。各ワークフローに必要なもの、不足しているもの、インストールコマンド、およびおおよそのディスクサイズを出力します。不足しているアイテムを作成したいワークフローについてユーザーに表示し、インストール前に必ず確認を取ってください。いくつかのアイテムはサイズが大きいです(mediapipe と OpenCV/jax で約 600 MB、ヘッドレス Chrome で約 400 MB、Blender で約 1 GB)。

ワークフロー必要なものインストール(ユーザーが同意した場合のみ)
ピクセル / フラット MV(コア)Python 3.9+、ffmpeg + ffprobe、Node 18+、HyperFrames スキルbrew install ffmpeg(または apt)· npx skills add heygen-com/hyperframes -s '*' -a claude-code -y
実際の曲からのビート同期HyperFrames の music-to-video スキル(その analyze-beatgrid.py)+ librosa、soundfile、numpynpx hyperframes skills update music-to-video(プロジェクト内)· pip install librosa soundfile numpy(約 280 MB)
ナレーション、吹き替え(redub.py)edge-tts(+ redub 用 soundfile)pip install edge-tts soundfile(約 10 MB; 合成中はネットワークが必要)
2D モーショントランスファーnumpy、scipy、Pillow; libvpx-vp9 対応の ffmpegpip install -r requirements-2d.txt(約 150 MB)
2D リップ / アイリスチェックmediapipe 0.10.14(レガシー FaceMesh API; Python 3.9–3.12)pip install -r requirements-face.txt(約 600 MB); mediapipe 1.x は未テスト
実写映像の編集numpy、scipy、Pillow、OpenCV(ガイド付きフィルタ用の contrib); noisereducepip install -r requirements-edit.txt(約 250 MB)· pip install noisereduce
顔モザイク、人物切り抜きmediapipe 0.10.14; macOS では代わりに Apple Vision を使用(Xcode コマンドラインツールの swiftc が必要、モデルのダウンロードは不要)pip install -r requirements-face.txt(約 600 MB)· xcode-select --install
中国語文字起こしFunASR + torch(Python 3.10–3.12)pip install -r requirements-asr.txt(約 1 GB; 初回実行時に ModelScope からモデル 1~3 GB をダウンロード)
3D / ドライバービデオBlender 4.5 LTSblender.org LTS ダウンロード(約 1 GB)

自動的にダウンロードされるもの(初回実行前に説明してください):

  • npx [email protected] … は、最初の使用時に npm から HyperFrames CLI を取得します。再レンダリングが同一になるようにバージョンを固定します。init 中にスキルの取得がハングした場合は、HYPERFRAMES_SKIP_SKILLS=1 を設定してください。
  • 最初の check/snapshot/render は、HyperFrames のヘッドレス Chrome(約 400 MB)がキャッシュされていない場合にダウンロードします。npx [email protected] browser ensure で事前にこれを行えます。
  • 他に自動インストールされるものはありません。scripts/ 内のスクリプトは、パッケージや ffmpeg が見つからない場合に正確なインストールコマンドを表示して停止し、--help で使用方法を出力します。
  • 標準ライブラリのみのスクリプトはパッケージを必要としません: timed_lyrics.py、align_beats.py、pixel_sprite.py、check_env.py。

コアのオーサリング契約のために /hyperframes をロードします:

npx --yes [email protected] init my-video

1. 最初にスタイルを選択する

何かを構築する前に、この表で答えてください。期待を裏切るスタイルを約束しないでください。

スタイル信頼性標準的な時間使用用途
ピクセルアート(スプライトシートとしてのキャラクター、ゲーム UI)★★★★★2分のMVで約1~2時間歌詞MV、個人のストーリー、PSA、ゲーム風のナラティブ
フラットカットアウト / モーショングラフィックス(シェイプ、フラットなキャラクター、キネティックタイポグラフィ)★★★★★1分で約1.5~2時間有名な瞬間のリメイク、プロダクトローンチ、解説動画、データ
1枚のイラストからの2Dキャラクター、AIモーショントランスファー(Claude がレンダリングしたドライバー上の Kling「動作控制」; フォールバックとして Veo)★★★★ドライバー約1時間、ユーザーのアプリでの生成、ポスト約0.5時間イラストのスタイルを維持するダンスやラップクリップ; references/2d-motion-transfer.md を参照
既存のイラストの2Dリグアニメーション(メッシュ変形、Live2D や Spine のような)★★20秒で約1~3時間(フレームごとのQAを含む)小さな待機や会話ループのみ: ダンスでは関節がパペットのように見える; references/2d-rig-lessons.md を参照
コードでゼロから描画する2Dキャラクター★★変動テレビのカットアウトパペットレベルに限る。フレームバイフレームの手描きモーションではない
3Dリアリスティック(three.js または Blender)★20秒で約10~30時間以上高品質の既製モデルがある場合のみ; シーンは実写(スキャン、Poly Haven)が可能

経験則:

  • 3Dにおける特定の人のリアリズムは、ほぼ完全にモデルに依存します。 汎用のゲームアバターに衣装を着せ替えても、その人にはなりません。事前にそう伝え、以下を提供してください:
    • ダウンロードした高品質モデル(Sketchfab CC0/CC-BY、MetaHuman、Character Creator);
    • または、人間のショットには AI ビデオモデルを使用し、Claude が編集、キャプション、パッケージングを行います。
  • 人物の写真が数枚または低解像度の場合 → 写真を直接使用する代わりに、それらからピクセルキャラクターを描画します。
  • 実在の人物の肖像: 本人の実際の同意なしに、実在の人物のフォトリアルな複製を作成しないでください。架空の人物または AI 生成の人物、あるいはスタイライズされたキャラクターを使用してください。

2. 正確なタイムラインを持つ音楽(歌詞MV用)

AI 音楽アプリ(Gemini/Lyria、Suno など)は、小節ごとにタイミングを指定すると、はるかによく従います。

  1. 歌詞を1行1小節で記述します。テンポを固定します: 96 BPM は 1 小節 = 2.5 秒; 120 BPM は 2.0 秒です。
  2. python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…" は以下を出力します:
    • 音楽アプリに貼り付けるための prompt.txt;
    • 各行の開始と終了を含む lyrics.json;
    • lyrics.srt。
  3. ユーザーが曲を生成し、MP3 を提供します。
  4. その MP3 に対して HyperFrames の analyze-beatgrid.py を実行します → audiomap.json。このスクリプトは music-to-video スキル (npx hyperframes skills update music-to-video) に同梱されており、librosa、soundfile、numpy が必要です。セクション0を参照してください。
  5. python3 scripts/align_beats.py audiomap.json --bpm 96 は、計画グリッドと実際のダウンビートとの間のオフセットを測定します。通常は +0.1 ~ +0.3 秒です。すべての歌詞とカットのタイミングは 計画 + オフセット になります。
  6. 生成された曲が短い場合、または早く終了する場合は、エンディングを実際のオーディオに合わせて再調整してください。音楽を引き伸ばさないでください。

3. ピクセルパイプライン

  • キャラクター
    • Python でスプライトグリッドを手動で作成: scripts/pixel_sprite.py は、パレット、自動アウトライン、プレビューシートを備えた標準ライブラリの PNG ライターです。
    • ヒーローごとに 15~25 ポーズを使用: 待機、まばたき、会話、歩行 a/b、ジャンプ/しゃがみ、応援、悲しみ、指差し、さらにストーリー固有のアクション。
    • 写真の特徴から描画: 髪型と色、メガネ、服装。
  • リグ(シークセーフ)
    • ポーズごとに1つの <img> をスタックします。
    • ポーズの切り替えは1つの tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t) で行います。同じ瞬間に2つのセットがあると、後方シークが壊れます。
    • 非表示のポーズは visibility: hidden; opacity: 0 で開始します。
    • image-rendering: pixelated を使用し、整数でのみスケーリングします。
  • 構造
    • 曲をセクションごとに6~8フレーム(サブコンポジション)に分割し、サブエージェントが共有キット(CSS、リグ、HUD)とハードルールを含む WORKER-NOTES.md(references/hyperframes-gotchas.md を参照)を使用して並行して記述できるようにします。

4. フラットカットアウト / モーショングラフィックスパイプライン

  • キット。すべての描画を assets/kit.js に保持します: キャラクターは SVG/DOM パーツ、スタジアム、UI クローム。シーンごとに1つのファイルを assets/scene1..N.js に配置し、ビートタイムを assets/data.js に配置します。
  • タイミング。ビートグリッドに合わせます: すべてのカット、ヒット、テキストポップは beats[i] + offset 上に配置されます。
  • リファレンス駆動。ユーザーがリファレンスビデオを送信した場合、最初にビートごとにその構造を説明し、次に独自の描画スタイルで再構築します。アセットをコピーしないでください。

5. 2Dキャラクターアニメーション: AI モーショントランスファー — references/2d-motion-transfer.md を参照

ユーザーが1枚のイラストを持っていて、それを踊らせたりラップさせたりしたい場合にこれを使用します。正面からのメッシュリグはパペットのように見えます。

  1. ドライヤービデオ。3D スタンドイン(セクション9のモデルとモーション)でコレオグラフィをレンダリングします: 1人、固定カメラ、3~30秒。
    • ダンス用の全身テイク。
    • 歌詞のジェスチャーと口のリップシンク(ドライバー上で MuseTalk を使用)を備えた腰から上のテイク。
    • クリーンプレート: キャラクターを非表示にした同じカメラ。
  2. イラストをドライヤーの最初のフレームに合わせます。scripts/make_green.py cut.png wide|close ... を実行して、それを #00B140 に配置します。
  3. クレジットを使う前にカメラ計画をリハーサルします。scripts/standin_from_driver.py でドライバーをスタンドインにキーイングし、すべてのフレームでクリップされた手や見えるテイクの端を確認します。
  4. ユーザーにパックを渡します(画像、ドライバー、プロンプト、設定)。
    • Kling「動作控制」、人物朝向「与视频一致」は、イラスト独自のスタイルで20秒を提供します。
    • Veo(Gemini アプリ)は Kling がない場合のフォールバックです: 10 秒、720p/24 fps; 3D トゥーンにドリフトし、口が同期しません。
  5. ポスト処理
    • scripts/key_diff.py(色差マット; 透かしには --corner)でキーイングします。
    • ドライバーに対するラグを測定します; Kling は2フレーム早かったです。
    • scripts/lip_sync_check.py でボーカルに対する口の動きをチェックします。
    • ビートに合わせて編集し、フッテージの fps でレンダリングします。
  6. キャラクターごとに1つのジェネレーターを使用します。Kling のセルと Veo の3Dトゥーンを並べると、異なる2つの描画のように見えます。クリップ間で顔を比較します; scripts/recolor_iris.py は目の色のドリフトを修正します。

6. 実写映像の編集(AI編集)— references/ai-editing.md を参照

ユーザーが自分のフッテージを提供した場合にこれを使用します(「私のスリップをカットして、字幕を追加して、ロゴを削除して、エフェクトを追加して」)。

  1. ローカルで文字起こし。scripts/transcribe_zh.py は、文字ごとのタイムスタンプ、ポーズ、スリップ候補を提供します(方言には --nano)。カットは EDL に配置され、フレーム全体にスナップし、結合部に短いディゾルブを配置します。
  2. フレーミング。カメラの動きが要求されない限り、1つの固定フレーミングを維持します。
  3. タイムフリーズ。scripts/time_freeze.py: フリーズ領域は被写体のすべてのポーズの和集合であるため、ゴーストの手足はありません。
  4. ウォーターマーク。scripts/dewatermark.py: 時間的最小ストロークマスクとテクスチャ移植。
  5. グラフィック。HyperFrames で行います: 話者の下にキーワード強調付きの字幕、ステップカードとトラッカー、インパクトワード、ステッカー、エンドカード。
  6. オーディオ。noisereduce にポーズから取得したノイズプリントを使用し、-16 LUFS で loudnorm を適用し、さらにキュータイムに合成 SFX を追加します。
  7. 吹き替え(方言→標準中国語、または公開できない音声)。scripts/redub.py:
    • 文のグループごとに1回の edge-tts 呼び出し、レートは元のスパンに適合;
    • 字幕は WordBoundary イベントから再タイミング;
    • 背景音は、音声のないポーズからカットされたレベルマッチングされた部屋のトーンで、元の音声は決して使用しません;
    • ステッカーやラベル内の方言の単語も書き換えます。
  8. プライバシー。登場に同意しなかった人々を見せる前に scripts/face_mosaic.py を実行します。
  9. マット。scripts/person_matte.py は、以下のエフェクトが --mattes で受け取るフレームごとのマットを書き出します:
    • macOS では Apple Vision を使用します(モデルのダウンロード不要; 髪や指はきれいなまま)、それ以外の場所では MediaPipe;
    • --backend vision-fg は、人物が持っているものや乗っているもの(スケートボード)も維持します;
    • --drop-static は、被写体として検出される壁画、ポスター、駐車車両を削除します;
    • マット上で構築する前に --preview シートを確認してください。MediaPipe のマットは切り抜きには粗すぎます。
  10. 人気の編集
    • scripts/echo_trail.py(舞蹈残影; --mattes を渡します);
    • scripts/freeze_intro.py(人物定格出场、グループショットでも機能します; macOS では Vision マット);
    • scripts/speed_ramp.py(曲线变速卡点、フロー補間されたスローモーション付き)。
  11. 拡張機能
    • scripts/clone_squad.py(一人成团):クローンはダンサーの後ろに立ち、地平線を基準にスケーリングされ、オフセットが調整されるため、クローンがフレームエッジでカットされることはありません。
    • scripts/pop_out.py(冲出画框 / 裸眼 3D):シーンの上に白いバーを置き、被写体がその前を通過します。最初にクリップをスローモーションにランプします。
    • 弱いショーケースを作るユーティリティ: scripts/auto_reframe.py(横屏转竖屏)および scripts/time_scan.py(时间扫描)。
  12. 結果をソースと比較して表示します。scripts/before_after.py は 原片 → AI 成片 リールを構築します:
    • ラベル付きで無音の生クリップ;
    • タイトルカード;
    • 独自のオーディオを含む結果。
  13. 「手動 vs AI」の書き起こし。エフェクトごとに、それぞれ同じ順序で:
    • 最初に元の方法: scripts/tutorial_reel.py はチュートリアルを「通常速度のエフェクト、次にステップリストの隣で早送りの教示部分」にカットします;
    • 次にステップ図: 手動ステップごとに番号付きのスクリーンショット1枚;
    • 次に before_after.py を使用した私たちのバージョン。
    • すべてのチュートリアルを1つのセクションにまとめ、すべての AI 結果を別のセクションにまとめないでください。リンクだけでは効果は示されません。
  14. 権利
    • 他人の動画: デフォルトでリンクします。ユーザーが決定した場合にのみ抜粋を埋め込みます。その場合は短くし、クレジット(作者、タイトル、版权归原作者)を焼き付け、オリジナルにリンクし、引き継ぎノートにリンクに置き換える方法を記載します。
    • チュートリアルやコメントからの引用は、逐語的な場合にのみ引用符で囲みます。トランスクリプトと照合します。
    • ライセンス済みのストック(例: Mixkit の無料ライセンス)とユーザー自身の音楽を使用します。

7. ナレーションとSFX(解説動画 / PSA)

  • スクリプト。ユーザーのスクリプトをそのまま使用します。医療または法律のテキストを言い換えないでください。
  • 音声(edge-tts):
    • ナレーター zh-CN-YunyangNeural;
    • 若い男性 zh-CN-YunxiNeural;
    • 若い女性 zh-CN-XiaoyiNeural;
    • お姉さん zh-CN-XiaoxiaoNeural;
    • 医者 zh-CN-YunjianNeural。
    • 1行ごとに生成し、無音をトリミングし、各行をタイムラインに配置します。
  • タイミング。映像は音声に従います: 実際の行の長さから timeline.json を構築し、次にアニメーション化します。
  • SFX。numpy で8ビット SFX を合成し(ビープ音、足音、心臓の鼓動、巻き戻し)、1つのトラックにミックスします。

関連スキル