Claude Video Studio
Claude は、すべてのフレームを描くコードを記述することで動画を作成します。HTML、CSS、GSAP を使用し、HyperFrames によって MP4 にレンダリングします。Sora、Kling、Veo のようにピクセルを生成するわけではありません。コードでうまく描画できるスタイルを選び、それ以外については正直に伝えてください。 2D キャラクターアニメーションの場合は、次の2つを組み合わせます。Claude がモーションをレンダリングし、すべてのポスト処理を行い、ビデオモデルが毎フレームキャラクターを描き直します(セクション5)。
0. 前提条件 — 最初に確認し、許可なくインストールしない
最初のビルドの前に、python3 scripts/check_env.py [--project <video dir>] を実行してください。 これは標準ライブラリのみを使用し、何もインストールしません。各ワークフローに必要なもの、不足しているもの、インストールコマンド、およびおおよそのディスクサイズを出力します。不足しているアイテムを作成したいワークフローについてユーザーに表示し、インストール前に必ず確認を取ってください。いくつかのアイテムはサイズが大きいです(mediapipe と OpenCV/jax で約 600 MB、ヘッドレス Chrome で約 400 MB、Blender で約 1 GB)。
| ワークフロー | 必要なもの | インストール(ユーザーが同意した場合のみ) |
|---|---|---|
| ピクセル / フラット MV(コア) | Python 3.9+、ffmpeg + ffprobe、Node 18+、HyperFrames スキル | brew install ffmpeg(または apt)· npx skills add heygen-com/hyperframes -s '*' -a claude-code -y |
| 実際の曲からのビート同期 | HyperFrames の music-to-video スキル(その analyze-beatgrid.py)+ librosa、soundfile、numpy | npx hyperframes skills update music-to-video(プロジェクト内)· pip install librosa soundfile numpy(約 280 MB) |
ナレーション、吹き替え(redub.py) | edge-tts(+ redub 用 soundfile) | pip install edge-tts soundfile(約 10 MB; 合成中はネットワークが必要) |
| 2D モーショントランスファー | numpy、scipy、Pillow; libvpx-vp9 対応の ffmpeg | pip install -r requirements-2d.txt(約 150 MB) |
| 2D リップ / アイリスチェック | mediapipe 0.10.14(レガシー FaceMesh API; Python 3.9–3.12) | pip install -r requirements-face.txt(約 600 MB); mediapipe 1.x は未テスト |
| 実写映像の編集 | numpy、scipy、Pillow、OpenCV(ガイド付きフィルタ用の contrib); noisereduce | pip install -r requirements-edit.txt(約 250 MB)· pip install noisereduce |
| 顔モザイク、人物切り抜き | mediapipe 0.10.14; macOS では代わりに Apple Vision を使用(Xcode コマンドラインツールの swiftc が必要、モデルのダウンロードは不要) | pip install -r requirements-face.txt(約 600 MB)· xcode-select --install |
| 中国語文字起こし | FunASR + torch(Python 3.10–3.12) | pip install -r requirements-asr.txt(約 1 GB; 初回実行時に ModelScope からモデル 1~3 GB をダウンロード) |
| 3D / ドライバービデオ | Blender 4.5 LTS | blender.org LTS ダウンロード(約 1 GB) |
自動的にダウンロードされるもの(初回実行前に説明してください):
npx [email protected] …は、最初の使用時に npm から HyperFrames CLI を取得します。再レンダリングが同一になるようにバージョンを固定します。init中にスキルの取得がハングした場合は、HYPERFRAMES_SKIP_SKILLS=1を設定してください。- 最初の
check/snapshot/renderは、HyperFrames のヘッドレス Chrome(約 400 MB)がキャッシュされていない場合にダウンロードします。npx [email protected] browser ensureで事前にこれを行えます。 - 他に自動インストールされるものはありません。
scripts/内のスクリプトは、パッケージや ffmpeg が見つからない場合に正確なインストールコマンドを表示して停止し、--helpで使用方法を出力します。 - 標準ライブラリのみのスクリプトはパッケージを必要としません:
timed_lyrics.py、align_beats.py、pixel_sprite.py、check_env.py。
コアのオーサリング契約のために /hyperframes をロードします:
npx --yes [email protected] init my-video
1. 最初にスタイルを選択する
何かを構築する前に、この表で答えてください。期待を裏切るスタイルを約束しないでください。
| スタイル | 信頼性 | 標準的な時間 | 使用用途 |
|---|---|---|---|
| ピクセルアート(スプライトシートとしてのキャラクター、ゲーム UI) | ★★★★★ | 2分のMVで約1~2時間 | 歌詞MV、個人のストーリー、PSA、ゲーム風のナラティブ |
| フラットカットアウト / モーショングラフィックス(シェイプ、フラットなキャラクター、キネティックタイポグラフィ) | ★★★★★ | 1分で約1.5~2時間 | 有名な瞬間のリメイク、プロダクトローンチ、解説動画、データ |
| 1枚のイラストからの2Dキャラクター、AIモーショントランスファー(Claude がレンダリングしたドライバー上の Kling「動作控制」; フォールバックとして Veo) | ★★★★ | ドライバー約1時間、ユーザーのアプリでの生成、ポスト約0.5時間 | イラストのスタイルを維持するダンスやラップクリップ; references/2d-motion-transfer.md を参照 |
| 既存のイラストの2Dリグアニメーション(メッシュ変形、Live2D や Spine のような) | ★★ | 20秒で約1~3時間(フレームごとのQAを含む) | 小さな待機や会話ループのみ: ダンスでは関節がパペットのように見える; references/2d-rig-lessons.md を参照 |
| コードでゼロから描画する2Dキャラクター | ★★ | 変動 | テレビのカットアウトパペットレベルに限る。フレームバイフレームの手描きモーションではない |
| 3Dリアリスティック(three.js または Blender) | ★ | 20秒で約10~30時間以上 | 高品質の既製モデルがある場合のみ; シーンは実写(スキャン、Poly Haven)が可能 |
経験則:
- 3Dにおける特定の人のリアリズムは、ほぼ完全にモデルに依存します。 汎用のゲームアバターに衣装を着せ替えても、その人にはなりません。事前にそう伝え、以下を提供してください:
- ダウンロードした高品質モデル(Sketchfab CC0/CC-BY、MetaHuman、Character Creator);
- または、人間のショットには AI ビデオモデルを使用し、Claude が編集、キャプション、パッケージングを行います。
- 人物の写真が数枚または低解像度の場合 → 写真を直接使用する代わりに、それらからピクセルキャラクターを描画します。
- 実在の人物の肖像: 本人の実際の同意なしに、実在の人物のフォトリアルな複製を作成しないでください。架空の人物または AI 生成の人物、あるいはスタイライズされたキャラクターを使用してください。
2. 正確なタイムラインを持つ音楽(歌詞MV用)
AI 音楽アプリ(Gemini/Lyria、Suno など)は、小節ごとにタイミングを指定すると、はるかによく従います。
- 歌詞を1行1小節で記述します。テンポを固定します: 96 BPM は 1 小節 = 2.5 秒; 120 BPM は 2.0 秒です。
python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…"は以下を出力します:- 音楽アプリに貼り付けるための
prompt.txt; - 各行の開始と終了を含む
lyrics.json; lyrics.srt。
- 音楽アプリに貼り付けるための
- ユーザーが曲を生成し、MP3 を提供します。
- その MP3 に対して HyperFrames の
analyze-beatgrid.pyを実行します →audiomap.json。このスクリプトはmusic-to-videoスキル (npx hyperframes skills update music-to-video) に同梱されており、librosa、soundfile、numpy が必要です。セクション0を参照してください。 python3 scripts/align_beats.py audiomap.json --bpm 96は、計画グリッドと実際のダウンビートとの間のオフセットを測定します。通常は +0.1 ~ +0.3 秒です。すべての歌詞とカットのタイミングは計画 + オフセットになります。- 生成された曲が短い場合、または早く終了する場合は、エンディングを実際のオーディオに合わせて再調整してください。音楽を引き伸ばさないでください。
3. ピクセルパイプライン
- キャラクター
- Python でスプライトグリッドを手動で作成:
scripts/pixel_sprite.pyは、パレット、自動アウトライン、プレビューシートを備えた標準ライブラリの PNG ライターです。 - ヒーローごとに 15~25 ポーズを使用: 待機、まばたき、会話、歩行 a/b、ジャンプ/しゃがみ、応援、悲しみ、指差し、さらにストーリー固有のアクション。
- 写真の特徴から描画: 髪型と色、メガネ、服装。
- Python でスプライトグリッドを手動で作成:
- リグ(シークセーフ)
- ポーズごとに1つの
<img>をスタックします。 - ポーズの切り替えは1つの
tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t)で行います。同じ瞬間に2つのセットがあると、後方シークが壊れます。 - 非表示のポーズは
visibility: hidden; opacity: 0で開始します。 image-rendering: pixelatedを使用し、整数でのみスケーリングします。
- ポーズごとに1つの
- 構造
- 曲をセクションごとに6~8フレーム(サブコンポジション)に分割し、サブエージェントが共有キット(CSS、リグ、HUD)とハードルールを含む
WORKER-NOTES.md(references/hyperframes-gotchas.mdを参照)を使用して並行して記述できるようにします。
- 曲をセクションごとに6~8フレーム(サブコンポジション)に分割し、サブエージェントが共有キット(CSS、リグ、HUD)とハードルールを含む
4. フラットカットアウト / モーショングラフィックスパイプライン
- キット。すべての描画を
assets/kit.jsに保持します: キャラクターは SVG/DOM パーツ、スタジアム、UI クローム。シーンごとに1つのファイルをassets/scene1..N.jsに配置し、ビートタイムをassets/data.jsに配置します。 - タイミング。ビートグリッドに合わせます: すべてのカット、ヒット、テキストポップは
beats[i] + offset上に配置されます。 - リファレンス駆動。ユーザーがリファレンスビデオを送信した場合、最初にビートごとにその構造を説明し、次に独自の描画スタイルで再構築します。アセットをコピーしないでください。
5. 2Dキャラクターアニメーション: AI モーショントランスファー — references/2d-motion-transfer.md を参照
ユーザーが1枚のイラストを持っていて、それを踊らせたりラップさせたりしたい場合にこれを使用します。正面からのメッシュリグはパペットのように見えます。
- ドライヤービデオ。3D スタンドイン(セクション9のモデルとモーション)でコレオグラフィをレンダリングします: 1人、固定カメラ、3~30秒。
- ダンス用の全身テイク。
- 歌詞のジェスチャーと口のリップシンク(ドライバー上で MuseTalk を使用)を備えた腰から上のテイク。
- クリーンプレート: キャラクターを非表示にした同じカメラ。
- イラストをドライヤーの最初のフレームに合わせます。
scripts/make_green.py cut.png wide|close ...を実行して、それを #00B140 に配置します。 - クレジットを使う前にカメラ計画をリハーサルします。
scripts/standin_from_driver.pyでドライバーをスタンドインにキーイングし、すべてのフレームでクリップされた手や見えるテイクの端を確認します。 - ユーザーにパックを渡します(画像、ドライバー、プロンプト、設定)。
- Kling「動作控制」、人物朝向「与视频一致」は、イラスト独自のスタイルで20秒を提供します。
- Veo(Gemini アプリ)は Kling がない場合のフォールバックです: 10 秒、720p/24 fps; 3D トゥーンにドリフトし、口が同期しません。
- ポスト処理
scripts/key_diff.py(色差マット; 透かしには--corner)でキーイングします。- ドライバーに対するラグを測定します; Kling は2フレーム早かったです。
scripts/lip_sync_check.pyでボーカルに対する口の動きをチェックします。- ビートに合わせて編集し、フッテージの fps でレンダリングします。
- キャラクターごとに1つのジェネレーターを使用します。Kling のセルと Veo の3Dトゥーンを並べると、異なる2つの描画のように見えます。クリップ間で顔を比較します;
scripts/recolor_iris.pyは目の色のドリフトを修正します。
6. 実写映像の編集(AI編集)— references/ai-editing.md を参照
ユーザーが自分のフッテージを提供した場合にこれを使用します(「私のスリップをカットして、字幕を追加して、ロゴを削除して、エフェクトを追加して」)。
- ローカルで文字起こし。
scripts/transcribe_zh.pyは、文字ごとのタイムスタンプ、ポーズ、スリップ候補を提供します(方言には--nano)。カットは EDL に配置され、フレーム全体にスナップし、結合部に短いディゾルブを配置します。 - フレーミング。カメラの動きが要求されない限り、1つの固定フレーミングを維持します。
- タイムフリーズ。
scripts/time_freeze.py: フリーズ領域は被写体のすべてのポーズの和集合であるため、ゴーストの手足はありません。 - ウォーターマーク。
scripts/dewatermark.py: 時間的最小ストロークマスクとテクスチャ移植。 - グラフィック。HyperFrames で行います: 話者の下にキーワード強調付きの字幕、ステップカードとトラッカー、インパクトワード、ステッカー、エンドカード。
- オーディオ。
noisereduceにポーズから取得したノイズプリントを使用し、-16 LUFS で loudnorm を適用し、さらにキュータイムに合成 SFX を追加します。 - 吹き替え(方言→標準中国語、または公開できない音声)。
scripts/redub.py:- 文のグループごとに1回の edge-tts 呼び出し、レートは元のスパンに適合;
- 字幕は WordBoundary イベントから再タイミング;
- 背景音は、音声のないポーズからカットされたレベルマッチングされた部屋のトーンで、元の音声は決して使用しません;
- ステッカーやラベル内の方言の単語も書き換えます。
- プライバシー。登場に同意しなかった人々を見せる前に
scripts/face_mosaic.pyを実行します。 - マット。
scripts/person_matte.pyは、以下のエフェクトが--mattesで受け取るフレームごとのマットを書き出します:- macOS では Apple Vision を使用します(モデルのダウンロード不要; 髪や指はきれいなまま)、それ以外の場所では MediaPipe;
--backend vision-fgは、人物が持っているものや乗っているもの(スケートボード)も維持します;--drop-staticは、被写体として検出される壁画、ポスター、駐車車両を削除します;- マット上で構築する前に
--previewシートを確認してください。MediaPipe のマットは切り抜きには粗すぎます。
- 人気の編集
scripts/echo_trail.py(舞蹈残影;--mattesを渡します);scripts/freeze_intro.py(人物定格出场、グループショットでも機能します; macOS では Vision マット);scripts/speed_ramp.py(曲线变速卡点、フロー補間されたスローモーション付き)。
- 拡張機能
scripts/clone_squad.py(一人成团):クローンはダンサーの後ろに立ち、地平線を基準にスケーリングされ、オフセットが調整されるため、クローンがフレームエッジでカットされることはありません。scripts/pop_out.py(冲出画框 / 裸眼 3D):シーンの上に白いバーを置き、被写体がその前を通過します。最初にクリップをスローモーションにランプします。- 弱いショーケースを作るユーティリティ:
scripts/auto_reframe.py(横屏转竖屏)およびscripts/time_scan.py(时间扫描)。
- 結果をソースと比較して表示します。
scripts/before_after.pyは 原片 → AI 成片 リールを構築します:- ラベル付きで無音の生クリップ;
- タイトルカード;
- 独自のオーディオを含む結果。
- 「手動 vs AI」の書き起こし。エフェクトごとに、それぞれ同じ順序で:
- 最初に元の方法:
scripts/tutorial_reel.pyはチュートリアルを「通常速度のエフェクト、次にステップリストの隣で早送りの教示部分」にカットします; - 次にステップ図: 手動ステップごとに番号付きのスクリーンショット1枚;
- 次に
before_after.pyを使用した私たちのバージョン。 - すべてのチュートリアルを1つのセクションにまとめ、すべての AI 結果を別のセクションにまとめないでください。リンクだけでは効果は示されません。
- 最初に元の方法:
- 権利
- 他人の動画: デフォルトでリンクします。ユーザーが決定した場合にのみ抜粋を埋め込みます。その場合は短くし、クレジット(作者、タイトル、版权归原作者)を焼き付け、オリジナルにリンクし、引き継ぎノートにリンクに置き換える方法を記載します。
- チュートリアルやコメントからの引用は、逐語的な場合にのみ引用符で囲みます。トランスクリプトと照合します。
- ライセンス済みのストック(例: Mixkit の無料ライセンス)とユーザー自身の音楽を使用します。
7. ナレーションとSFX(解説動画 / PSA)
- スクリプト。ユーザーのスクリプトをそのまま使用します。医療または法律のテキストを言い換えないでください。
- 音声(edge-tts):
- ナレーター
zh-CN-YunyangNeural; - 若い男性
zh-CN-YunxiNeural; - 若い女性
zh-CN-XiaoyiNeural; - お姉さん
zh-CN-XiaoxiaoNeural; - 医者
zh-CN-YunjianNeural。 - 1行ごとに生成し、無音をトリミングし、各行をタイムラインに配置します。
- ナレーター
- タイミング。映像は音声に従います: 実際の行の長さから
timeline.jsonを構築し、次にアニメーション化します。 - SFX。numpy で8ビット SFX を合成し(ビープ音、足音、心臓の鼓動、巻き戻し)、1つのトラックにミックスします。