Communitygithub.com

コードで描くプロモ映像

宣伝、デモ、ローンチ、予告を、本物の音付きで全部コードから作ります。ウェブページが各フレームを時間の関数として描き、ヘッドレス Chromium が GPU で書き出し、ElevenLabs が一枚のキューシートから声、効果音、音楽を出します。独立した検討の回が、映像を修正に戻します。

コードで描くプロモ映像 とは?

再利用できる完成映像の技能です。絵はコード、音はキューシート、書き出しはヘッドレス Chromium の GPU 処理で、別の検討回が仕事に含まれます。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/rwfresh/all-of-them-video/tree/HEAD/skill/code-film

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Code film

ここでいう"film"は、任意の時点(window.renderAt(t))で描画を要求できるWebページです。小さなハーネスがヘッドレスChromium上でGPUを使って各フレームを要求し、ffmpegがフレームとサウンドトラックを結合します。ビデオとして撮影したり生成したりするわけではないので、コードが指定した通りの画像が、あらゆる解像度で、毎回正確に得られます。

このフォルダのキットは、「Dial-A-Dev 98」(Builder Wars 週間テーマ「1998年出荷」、2026年11月)で実証済みです:44秒、1920×1080、11カット、1,326フレームを約45秒でレンダリング。その映画の完全なソースは examples/dial-a-dev-98/ にあります。パターンは github.com/Vincentwei1021/mg-styles-15 (MIT) に従っています。これはモーションデザインスタイルの良い入門書でもあります。

映画を始める

bash ~/.claude/skills/code-film/new-film.sh ~/Work/<film-folder>     # キットをコピーし、2つのローカルパッケージをインストール
cd ~/Work/<film-folder>
# サウンドには ElevenLabs キーが必要: ユーザーが自分で ./.env に ELEVENLABS_API_KEY=... を保存します(チャットで要求しないでください)
node harness/render.mjs film --stills 0,1,2        # PNG静止画 -> film/out/stills/
bash tools/build.sh v1                              # キューリスト、ミックス、レンダリング、Xエンコード -> film/out/<filmName>_v1.mp4

映画は、製品リポジトリの外部にある独自のフォルダに保管してください。グローバルに何かをインストールする前に確認してください。

作業の順序

  1. ブリーフィング。 製品、対象者、公開場所、長さ、形状(16:9、9:16、1:1)。Builder Warsの場合は、get_video_guide を呼び出し、そのルールに従ってください(このファイルよりも優先されます)。
  2. トリートメント。 1つのアイデア、最初の0.5秒内のフック、エスカレーション、実行時間の約60〜75%の位置にある1つのヒーローモーメント、そして構成されたエンドフレーム。1つのスタイルを選び、その特徴的なシグネチャをテスト可能なステートメントとして書き留めます。
  3. 最初にキュ―シート (film/cues.json)。音声スクリプトをラインとして、推定所要時間とともに書きます。ショットはラインと話される単語に結び付けられ、ハードコードされた秒数には決して結び付けられません。これにより、新しい音声テイクが映画全体を再タイミングします。
  4. モーションの前に静止画。 最も難しい2〜3フレームのルックを構築し、フルサイズで確認します。ポスターに値しないフレームをアニメーション化しないでください。
  5. ショット。 ショットごとに1つのモジュール(下記のコントラクト)。静止画と小さなコンタクトシートでそれぞれ確認します。
  6. 音声。 オーディション(ストックボイスとデザインされた3つのボイス)、すべてのラインをワードタイミングで録音し、キュ―シートにカットを移動させます:node tools/vo.mjs --voice <id>、次に --reuse --tempo 1.12 で読みを締めます。
  7. 効果音と音楽。 audio/sfx.json と audio/music.json にリストし、node tools/sfx.mjs --music で生成します。各ショットは独自のサウンドキューを宣言するため、ヒットは画像に張り付いたままになります。
  8. ビルド (tools/build.sh)、その後自分でコンタクトシートを読み、見えたものを修正します。
  9. 審査。 独立したエージェントに rubric.md、ファイル、およびブリーフを与えます。そのエージェントは映画を作成していません。スコアを付け、順序付けられた修正を返します。それを適用し、再ビルドし、その後にのみユーザーに表示します。時間が許せば2ラウンド。
  10. 仕上げと引き渡し。 tools/finish.sh でX用にエンコードし、ポスターとコンタクトシートを作成します。出力先の独自のチェッカーを実行します。ユーザーが投稿します。決して代わりに投稿しないでください。

ページコントラクト

  • window.FILM = { width, height, fps, duration, shots, lines, sfx }、window.renderAt = async (t) => {...}、その後 window.__ready = true。
  • すべてのフレームは t の純粋関数です:シード付き乱数のみ、時計なし、CSSトランジションなし、フレーム間での状態引き継ぎなし。ハーネスは任意の順序で、複数のブラウザで同時にフレームを要求する場合があります。
  • ショットは { name, samples(lt), render(lt, post, renderer), overlay(g, lt), look(lt), sfx: [...] } です:
    • render は線形HDRを post.scene に描画します。overlay は1920×1080キャンバスに2Dスーパーを描画します(描画した場合はtrueを返します)。
    • samples はその瞬間のモーションブラーのサンプル数です(穏やかな場合は3、速い動きの場合は12〜20)。
    • look はポスト設定(ブルーム、フラッシュ、テープ量、グリッチ)を返します。
    • sfx は { t, s, g, a, len } をリストします:ローカル時間、サウンド名、ゲイン、a: 'peak' はサウンドの最も大きい瞬間をキューに合わせ、オプションのカット長。
  • film/js/film.js はショット名をファクトリにマッピングし、すべてのショットの上に表示されるものを描画します。
  • ルック開発用のクエリスイッチ:?clean(テープパスなし)、?nocc(キャプションなし)、?mb=1、?rs=0.5。
  • render はパス番号とカウントも受け取ります(render(lt, post, renderer, i, K))。ショットは shutter: 0 を設定できます。モーションブラーがない場合、Kパスは他のことに自由に使用できます:被写界深度のためにレンズを動かす、ソフトシャドウのためにキーライトを動かす、アンチエイリアシングのためにピクセルグリッドを動かす(ストーリーブックの rig.js)。look() は、テープパスの代わりにクリーンな仕上げ(カラートゥルートーンカーブ、グレイン、ビネット)のために paper: true を返す場合があります。
  • film.js は loadFonts(最初のフレームの前に完了する必要がある非同期処理)、buildCaptions および caption をエクスポートする場合があります。

このマシン(2026-11-11確認)

  • Chromium 155 @ /usr/bin/chromium、RTX 4070 Ti SUPER。ハードウェアWebGL2には --use-gl=angle --use-angle=gl-egl が必要です(ハーネスはこれを渡し、ソフトウェアにフォールバックした場合は警告します)。WebGPUはソフトウェアにフォールバックします:WebGL2を使用してください。
  • ffmpeg 9(libx264およびNVENC付き)。コンタクトシート用にImageMagick。Blenderなし、venv外のnumpyなし。
  • フル1080pレンダリング:3ワーカーで約0.03秒/フレーム。

ElevenLabs ノート(2026-11-11確認)

  • キーは映画フォルダの .env にあります。キーには user_read がない場合があり、その場合プランと残りのクレジットが読み取れない可能性があります。推測するのではなく、そのように伝えてください。
  • 使用中のプランは最大で mp3_44100_128 を許可します(それ以上のフォーマットにはCreatorプランが必要です)。音声モデル eleven_v4 は機能し、[excited] などのオーディオタグを受け入れます。タグはアラインメントで返され、vo.mjs によって削除されます。
  • ストックボイスはハードセルにはゆっくりと読みます。デザインボイス(eleven.mjs design、次に voice-save.mjs(1つのボイススロットを使用))に加えて --tempo 1.12 で、インフォマーシャルのペースが得られました。speed 設定はタイミングをほとんど変えませんでした。
  • 効果音はレベルが大きく異なり、1つは無音で返ってきました:mix.mjs はすべてのファイルをピークノーマライズし、ほぼ無音のものをスキップしてそのことを通知します。よりプレーンなプロンプトでそれらを再生成します(「大きな拍手1つ」は、説明されたカチンコが3回無音で返ってきたのに対して機能しました)。
  • ストーリーテラーボイスはゆっくり読みます:ストックボイスのGeorgeは1秒間に2.25単語でした。--tempo 1.25 で2.7単語/秒になり、通常の会話ペースになりました。長さは単語数ではなく、録音されたラインから決定してください。
  • 生成された音楽は、宣言された長さよりも前に終わります。mix.mjs はレベルが実際にどこで終わるかを見つけ、それを映画の終わりに合わせます。
  • キャラクターボイス(たとえば、子供向けテレビのマスコット)は、その説明が与えるペースで読みます:同じテキストが「幼児にゆっくり話す」では31秒、「活気があり、きびきびしたペース」では24秒かかりました。ペースを説明に入れ、2〜3の説明をデザインし(それぞれ3つのプレビュー)、tools/audition-stats.mjs(長さ、中央ピッチ、ピッチ範囲)で測定し、さらに --tempo 1.3 を想定してください。タイプを説明してください。実際のキャラクターや人物の名前を決して付けないでください。
  • ユーザーがオーディションで選んだボイスは、同じピッチと明るさを測定しても、映画ではより高く聞こえる場合があります:モデルは長いオーディションパッセージよりも約1.3倍速く単一行を読み、その上に --tempo をかけると、ボイスがより高く、より小さく聞こえます。vo.mjs --reuse --tempo 1.38 --pitch -2 は同じ速度でそれを低くします(タイミングは変わらないので、古いマスターで再ミックスして finish.sh を再実行してください。レンダリングは不要)。比較クリップを0、-1、-2、-3セミトーンでユーザーの耳用に作成し、その後ボイスステムレベルを再確認してください(mix.vo)。
  • voice-save.mjs <生成されたID> "<名前>" "<説明>" はプレビューをアカウントに保存します(1つのボイススロット)。新しいナレーターを録音する前に、前のナレーターのテイクを保持してください(cp -r audio/vo audio/vo_<名前>)。
  • 無料プランは商用投稿のライセンスがありません。プランが不明な場合は、ユーザーに伝えてください。

何が問題だったか(再発防止のため)

画像とコード:

  • テキスト内の位置から単語が話される時間を推定すると、最大1秒の誤差が生じます(「98」は「ninety-eight」と発音されます)。録音されたワードタイミング(mark(line, word))を使用してください。
  • three.js は押し出しテキストを公称サイズよりも大きくサイズ設定します。単語をターゲット幅に合わせてください。数値を信頼しないでください。
  • 指向性ライトで照らされた平面ミラーは一様に白くなります。ディスクやクロームにはポイントライトまたは変化のある環境を与え、ハイライトがホットスポットになるようにしてください。
  • 重なり合う傾いたディスクは交差します。深さ方向に重ね、傾きを制限してください。
  • ぼやけた床の反射は、背景のきらめきをドットグリッドに変えます:ミラーパスではきらめきをオフにしてください。
  • フェイクボールドのビットマップタイプ(テキストを1ピクセル離して2回描画)は、WやMを塗りつぶします。ui98.js は、次のストロークとのギャップが開いたままの場所でのみストロークを太くします。
  • 上半分が背景色に近いロゴは消えます。押し出し文字に暗いキーライン(makeLetters の outline)を付け、サイドウォールをほぼ黒に保ってください。
  • テープノイズはエンコードにコストがかかります。ロスレスでレンダリングし(--lossless)、その後ビットレートキャップを付けて1回エンコードしてください。

最初の審査ラウンドで、完成したと思っていた映画で見つかったもの(スコア約6/10)。審査前にこれらを確認してください:

  • 製品名は約2秒以内に画面に表示され、フレーム0がサムネイルである必要があります。最初のフレームから製品名が入った常設のローワーサードが、両方を解決しました。
  • スーパーとキャプションが最高のジョークを覆い隠していました。スーパーを配置した後は、その下にあるものを確認してください。
  • カメラがプッシュした後、テキストがタイトルセーフ領域の外に出ていました。すべてのプッシュの最初のフレームではなく、最後のフレームを確認してください。
  • すべてのカットで同じ白いフラッシュとグリッチはテンプレートのように読めます。4つのショットで1つの背景と5つの同一のスターバーストも同様です。それらを変化させてください。大きなフラッシュは1回か2回のヒットに温存してください。
  • 1080pでは問題ないように見えるキャプションも、スマートフォンでは小さすぎます:文字の高さは約40ピクセルで、専用の帯の中に配置してください。
  • 回収されない前提。映画が「誰かが電話に出ない限り」と言っているなら、誰かが出る必要があります。
  • 話されている単語の下に来るサウンドヒットは聞こえません。ヒットを単語の後に移動し、音量を上げてください。

2回の審査ラウンドでペーパーストーリーブック映画で見つかったもの(約6/10、次に約7/10)。次回はこれらを最初に確認してください:

  • 実際の製品画面をフルフレームで表示すると、スクリーンレコーディングのように見え、世界観を壊します。それらをシーン内(セット内のラップトップ)に、大きなタイプでの2つの大きな切り抜きとして、16フレーム以上のワールド内ワイプで変更して表示してください。境界線を切り取って、画面の側面に継ぎ目がないようにし、ゲーム内のお金は偽物であるとラベル付けしてください。
  • 数字はショット間で一致している必要があります。「偽の億万長者」の後に$9,100を示すボードが続くと、ヒーローラインが台無しになりました。
  • ヒーローショットは1.4秒間静止しました。すべてのホールドで何かを動かし続けてください(コインが流れ落ちる、ライトが点滅する、ラインが終わったときの2回目のバースト)。そして最初のフレームからワイドにフレーミングしてください。
  • かすかなベッドミュージックだけでの1秒以上の音声ギャップは、無音のように読めます。それを短くするか、ギャグとサウンドを入れてください。
  • エッジのきれいなフラットシェイプは、グレインが乗っていてもベクターアートのように読めます。わずかに曲がったカットラインとエッジに沿った明るい紙の芯(ストーリーブックの paper.js の piece())がそれを修正しました。看板は印刷されたタイプではなく、カットされた文字(cutSign)であるべきです。
  • 浮いているものは、目に見える支え(茎、バネ、タブ)が必要です。光線は不透明な紙でなければなりません。
  • キーアクションがスマートフォンでは小さすぎました:コインフリップ、王冠の向き変更、ボタン押下。アクションをスケールアップし、そのためにカメラを押し込んでください。
  • ポップアップが互いに、まためくるページを通り抜けていました。真の折りたたみジオメトリにより、見開きが閉じ始めるとすぐに、読み手側の折り目が後ろに倒れます。それらの折り目を直立させ、すべてのポップアップが見開きがほぼ開くまで低い位置に留め(book.js の rise)、閉じた本の中に平らに横たわるピースを隠してください。
  • ページは、その文が終わる前に回転し始めてはなりません:ショットの lead は、その前の gap よりも長くてはいけません。
  • 画像が提供するパンチラインを繰り返すキャプションは、それを台無しにします。ライン上の cc は、その冒頭の単語だけを保持する場合があります。キャプションは、残りが話されたときに去ります。
  • 最初のフレームで終了してください:本は表紙で閉じ、アドレスが帯に表示されます。また、きれいにループします。

ユーザーがその映画を見た後に変更したこと(カットv4):

  • 別のキャラクターを犠牲にしたジョーク(「サムはキムが嫌い」、嵐雲)は意地悪に読めました。彼はジョークをヒーローに向けるように依頼しました:サムが涙を流し、次に1位になる空想にふける(「夢を見ろ、サム、夢を見ろ。」)。ギャグはヒーローに向けてください。
  • 製品からコピーされたスローガン(「最高月収が勝ち」)は、何が勝ちなのかを尋ねさせました。何もありませんでした。録音する前に、スクリプト内のすべての主張を製品が実際に何をするかと照らし合わせて確認してください。
  • 思考雲がフレームよりも高い:それに合わせてカメラを上げ、それが映しているものをフレーム内に維持し(夢のボードの下の実際のボード)、ページがめくれる数フレーム前にそれを破裂させて、高いものがページに乗らないようにしてください。

作業の分割:

  • 最初のセッションでルックとエンジンを構築し(ユーザーが承認する2〜3フレーム)、各ショットのショットコントラクトとブリーフをファイル(SHOTS.md、BRIEFS.md)に書き込みます。次に、ショットを新しいエージェントに、1つまたは2つのショットずつ、model: "opus" とそれらのファイルをブリーフとして、ファンアウトします。これにフォークを使用しないでください。フォークは常にセッション自身のモデルと努力で実行され、より安価なものを与えることはできません(スタイルフィルムでは、フォークは使用量の55%を占めていました)。各エージェントは自身のショットファイルのみを所有します。共有キャラクターを最初に書きます。ショットモジュールを1つずつロードし、編集中に壊れたファイルは自身のショットのみを空白にします。審査の修正も同じように、ショットファイルと修正リストを与えられた新しいエージェントにファンアウトします。ビルダーを再開するのではなく、エンジンファイルはメインセッションに保持します。
  • 各ラウンドで新しいエージェントに審査を任せ、2番目のエージェントには1番目のエージェントのノートを読まないように指示してください。

プロセス:

  • pkill -f <パターン> はそれを実行しているシェルも一致します。パターンを [p]attern と書いてください。
  • ページエラーによりハーネスが待機状態になります。45秒後にタイムアウトし、ページエラーを出力します。デバッグ中は tail にパイプしないでください。そうしないと、エラーは最後にしか届きません。

…

[翻訳のため省略]

関連スキル