stage3d shorts
暗いステージと鏡のような床。白いピル型のキャラクター、ネオンラインで描かれた小道具、人物を照らす劇場用スポットライト、実際の3D空間を動くカメラ、一度に1単語ずつ表示されるキャプション。このルックは、参考動画(個人学習用教材:内容、名前、スクリプトをコピーしないこと)から測定によってリバースエンジニアリングされ、その後改良されました。
ステータス: v0.1。 2つのステーションを持つ9.7秒のクリップ(pricetag_demo)と5秒のテスト(test5)で実証済み。フルレングスの動画ではまだ実証されていません。シーンを約束する前に「キットにまだないもの」を読んでください。
アイデア
- キットがルックです。
kit/src/には、色、グロー、レンズ、床、ライト、カメラカーブ、キャプションが含まれています。動画がこれを編集することは決してありません。 - 動画は計画です。
kit/plans/<name>/plan.jsは、ステージ上に何があるか、各イベントがいつ発生するか、カメラがどのように動くかを定義します。これはkit/src/api.jsのみをインポートします。ビルドは、ルックにアクセスする計画を拒否します。 - 数字が決定します。意見ではありません。 すべてのレンダリングは
scripts/qa.pyによって測定されます。不合格の動画は納品されません。
キットの場所
このスキルは単なる指示です。動画を描画するコードと参照ファイルは、PimboのPCのフォルダにあります:C:\Users\Pimbo\work\anymation\stage3d\skill(kit/、references/、およびこのファイルのコピーが含まれます)。このスキル内のすべてのパスは、そのフォルダを基準としています。
anymationフォルダは会話に接続されている必要があります。接続されていない場合は、Pimboに接続を依頼してください。キットがなければ動画は作成できず、ここにあるものを記憶から再構築してはいけません。- Pimboは手動でスクリプトを実行しません。あなたが実行します。彼はトピックまたは動画フォルダを提供し、静止画を確認し、承認します。
- 動画の入力は彼自身のパイプラインから提供されます:
anymation/v2/v8/<video>/(script.json、単語タイミング用のasr_<lang>.json、音声と音楽用のpremix_<lang>.wav、events_<lang>.json)。 - 彼のPCでコマンドを実行できる場合は、そのフォルダ内で作業します。クラウドワークスペースしかない場合:
stage3d/skillをコピーし(node_modules、out、distは除外)、kit/内でnpm installを実行し、計画を書き、そこで静止画をレンダリングし(グラフィックカードがない場合約2秒/フレーム)、彼に静止画を見せ、完成したkit/plans/<name>/を彼のフォルダに書き戻します。 - 最終的なレンダリングは彼のPCで行う必要があります。彼のグラフィックカードはクラウドマシンより約20倍高速です。そこでコマンドを実行できない場合は、
stage3d/skillに.cmdファイルを残し、kitからnode scripts\make_video.cjs <name> --gpu --workers=4を実行するように指示し、ダブルクリックして出力を貼り付けるよう依頼してください。動画完了と呼ぶ前にQA行を読んでください。
譲歩できないルール
- 1つの動画を機能させるために
kit/src/を編集しないでください。小道具やショットタイプが不足している場合は、再利用可能な部品としてキットに追加し(references/PLAN_GUIDE.mdの「小道具の追加」を参照)、その後pricetag_demoを再確認してください。 - 計画内のすべてのフレーム番号は実際の音声(単語タイミング)に基づいており、推測に基づいてはいけません。
- すべてのカメラ移動には、一言で説明できる理由があります。その理由を移動の上にコメントとして記述してください。
- クリップをレンダリングする前に静止画を確認してください。終了コードではなく画像を見てください。
- 測定したことと仮定したことを述べてください。確認していないことがあれば、その旨を述べてください。
- 動画が公開される前に人物が音声を聞きます。これらのスクリプトは数値でレベルを設定します。
パイプライン
kit/内で作業します。マシンでの初回:npm install(three、esbuild、playwright-core。インストールされているChromeまたはEdgeを使用し、他はダウンロードされません)。レンダリングにはffmpegがPATH上にある必要があります。QAにはnumpyとopencvを使用したPythonが必要です(pip install numpy opencv-python)。オーディオスクリプトにはscipyが必要です。
| ステップ | 内容 | コマンドまたはファイル |
|---|---|---|
| 1 | スクリプトと音声、各単語のタイミング | このスキルの外部。結果:words.json = [{ w, t0, t1, line }]、秒単位 |
| 1b | 録音前に、その日のスクリプトのすべての事実を確認 | Web検索。計画の隣にSOURCES.mdを記述(例:plans/no_trick/SOURCES.md) |
| 2 | スクリプトをステーションに分割:それぞれ一文または一つのアイデア | plan.jsの先頭にメモ |
| 3 | 計画を記述:ビルド、アニメーション、カメラ | kit/plans/<name>/plan.js。pricetag_demoから開始 |
| 4 | オーディオ:ベースミックスとイベントへのエフェクト | kit/plans/<name>/make_audio.py -> audio.wav |
| 5 | チェックとビルド | node scripts/build.cjs <name> |
| 6 | キーフレームの静止画。フレーミングを修正。繰り返し | node scripts/render.cjs <name> stills 0,17,62,88 |
| 7 | 音声で動きを確認 | ブラウザでkit/dist/<name>/preview.htmlを開く |
| 8 | レンダリング、エンコード、QAを一度に実行 | node scripts/make_video.cjs <name> --gpu --workers=4 |
| 9 | QA行を読む。FAILは修正して再実行 | kit/out/<name>/logs/qa.log、qa.json |
ステップ8はステップごとに1行出力します。グラフィックカードを搭載したPCでは5秒の動画に約10秒かかります。グラフィックカードなし(--gpu省略)では各フレームに約2秒かかるため、必要なものだけをレンダリングしてください。
計画の記述(概要)
完全なガイドとパーツのリスト:references/PLAN_GUIDE.md。実例はkit/plans/pricetag_demo/plan.jsです。
- ステージは14m間隔のステーションの列です。1ステーションに一文または一つのアイデア。カメラはショット中はステーションに留まり、文の合間に次のステーションへホイップパンします。
build(stage)はオブジェクトを作成し配置します:stage.station(i).add(thing)。フィギュアにはスポットライトを当てます:stage.station(i).spotlight(figure)。animate(f, o)はフレームfにおけるすべての位置を設定します。fの純粋関数である必要があります。フレームは任意の順序で並列にレンダリングされます。フレーム間で状態を保持せず、Math.randomやクロックも使用しません。- オブジェクトはその単語のタイミングで出現します:
pop(thing, f, wordFrame)。重要な数値は、それが話題になっている間だけ表示されます。着地するものは床リング(pulse)、短いflare、そして音を伴います。 - 色は名前のみで指定します。ゴールド=価値あるもの。レッド=価格、コスト、危険。ホワイト=人物と中立ラベル。
- 変化するテキスト(カウンターなど)には
maxCharsが必要であり、テキストボックスのサイズが変わらないようにします。
カメラ(概要)
測定値に基づく完全なルール:references/CAMERA_RULES.md。
- ショットには1つの移動があり、場合によっては2つか3つあります。移動の間、カメラはホールドします(キットがゆっくりとしたクリープを追加します)。
- 移動の種類は3つだけです:
hook(フレーム0からの開始時プッシュイン)、reframe(20〜28フレーム、2つの文の間、新しいオブジェクトが出現する数フレーム前に着地)、slow(ショット全体にわたるプッシュまたはオービット)。 - グラフィックがアニメーションしている間、カメラはホールドします。リストはトラベルを取得し、より広い主張はプルバックを取得し、長いラインの単一オブジェクトは1回のスローオービットを取得します。
- 3/4ビュー(ヨー約35〜40度)は奥行きを示します。2番目のオブジェクトにスペースが必要な場合に使用します。
- ホイップパンはアイデア間でのみ使用します。各ホイップパンには、約3フレーム前から始まるオーディオのウィッシュ音が必要です。
品質ゲート
scripts/qa.pyは、以下の場合に動画を不合格とします:フレームが欠落またはフリーズしている。背景が指定された黒でない。フックまたはリフレームがフロントロードされていない。カメラが移動間でホールドしていない。ホイップパンが移動しないか、暗くならない。MP4がh264 / yuv420p / BT.709でない、フレーム数が間違っている、またはオーディオがないか長さが間違っている。
味、フレームエッジでのトリミング、またはキャプションが正しい単語を表示しているかはチェックしません。これらはレンダリング前に静止画で目視確認します:重要な部分がフレームエッジでカットされていないこと、キャプションバンド(高さの75〜83%)に明るい線がないこと、フィギュアが高さの25%〜85%の範囲にあること(レンズはエッジ付近のものを引き伸ばします)。
kit/src/に変更を加えた後:pricetag_demoを再ビルドし、静止画0、17、88、150、174、236をレンダリングし、references/frames/と比較します。ソフトウェアレンダリングでは完全に一致する必要があります。グラフィックカードでは、約1レベル以内である必要があります。
キットに含まれるもの
フィギュア(ヘッドセットを付けたピル型人間)、ラベルピル、ラベルと大きな値を持つカード、トークン、開くチェスト(金色、または多数のチェスト用の無地の灰色)、針付きの丸いコンパス、ゲーム画面のコンパスストリップ、アウトラインフレーム(画面、サムネイル)、サイコロ、再生ボタン、集計マーク、点線ガイド、画像(白黒のSVGまたはPNGを光として描画)、床リング、点線の地面ライン、浮遊するスペック、床プールと影付きの劇場用スポットライト、色付きの床プール、ハロー、光線、スパーク、モーションブラー付きホイップパン、キャプション、サウンドライブラリ(ウィッシュ、チック、ディン、サド、クランク、スパークル、フィズ)、および音声ファイルと音楽ファイルを下に配置するミキサー。
読むべき2つの計画:pricetag_demo(10秒、2ステーション、承認済みルック)とno_trick(47秒、5ステーション、音声、音楽、ソースを含む完全なショート)。starts_clean(62秒、6ステーション)は、Pimboのスクリプトルールに従い、単一の金色のペイオフまで白です。avatarは動画ではなく、プロフィール画像用の静止画を作成します。
キットにまだないもの
- オブジェクトの列に沿ったトラベリング(リスト用)、棒グラフ、折れ線グラフ。
- 1つのステーション内での複数のスポットライト:未試行(スペックは同時に最大2つのスポットライトで照らされます)。1つのステーション内の複数のフィギュアは、1つのスポットライトと他のスポットライトを暗くして機能します(
no_trick、ステーション2)。 - フェードまたはカット:唯一のトランジションはホイップパンです。
- クローズアップ:カメラは被写体の下の床をフレーム内に収める必要があり、約2mよりも近いと照準が合いません。より近い画像は、より広い画像から切り出されます(
plans/avatar)。 - 3種類の移動と、カメラロール以外のもの。
- 音声、音楽、単語タイミング:これらは外部(Pimboの
v2/v8パイプライン)から提供されます。
これらのそれぞれは、計画で使用する前にキットに組み込み、実際の動画でテストする必要があります。
ファイル
| パス | 内容 |
|---|---|
kit/src/ | ルック。api.jsが計画がインポートする唯一のファイルです |
kit/plans/<name>/ | 1つの動画:plan.js、words.json、make_audio.py、audio.wav |
kit/scripts/ | build.cjs、render.cjs、encode.cjs、make_video.cjs、qa.py |
kit/audio/sfx.py | 効果音とミキサー |
references/STYLE_BIBLE.md | ルックのすべての数値。測定済み、独自、または推測とタグ付け |
references/CAMERA_RULES.md | カメラの編集方法と測定値 |
references/PLAN_GUIDE.md | 計画の書き方。api.jsのすべての関数。小道具の追加 |
references/KNOWN_ERRORS.md | 過去に一度犯したミスと、それを防ぐための現在の対策 |
references/frames/ | pricetag_demoの目標フレーム |