コードとしてレンダリングされた製品プロモーションフィルム
1ページ、1キャンバス。seek(t) が時間 t のフレームをゼロから描画します。ヘッドレスChromeがフレームごとに複数のサブフレームをキャプチャし、ffmpeg がそれらをブレンドしてエンコードします。フィルムは関数であり、ビデオはそのサンプリングです。これにより、すべてのフレームがレビュー可能で、すべての変更が安価で、ループが正確になります。
これらのファイルはこのスキルに付属しています。フィルムの作業フォルダにコピーしてください。エンジンは書き換えないでください。
| ファイル | 説明 |
|---|---|
template/promo.html | エンジンと8秒のデモ:閉形式スプリング、スプリングの和のトラック、カメラ、テキストヘルパー(タブラー数字、フリップ)、見出し、実際のカーソル、1オブジェクトのモーフチェーン、真の3DのためのWebGLコンポジター。そのまま開いてレンダリングできます。 |
template/reel.html | タイムライン上の長編フィルム:6シーン、6つのフォーマット(キネティックタイプ、ブラウザ、ラックフォーカス付き弁当グリッド、ターミナル、デバイスの3Dカバーフロー、エンドカード)、5つのトランジション、シーンごとのルック、チャプター。約56秒、ループではありません。§2のカタログを実行しています。 |
template/film.js | ページが共有するエンジン:ステージ(サブフレームごとのサブピクセルジッターにより、スローな動きで段差やちらつきが発生しない)、ラスター用のFILM.draw、スプリングとカメラ、タイムライン(シーン、チャプター、チェックポイント、24のトランジション:16は2Dキャンバス上、8は1つのWebGL2コンテキスト上のフラグメントシェーダーとして)、およびエフェクト(被写界深度、ノックアウトタイプ、タイピング)。上部にドキュメントがあります。 |
template/parts.js | ベクターパーツ:macOSウィンドウ、ブラウザ、ターミナル、iPhone、iPad、MacBook、iMac、キーキャップ、スイッチ、リング、ボタン、ポインター。それぞれがコンテンツが入る矩形を返します。 |
template/parts.html | すべてのパーツを1枚の16:10シートに収めた、他のページと同様のページ:PAGE=parts.html node render.mjs stills parts 0 で、docs/parts.jpg の元となるPNGを作成します(sips -s format jpeg -s formatOptions 92 で変換)。 |
template/fx.js | ページが読み込むルック:背景(フラット、グラデーション、フィールド、または画像;ソフトブランドライト;パララックス付きのドット、グリッド、または線;遠近法の床;スポットライト)、仕上げ(ビネット、グレイン)、およびそれに依存するエフェクト(すりガラス、クリックリップル、フォーカスプル見出し)。23のプリセットと photo。すべてのフィールドはオーバーライド可能で、ファイルの上部にドキュメントがあります。release-filmと共有されています。 |
template/type.js | 見出しとキネティックタイプ(§3):TYPE.draw(ctx, t, spec) は13スタイル(rise、focus、settle、track、wipe、cascade、weight、split、flap、type、swap、odometer、decode)で、強調マーク、ペース、およびTYPE.load(ファミリーのフェイス用)を備えています。他の部分と同様に、tの純粋関数です。 |
template/fonts/ | 20のオープンライセンスファミリー(ラテン + ラテン拡張 woff2、それぞれOFL.txt付き)と、それらのフェイスを持つ fonts.json。フィルムは使用するものだけを src/fonts/ にコピーします。scripts/fonts.mjs add で別のフォントを取得します。 |
scripts/render.mjs | stills <dir> t…、sheet <dir>(タイムラインのチェックポイント)、looks <dir> <t>、loopcheck、video <out> [workers]。ページからサイズ、fps、再生時間、チャプターを読み取ります。すべてのサブフレームをジッター処理し、再開可能なチャンクでレンダリングします。FROM/TO、PREVIEW=1、RESUME=1、KEEP=1、AUDIO=、SHUTTER=。拡張子がフォーマットを選択します(.mp4、.mov ProRes、.webm、.gif;HEVC=1;透明な.movまたは.webmの場合はALPHA=1)。レンダリング前にトラックをチェックし、ファイルの後にチェックします。WebGLコンテキストを失ったページのキャプチャと、実行中のカットの2回目のレンダリングを失敗させます。上部にドキュメントがあります。 |
scripts/narrate.mjs | フィルムのストーリー(story.json:チュートリアルやプロモーションの各ステップを一文で表現)を音声、クロック、字幕に変換します:voice/*.aiff、narration.wav(フィルムのAUDIO)、narration.js(ページ用の各ステップの時間)、captions.srt / .vtt。Macのsay、または--fromで自身の録音フォルダを指定します。"human": "natural" は人間のように間隔を変化させます。モデルの音([chuckle])は字幕から除外されます。上部にドキュメントがあります。 |
scripts/voice.mjs | Mac上で動作する音声モデル(story.json の "mlx":レッスン用はChatterbox、プロモーション用はOrpheus、クイックドラフトまたはイタリア語のフィルム用はKokoro)で同じストーリーを語ります。say よりも人間に近い:各ステップを発声し(voice-mlx.py、mlx-audio経由)、ペースとレベルを調整し、その後 narrate.mjs を呼び出します。テイクはシードです。"tone"(calm、warm、bright)はモデルがどれだけ自由に読むかを指定し、"human" は各行のペースを3%以内で変化させ、行に音を出させることができます([chuckle]、[sigh]:各モデル独自の綴り、または省略)。--audition はテイクを比較し、--recordings は録音で停止し、--setup は各Macで一度だけPythonを作成しモデルを取得します(voice-constraints.txt がインストール内容を固定)。また、そのMacがここで録音されたテイクを繰り返すかどうかを出力します。上部にドキュメントがあります。 |
scripts/mix.mjs | 音声と音楽トラックを1つのサウンドトラックにミックスします(AUDIO= 用)。両方とも測定されます(EBU R128)。音楽は音声が話している間は --under LUに抑えられ、行間では --lift dB上げられ、各行の開始前に下げられます。結果が測定されて出力されます。上部にドキュメントがあります。 |
scripts/contact.mjs | スチルまたはルックフォルダのキャプション付きコンタクトシート(キャプションはフォルダ内の labels.json から)。--size WxH で正確なサイズにします(--font、--gap、--pad;スチルはトリミングされません。.jpg はJPEGとして書き込まれます)。--dark でダークシートにします。--compare A=<dir> B=<dir> [C=<dir>] <out.png>:2つまたは3つのフォルダを横に並べ、それぞれラベル付きの列と、それらが共有するスチルごとの行を表示します。1つの画像でのA/B選択用です。 |
scripts/beats.mjs | サウンドトラックのビートをサンプルから取得します:テンポ、保持するかどうか、すべてのビート、小節、セクション、およびページに渡すbpmとAUDIO_AT。--out beats.js は、ドリフトするトラックに従うページ用です(FILM.beats)。render.mjs はこれをインポートして、ページのビートをトラックのビートと照合します。--selftest。 |
scripts/clickcheck.mjs | すべてのクリックが見えているか:ページの各 CLICKS について、クリックされたポイントが画面上でどれだけ速く移動するか、およびカーソルが押す前と押している間にどれだけ移動するか。誰も見ないクリック(release-film §3b)がある場合は終了コード1、カーソルのないページの場合は終了コード2を返します。 |
scripts/layoutcheck.mjs | すべての見出しがフレーム内にあり、分離されて読みやすいか:各チェックポイントで、各 TYPE.draw が見出しをセーフエリア、他の見出し、およびその周りの背景に対して描画します(制限はヘッダーにあります)。失敗した見出しがある場合は終了コード1、TYPE.draw を通じて見出しを1つも描画しないページの場合は終了コード2を返します。 |
scripts/deliver.mjs | 最終ステップ(§8):完成したビデオとそのカバーを作業フォルダから専用のフォルダに移動します。フィルムがリリースされたら、trash はソースがキット内で安全であることを確認した後、作業フォルダを捨てます。--selftest。 |
scripts/fonts.mjs | キットのフォント:Google Fontsからライセンス付きで add "<Family>" [axes]、check、list。 |
これらに加えて、studio/(後述のStudio)、guide.md(後述のガイドモード)、および README.md(図解カタログと、フィルムのあらゆる瞬間に対するリクエストの例)があります。
セットアップ:作業フォルダ ~/Downloads/<name>-work/(~/Downloads が作業ルート。後述の設定ファイルで workRoot が指定されている場合はその値)、その src/ 内にページとこれらのファイルを配置し、そこで npm i playwright-core を実行します。channel: 'chrome' を通じてインストール済みのChromeを駆動するため、他にダウンロードされるものはありません。<name> は <product>-<what>(acme-promo、acme-2.4-whats-new)とし、これが配信フォルダと配信されるすべてのファイルの名前にもなります(§8)。
Studio:ウィンドウ内のブリーフ
視覚的な入り口。独立したウィンドウ内のウィザード:レシピ、フォーマット、ルック、Macからの画像、実際のエンジン上で動きを見せるタイプとモーション、製品の色とアスペクト、サウンド(音楽ライブラリのトラックの再生、音声モデルの声を選択前に聞く)、そしてすべての選択を1つの brief.json に書き込みます。何もインストールされず、何もレンダリングされません。/manovella:studio からも開きます。
-
いつ使用するか:
studioで呼び出されたとき、または会話でどのフィルムを作成するかが何も言及されていない状態で何も指定せずに呼び出されたとき。ユーザーが言葉で何をしたいか言った場合は、§0に直接進みます。 -
実行方法:ワークスペースから
node <this skill's dir>/studio/studio.mjsをバックグラウンドで実行し(そのリポジトリの兄弟が提供される製品です)、ウィンドウが開いたことを1行で伝えます。ウィンドウはそれ自身で終了し、1行を出力します。その終了があなたを起こします:BRIEF <path>、またはCANCELLED、CLOSED、TIMEOUT(そう伝えて停止します)。ウィンドウは、Studio自身のアプリ(このMac上でビルドされた~/Applications/Manovella.app、Dock内の名前、バージョン、アイコン)、またはChromeアプリウィンドウです。MANOVELLA_WINDOW=chromeを設定するとChromeが維持されます。どちらもない場合は、デフォルトのブラウザが開きます。--no-openを指定すると、URLが代わりに出力されます(セッションの画面が別の場所にある場合に使用)。 -
音楽ライブラリ:オプションです。ユーザーのフィルム用音楽を保存するフォルダで、任意の場所(同期ドライブ、プロジェクトフォルダなど)に置くことができます。1回の実行では
MANOVELLA_MUSICが指す場所、そうでなければ~/Library/Application Support/manovella/settings.json(macOS以外では~/.config/manovella/settings.json;先頭の~は展開されます)のmusicLibraryが使用されます。同じファイルのmusicLibraryIgnoreはスキップするフォルダ名をリストし、deliverToLibrary(trueまたはfalse、デフォルトはfalse)は完成したフィルムもその中に入れるかどうかを指定します。自動検出は行われません。brandLibraryとbrandLibraryIgnoreを持つ古いファイルは、musicLibraryとmusicLibraryIgnoreとして読み取られ、deliverToLibraryがオンになり(以前の動作)、Studioの設定で最初の変更が行われたときに新しいキーで書き換えられます。同じファイルには、projectFolders(Studioが製品を探す場所)、pictureFolders(背景画像用;未設定:~/Pictures)、workRoot(<name>-workの場所、およびフィルムがライブラリに配信されないかプロジェクトに指示がない場合の<name>/の場所;未設定:~/Downloads)が含まれます。Studioの設定ウィンドウ(Manovella.appのロゴの横の歯車、または⌘,)がこれらすべてを書き込み、deliver.mjsはworkRootも読み取ります。コード内の他の部分はライブラリキーを読み取りません。Studioなしで作成されたフィルムの場合、この段落が私への指示です。- Studioは、ライブラリのトップレベルとその各フォルダ内(直接、またはそのフォルダの
audio/フォルダ内)のすべてのオーディオファイル(mp3、m4a、aac、wav、aiff、flac、ogg)を提供します。ドットフォルダとmusicLibraryIgnore内の名前はスキップされます。ブランドごとのフォルダはオプションで、そのトラックをグループ化します。製品にちなんだ名前のフォルダが最初にリストされます(「この製品の」)。トラックの横にあるオプションのノートファイル(…notes.txtまたは.md:トラックごとに1段落、トラックのファイル名で始まる:それが何か、雰囲気、どこに合うか)は、各トラックの用途を示し、Studioはそれを表示します。 - 完成したフィルム:
deliverToLibraryがオンでライブラリが設定されている場合、<library>/<Brand>/video/<name>/(§8)。そうでない場合は、プロジェクト自身の指示が完成メディアを保存する場所、または作業ルート内の<name>/(デフォルトでは~/Downloads/<name>/)。 - 新しく作成されたトラック(後述)は、ライブラリが存在する場合はライブラリ内の製品フォルダ(ライブラリがブランドごとに1つのフォルダを保持する場合)に、そのフォルダのノートファイル内の段落とともに保存されます。そうでない場合は、単にフィルムの
src/audio/に配置されます。ファイルプロバイダ(Google Drive、iCloud Drive、Dropbox)内のフォルダは、ファイルが開かれるまでファイルを「データレス」で保持する可能性があるため、測定する前にファイルを開くかコピーしてください。ライブラリが保存するファイルはコピーされ、ライブラリから移動されることはありません。
- Studioは、ライブラリのトップレベルとその各フォルダ内(直接、またはそのフォルダの
-
brief <path>:引数として、またはBRIEF行から:ブリーフを読み取ります。§0に答えます。-
formats: []は私の3つの選択肢です。プロモーションまたはチャプターのあるフィルムの場合、1つ、2つ、または3つの名前付きフォーマットが、その順序でストーリーボードのフォーマットとなります。残りは私が選択し、それぞれ異なるものにします。リリースとチュートリアルの1つのフォーマットはそれらのものです(whatsnew、tutorial)。決して埋められません。look: nullはルックシート(§4)です。 -
frame:製品が表示されるフレーム(フォーマットに関係なく)。nullは各フォーマット独自のもの(ウォークスルー用ブラウザ、コマンドライン用ターミナル、チュートリアル用Macウィンドウ)、私の選択です。window:macOSウィンドウ内のアプリ(PARTS.window)。macbook:正面から見たMacBookで、その画面上のアプリのウィンドウまたはサイトのブラウザ(PARTS.laptop、PARTS.notchが最後に描画される)。imac:スタンド上の正面から見たiMacで、そのデスクトップ上のアプリのウィンドウまたはサイトのブラウザ(PARTS.desktop:その矩形は本体で547:375、スタンドはその下に描画される。colorはAppleの7色のいずれか、または最も近いものに対するブランドのアクセントカラー)。ノッチなし:カメラは白いベゼルにあります。iphone、ipad:デバイス(PARTS.islandが最後に描画されるPARTS.phone;PARTS.tablet、その矩形によって横向きか縦向きか、カメラは長辺にあります)、その上での製品自身のレイアウト(§1)、およびすべてのクリックはタッチ:ソフトディスクが押し、ルックのリップルが発生し、決してPARTS.ARROWではありません。チュートリアルでは タップ と言います。browser:PARTS.browser内のページとしての製品、フィールドには実際のアドレスが入ります。terminal:PARTS.terminal、FILM.typedでタイプ入力されます。bare(Studioの Just the UI):製品のUIのみ、フローティングパネルで角丸と影があり、ウィンドウクロームやデバイスの枠はありません。製品は依然として画面上にあります。それがないフィルムはキネティックタイプフォーマットであり、これは該当しません。
フレームは、各ストーリーボードで製品を表示するすべてのシーンで保持されます。iPhoneアプリのチュートリアルは、最初のステップから最後までiPhone上で語られます。それ自体がサーフェスであるフォーマットはそれに適合します。
iphoneを使用したブラウザウォークスルーは、その幅での電話内のサイトです。macbookまたはimacを使用したターミナルは、Macのデスクトップ上のターミナルウィンドウです。3Dのデバイスは、複数のデバイスを表示する唯一のフォーマットです。選択されたデバイスがカバーフローをリードし(最初にカメラに向き、戻ってくるカード)、他のデバイスがそれに続きます。フレームとフォーマットが矛盾する場合(例:imacフレームのキネティックタイプ)、フレームが優先され、製品がその中に表示されます。nullは許可されません。製品の画面を持たないフォーマット(キネティックタイプ、エンドカードなど)は、常に「ベア」として表示されます。 -
"shots": [](§5)。各ショットは、「目線」、「カメラ」、「製品」、「UI」(表示されるもの)、「テキスト」、「タイミング」を持ちます。"camera":フレーム内のビュー。"product"、"ui"、"text"、"full"(製品+テキスト)、"detail"(UIの一部)。"product":表示される製品の部分("full"、"header"、"sidebar"、"content"、"footer")。製品が画面を持たない場合は常にnull。"ui":UIの状態("initial"、"loading"、"empty"、"error"、"success"、"custom")。nullはデフォルト。"text":表示されるテキスト(キネティックタイプのテキスト、または製品のUI内のテキスト)。キネティックタイプの場合は必須。"timing":ショットの継続時間(秒)。デフォルトは3。
-
"transitions": [](§6):ショット間のトランジション。各トランジションは"from"、"to"、"type"、"duration"を持ちます。"type":"cut"、"fade"、"dissolve"、"slide"、"zoom"、"flip"、"custom"(§6のトランジションID)。"duration":トランジションの長さ(秒)。デフォルトは0.5。
-
"sound":フィルムの音楽トラック。nullは無音。"music"は音楽ライブラリからのトラックで、"track"がファイル名、"volume"が0~1の値。"voice"はナレーション(§7)。"soundtrack"はミックス(§7)。 -
"output":最終出力設定。"format"(.mp4、.mov、.webm、.gif)、"resolution"(1920x1080など)、"fps"(24、30、60)、"quality"(0~100、デフォルトは90)。
brief.jsonはsrc/フォルダに書き込まれ、film.jsが読み取ります。Studioはbrief.jsonを書き込み、render.jsはそれを読み取ります。手動で作成することも、Studioを介さずに設定することもできます。 -
ガイドモード:?
各セクションの詳細な手順を提供するガイド。? でトリガーされ、各セクション(§0~§8)のステップバイステップの説明を表示します。これは guide.md から取得され、会話に挿入されます。ガイドには、各ステップのチェックリストと、よくある問題のトラブルシューティングのヒントが含まれています。
ガイドは会話の状態によって変化します。 すでに完了したステップはスキップされ、現在のステップに焦点が当てられます。ガイドは、フィルム制作プロセスのどこにいるかを常に認識しています。
§0:ブリーフを読み取る
brief.json を読み取ります。存在しない場合は、Studio(studio)を開くよう促します。存在する場合は、内容を確認し、§1に進みます。
チェックリスト:
-
brief.jsonがsrc/に存在する -
formatsが定義されている -
frameが定義されている(またはデフォルトが使用されている) -
shotsが定義されている(少なくとも1つ) -
outputが定義されている
§1:シーンとフォーマット
ブリーフの formats に基づいて、各シーンの FILM.scene を作成します。各フォーマットには独自のコンテキスト(ブラウザ、ターミナル、デバイス)と、製品のUIのレイアウトがあります。
チェックリスト:
- 各フォーマットにシーンがある
- 各シーンに適切なコンテキストがある
- 製品のUIが正しいデバイスに表示されている
§2:ルックの適用
brief.look からルックを適用します。ルックは fx.js で定義され、各シーンの背景、仕上げ、エフェクトを制御します。
チェックリスト:
- ルックの背景が設定されている
- ルックの仕上げ(ビネット、グレイン)が適用されている
- ルックのエフェクト(すりガラス、フォーカスプル)が正しく機能している
§3:タイポグラフィ
キネティックタイプの見出しとテキストを TYPE.js で作成します。各テキスト要素にはスタイル(rise、focus、settleなど)、ペース、強調があります。
チェックリスト:
- すべての見出しが
TYPE.drawで描画されている - 各見出しにスタイルが割り当てられている
- テキストがフレーム内に収まっている(layoutcheckに合格)
§4:アニメーションとトランジション
スプリング、カメラ、トランジションを使用してアニメーションを作成します。アニメーションは FILM.draw で定義され、スプリングは FILM.spring で制御されます。トランジションは FILM.transition で定義されます。
チェックリスト:
- 各シーンにアニメーションがある
- トランジションがスムーズに接続されている
- カメラの動きが正しく設定されている
§5:サウンドとナレーション
サウンドトラック AUDIO とナレーション narration.wav を設定します。ナレーションは narrate.js で生成され、サウンドトラックは mix.js でミックスされます。
チェックリスト:
- ナレーションが生成されている(voice.mjs)
- 音楽トラックが選択されている
- サウンドトラックがミックスされている(mix.mjs)
- 字幕が生成されている(captions.srt / .vtt)
§6:レンダリング
render.mjs を使用してレンダリングします。stills でフレームを生成し、video でビデオを作成します。レンダリングはチャンクで行われ、再開可能です。
チェックリスト:
-
stillsがすべてのサブフレームを生成する - 各チェックポイントで
sheetが正しい -
loopcheckに合格する -
videoが最終ファイルを生成する
§7:品質チェック
品質チェックを実行します。clickcheck、layoutcheck、視覚的レビュー。
チェックリスト:
-
clickcheckに合格する -
layoutcheckに合格する - すべてのフレームが視覚的に正しい
- サウンドトラックが正しい
§8:配信
deliver.mjs を使用して配信します。最終ビデオを配信フォルダにコピーし、作業フォルダをクリーンアップします。
チェックリスト:
- 最終ビデオが配信フォルダにある
- カバー画像が含まれている
- 作業フォルダがクリーンアップされている
-
trashが安全に実行された
エラーハンドリングと注意事項
- WebGLコンテキスト損失:
render.mjsはWebGLコンテキストを失ったページのキャプチャを失敗させます。これは、キャプチャの再試行によって引き起こされることが多く、レンダリング品質の問題を示している可能性があります。 - 同時レンダリング:カットのレンダリング中に2回目のレンダリングはブロックされます。
- サブフレームジッター:
film.jsのステージはサブフレームごとにサブピクセルジッターを適用し、スローな動きでの段差やちらつきを防ぎます。 - ファイルプロバイダ:Google DriveやiCloud Driveなどのファイルプロバイダ内の音楽ライブラリファイルは、測定前に開くかコピーする必要があります。そうしないと、ファイルが利用できず「データレス」状態になる可能性があります。
- フォント:フィルム
src/fonts/にコピーされたフォントのみが使用されます。新しいフォントが必要な場合は、scripts/fonts.mjs addを使用してください。 - ナレーション:Macの
sayコマンド、または--fromで指定されたカスタム録音フォルダを使用します。mlxモデル(Chatterbox、Orpheus、Kokoro)は、より自然な音声を提供します。 - 音楽ライブラリのセットアップ:
settings.jsonで設定され、自動検出されません。
トラブルシューティング
-
問題:
render.mjsが「WebGLコンテキスト損失」で失敗する- 解決策: レンダリングを再試行します。問題が解決しない場合は、
PREVIEW=1でテストフレームをレンダリングしてから、フルレンダリングを試みます。
- 解決策: レンダリングを再試行します。問題が解決しない場合は、
-
問題: 音楽ライブラリのトラックがStudioに表示されない
- 解決策:
musicLibraryIgnore設定を確認します。ファイルがサポートされている形式(mp3、m4a、aac、wav、aiff、flac、ogg)であり、隠しフォルダや無視されるフォルダにないことを確認します。ファイルプロバイダ内のファイルは、開くかコピーしてから使用します。
- 解決策:
-
問題: ナレーションが生成されない
- 解決策:
voice.mjsとnarrate.mjsの両方が正しく設定されていることを確認します。story.jsonが存在し、正しい形式であることを確認します。sayコマンドが利用可能であるか、mlxモデルが正しくセットアップされていることを確認します。
- 解決策:
-
問題: レイアウトチェックが失敗する
- 解決策: 見出しの位置とサイズを確認します。テキストが長すぎないか、他の要素と重なっていないかを確認します。フォントが正しく読み込まれていることを確認します。
-
問題: カットが配信フォルダに表示されない
- 解決策:
deliver.mjsが出力パスを正しく決定するために、settings.jsonでdeliverToLibrary設定を確認します。作業フォルダが存在し、書き込み可能であることを確認します。
- 解決策:
このスキルは、AIエージェントが製品プロモーションフィルムをコードとしてレンダリングするための包括的なガイドです。各セクションに従い、提供されたツールとスクリプトを使用して、高品質なビデオを効率的に作成します。