Treemation — 3D 教育動画 は何をしますか?
このスキルは examples/zenhosta/ (「Kok website bisa online?」) のような動画を生成します:
ピクセルスキンのホスト (ブロック状のサンドボックスゲーム風のキャラクターで、ピクセル化されたアニメの顔を持つ) がユーザーのコンテキストに適応し、マスコット「Byte」、カメラが切り替わるショット (顔アップ、マスコットアップ、3D イラストフォーカス、ワイド、ローアングル)、トピックに従う背景テーマ、上部のステップラベルとプログレスバー、プロップ用の浮遊 3D ステージ、3D セット (データセンター、オフィス、倉庫、都市、または独自の部屋/場所 — ホストの背後に構築され、ホストはその前に浮かび、その後カメラが内部に飛び込む)、言葉が発せられた瞬間に表示される UI パネル、大きなキャプション (キーワードは黄色)、そして声に合わせて口が動くホストを備えています。
ユーザーとのコミュニケーションはすべて インドネシア語 (スクリプト、キャプション、チャット応答) で行われます。
トリガールール (最初に読むこと — ユーザーの一言で十分)
A. ユーザーがトピックを指定した場合 — 例: 「buat konten edukasi apa itu domain」、「bikin video soal cara kerja email, CTA ke tokoku.id」、「konten tiktok: kenapa harga emas naik」。
- これは コンテンツ作成 のリクエストであり、質問ではありません。チャットでトピックを説明せず、内容を要約せず、逆質問 (「どのくらいの長さ?」「ターゲット視聴者は?」「CTAを使う?」) もしないでください。
- すぐに ステージ 1 に進み、以下のデフォルトを使用し、ステージ 1 の形式 (
references/output-format.md) で応答します: コピーして使える ElevenLabs スクリプト、キャラクター、サムネイル、シーン表、video-plan.jsonのパス。最後に一言: 「Kirim MP3 dari ElevenLabs, nanti langsung aku jadikan video.」(ElevenLabsからMP3を送ってください、すぐに動画にします) - 指定がない場合のデフォルト: 所要時間約 60–70 秒 (120–150 単語)、トピックに応じて 2–4 ステップ、
karakter.mdからキャラクター (ユーザーコンテキスト → ニッチ → プリセットraka)、クロージング CTA「他の教育コンテンツもフォローしてください!」(ブランドなし)。ユーザーがブランド/URL を指定した場合、CTA はそれを使用します。すべてのデフォルトは後で変更可能 — 応答で簡単に触れ、最初に質問しないでください。 - トピックが変更の可能性のある事実 (価格、規制、最近のデータ) に依存し、ウェブアクセスがある場合は、最初に確認してください。そうでない場合は、現在の数値に依存しないスクリプトを作成します。
B. ユーザーが MP3 を送信した場合 (メッセージの有無は問わない) — 確認を求めずに ステージ 2 を完了 まで実行します: プロジェクトを見つけ、アライメント調整、scenes.js を作成、スチル確認、レンダリング、サムネイル、エンコード、結果確認、その後ステージ 2 の形式で応答します。
- プロジェクトの特定:
python <skill>/scripts/find_project.pyでプロジェクトとそのステータスをリストします。plan.jsonは存在するがオーディオがまだないプロジェクト (最新のもの) を使用します。MP3 ファイル名またはトピックを指定するユーザーメッセージは、時系列より優先されます。複数の候補が同程度に可能性がある場合のみ、短い質問を 1 つ行います。 - プロジェクトが全くない場合 → ElevenLabs で読み上げられたテキストをユーザーに貼り付けてもらい (アライメントには正確なテキストが必要)、そのテキストを中心に
plan.jsonを構築し (単語は変更せず)、ステージ 2 を続行します。 - オーディオの長さが推定値と大きく異なる (> 25%) か、
align.pyが多くのフレーズに<-- cekフラグを付けた場合 → テキストが ElevenLabs で編集された可能性があります。使用されたテキストを確認し、計画内のナレーションを更新してやり直します。 - 途中で停止する唯一の理由: 依存関係の欠如 (インストールの許可を一度求める) または自分で修正できないエラー。
- フルレンダリングには時間がかかる場合があります。バックグラウンドで実行し、待機中にサムネイルを作成し、セッションがサポートする場合は短い進捗状況の更新を投稿します。
C. ユーザーが修正を依頼した場合 (「キャラクターをヒジャブの女性に変更して」、「サムネイルタイトルをもっと短く」、「ブランドカラーを青に」) → 同じプロジェクト内で plan.json/scenes.js を変更します。MP3 が存在する前: 変更されたステージ 1 の応答部分のみを再送信します。ナレーションが変更された場合は、MP3 を再生成する必要があることをユーザーに伝えます。動画完成後: 必要なものだけを再レンダリングします (サムネイルのみ、または動画全体)。
両ステージのチャット応答形式は references/output-format.md にあります — 正確に従ってください。
プロジェクトフォルダ
1 動画 = 1 フォルダ video-<短いトピック>/ (小文字、ハイフン、例: video-apa-itu-domain) を作業ディレクトリに作成します。ステージ 1 で作成し、一度だけセットアップします:
python <skill>/scripts/setup_project.py video-<topic>
これによりエンジン (index.html、engine.js、pixelchar.js) がコピーされ、npm 経由で three.js + フォント + アイコンがインストールされ、icons.js が作成され、ffmpeg/numpy/playwright がチェックされます。行が PERLU: で始まる場合、最初にその名前のものをインストールします (システムに何かをインストールする前にユーザーの許可を求めてください)。
完了時のフォルダ内容: plan.json (あなたが作成)、scenes.js (あなたが作成)、narasi.mp3、naskah-elevenlabs.txt、video-plan.json、timeline.js/json、frames/、previews/、video.mp4。
ステージ 1 — コンセプト → スクリプト + シーン計画
references/naskah-dan-plan.mdを読む (スクリプトの書き方、plan.jsonスキーマ、ポーズ、表情、マスコットのアクション、効果音のリスト)。- ユーザーのコンテキストからホストキャラクターを選択し (
references/karakter.mdを読む)、それを plan.json のcharactersに書き込みます。python <skill>/scripts/preview_characters.py <project> --planを実行し、結果を確認します。可能であればpreviews/karakter.pngを応答に含めます。 references/hook.mdを読む。3 つのフックバージョン (異なるタイプ) を作成し、最初のナレーション文 + plan.json のhook(画面上の大きなテキスト、代替案) に最適なものを選びます。シーン 1 は 3 層ルールを満たさなければなりません:@startで強いショット、最初の単語に効果音、挨拶や導入なし。plan.jsonを作成: フック → 導入 (ポイント数) → ステップ 1..n → まとめ → CTA に従う 6–9 シーン、さらにthumbnail(カバータイトル、表示するプロップ、ホストの表情) を含む — 「サムネイル」セクションを参照。各シーンのshotsとbackgroundを同時に計画します (「Shot kamera」と「Latar adaptif」のセクション)。合計 120–150 ワードを目指します (ElevenLabs で約 60–70 秒)。ステップが 場所 (サーバールーム、倉庫、オフィス、通り、教室、工場…) に関する場合、references/sets.mdを読み、そのシーンにsetを使用します (動画あたり 1–2 セット): ホストは 3D ルームの前に浮かび、カメラはナレーションで指定されたspot:に移動し、markはその部分を指し示し、fxはそれを生き生きと動かします。組み込みセットにない場所 → ステージ 2 でscenes.js内のdefineSet()を使用して構築します。python <skill>/scripts/plan_timing.py <project>を実行 →video-plan.json(推定タイミング) とnaskah-elevenlabs.txtを作成します。出力を確認: すべてのトリガーワードが見つかり、「Cek hook: OK」と表示され、セットが使用されている場合は「Cek set 3D: OK」と表示される必要があります — すべての ⚠ 警告を修正し、再度実行します。セットを含む動画ではオプション:plan_timing.py <project> --previewは推定timeline.jsも書き込むため、MP3 が存在する前にrender.py --stillsでセットの見た目を確認できます (scenes.jsが必要。ステージ 1 では 1 行で十分:import { register } from './engine.js'; register({});)。references/output-format.mdのステージ 1 形式でユーザーに応答します: コピーして使えるスクリプトブロック、発音メモ、分単位のシーン表、video-plan.jsonのパス。MP3 を要求します。
ステージ 2 — MP3 → 動画
- オーディオを
<project>/narasi.mp3として保存します。 plan.json内のナレーションが 読み上げられたものと正確に 一致することを確認します (ユーザーが ElevenLabs でスクリプトを編集した可能性があります — 不明な場合は確認するか、長さをチェック: 推定値との大きな差はテキストが異なることを意味します)。python <skill>/scripts/align.py <project> --whisper→ 同期されたtimeline.js、timeline.json、video-plan.json。--whisperを使用すると (pip install faster-whisperが必要。最初のモデルダウンロードは ±500 MB)、各単語のタイミングが実際の音声認識から得られるため、カラオケキャプションとリップシンクが正確に合います。これがない場合、ポーズ + 音節調整が使用されます。faster-whisper がインストールされていない場合、スクリプトは自動的に古い方法にフォールバックします。フレーズリストを確認してください:<-- cekとマークされた行は疑わしい継続時間を持ちます。通常、テキストがオーディオと異なるか、ElevenLabs が予期しない場所で一時停止したことが原因です。必要に応じて計画内のテキストを修正し、再度実行します。references/engine-api.md(および計画でsetを使用する場合はreferences/sets.md) を読み、次に<project>/scenes.jsを作成します。まずexamples/zenhosta/scenes.jsのパターンをコピーします。すべての時間はT(sceneId, 'word')を使用し、生の秒数は使用しないでください。これにより、オーディオが置き換えられてもすべてが同期したままになります。- フルレンダリング前の視覚確認:
python <skill>/scripts/render.py <project> --stills <シーンあたり 3–4 秒>次に<project>/previews/の画像を 確認 します。ショットごとに少なくとも 1 枚のスチルを取得します (セットの場合はspot:ごとに 1 枚と、セットが構築中のものを 1 枚)。確認事項: パネルがホストの顔を覆っていない、端で何も切れていない、キャプションが読みやすい、プロップがステージに表示されている、ページエラーがない。修正して、クリーンになるまで繰り返します。これは品質にとって最も重要なステップです。 モーション (キャラクターの横移動、背景のトランジション、カメラカット) を確認するには、音声付きの短いクリップをレンダリングします:python <skill>/scripts/render.py <project> --clip 10 18→previews/clip_10-18.mp4。 - フルレンダリング:
python <skill>/scripts/render.py <project>(中断しても再開可能。--workers Nでマルチコア CPU 対応)。コンピューターにグラフィックカードがある場合、まずrender.py <project> --gpu --check-gpuを確認します。レンダラーが SwiftShader でない場合は、--gpuでレンダリングします (3–10 倍高速)。フルレンダリングの前に、--gpuの 1 枚のスチルを CPU バージョンと比較します。ワーカーあたり約 0.3–0.6 秒/フレーム。長時間かかる場合はバックグラウンドで実行し、進捗状況を監視します。 - 背景音楽: ユーザーが音楽ファイルを送信した場合 (または plan.json で
musicが設定されている場合)、自動ダッキング (ナレーション中は音楽が小さくなる) で使用します。ファイルがない場合は、--music auto(シンプルなコード生成、ロイヤリティフリー音楽) を使用し、応答でユーザーが好きな音楽に置き換えられることを伝えます — 著作権で保護された曲は決して使用しないでください。 - サムネイル:
python <skill>/scripts/thumbnail.py <project>→<project>/thumbnail.png(1080×1920 カバー) とpreviews/thumbnail-cek.png(セーフエリアガイド)。チェック画像を 確認 : タイトルとホストの顔が赤いボックス内にあり、タイトルが顔を覆っておらず、プロップが見えている。props_from、stage、またはtitle_yを調整して繰り返します。フルレンダリング中に実行できます。 python <skill>/scripts/encode.py <project> <name>.mp4 [--music file.mp3|auto]→ 効果音は自動生成され、ナレーションの下に静かにミックスされ (音楽 + ダッキング付き)、1080×1920 30 fps H.264 + AAC MP4 にエンコードされます。- 最終的な MP4 の数フレームを確認し (ffmpeg
-ss <秒> -frames:v 1)、references/output-format.mdのステージ 2 形式で応答します。
原則
- 同期第一、見た目第二。 すべてのビジュアルは、それを説明する単語と同時に表示されます。単語が話される前に表示されるパネルは違和感があります。
- フックがコンテンツに先立つ。 最初の 3 秒が動画が視聴されるかどうかを決定します: 挨拶のない 14 語以内のフック文、ナレーションを複製しない画面上の大きなテキスト、最初のフレームから動くキャラクター/プロップ、そして 8 秒目までに約束の回答が始まる (
references/hook.md)。 - 動くカメラ、静止したカメラではない。 すべてのシーンには少なくとも 2 つのショット (
host_close、host_medium、mascot_close、illustration、wide、low_angle) があり、適切な単語でカットまたは移動します — フック/パンチライン/CTA ではクローズアップ、プロップについて話すときはillustration(キャラクターは最初に消えるかフレーム外にスライドし、その後戻る)、リアクションにはmascot_close。UI パネルはアクティブなショットのセーフゾーン内に留まらなければなりません。 - 背景はトピックに従う。 各シーン (またはキーワード) には
backgroundがあります: コンテンツに一致するカラーテーマ、パーティクルパターン、モチーフアイコン — 寒さは氷の青 + 雪、サーバーはバイナリコード、CTA は暖かい/ブランドカラー。動画全体に静的な単一色の背景は退屈です。 - 口は母音に従う。 リップシンクは 5 つの口の形 A、I、U、E、O を使用し、各単語の母音の順序に従います — 「aku mau makan」→ A U A U A A — ポーズで閉じます。外国語は
pronunciation(references/karakter.md) を介した発音で読まれます。 - キャラクターは決してカメラを遮らない。 イラストに焦点を当てるとき、キャラクターは瞬間的に消えるか (
hide、カット用)、カメラが移動する前に真横にスライドしてフレームアウトします (slide、移動用) — 振り返ったり、カメラの前を歩いたりしません。バリエーションのために (必要な場合のみ) キャラクターはenterを介して下、横、または上からポップインできます。 - 場所は舞台となり、背景ではない。 ナレーションが場所について話すとき、それをホストの背後に 3D セットとして構築します (背景画像ではない): ホストはその前に浮かんで説明し、その後カメラは言及されている部分に移動し、ホストに戻ります。単一のオブジェクトは浮遊島に残ります。
- 瞬間ごとに一つのアイデア。 上部エリア (y 230–900 px) には一度に一つの主要なものだけを配置します: UI パネル または 大きな 3D プロップ。前のシーンの要素をクリアします。
- 文脈に適合しつつもオリジナルなキャラクター。 ピクセルスキンのホストは、ユーザーの説明、ブランド、ニッチから選択された仕様 (プリセット + 髪型、服装、色、アクセサリー、ヒジャブ) から構築されます。他のクリエイター、ゲームキャラクター、ブランドマスコットからスキン/キャラクターをコピーしないでください — 参考画像からはスタイルのみを採用します。
- 正確な事実。 教育用スクリプトは正確でなければなりません。例の数字はドキュメントの範囲 (例: IP
203.0.113.x) または明確なラベルを使用します。統計をでっち上げないでください。 - 正直な CTA。 ユーザーのブランド/URL をそのまま記載し、ユーザーが提供していない主張 (価格、プロモーション、「最高」、偽の期限) を含めないでください。
- 毎秒生きている。 カラオケキャプション、キーワードでのズームパンチ、強調された単語でのうなずき、指さしたものを見る目の動き、数字は大きなフォントで表示、CTA で手を振る — 動画のすべての瞬間がアクティブです。