16ビットレトロピクセル動画制作スキル
リファレンスブループリント
- 標準リファレンスリポジトリ:
https://github.com/Lithium023/16bit-video-forNeon - リファレンスベンチマーク: 5分14.5秒(314.5秒)のフルレングスドキュメンタリー(AI 发展史)、5幕構成の55の手作り16ビットピクセルシーン、155の同期済みSRTキュー、9種類のシームレストランジション、3トラックオーディオ(ボイスオーバー + 自動ダッキング付き5幕構成16ビットBGM + 94の同期16ビットSFX)、実時間より高速なクライアントサイド 1920×1080 H.264/AAC MP4 書き出し。
- 新規プロジェクト開始時: このスキルとその
references/ファイルに記載されたモジュールアーキテクチャ、ビジュアル/オーディオ/書き出しの標準をミラーリングします。ユーザーから新しいスクリプト、ボイスオーバー音声、SRTファイルが提供された場合は、エンジン全体、美的構成、スタジオUI、MP4書き出しパイプラインを同一に保ちながら、新しいトピック固有のチャプター、ピクセルシーン、スプライト、サウンドキューを作成します。
1. 美的構成(譲れない条件)
SNES / クロノ・トリガー / シー・オブ・スターズ / セレステ と 高度なドキュメンタリーモーショングラフィックス の融合を目指します——暖かく、豊かで、雰囲気があり、非常にクリアです。無機質なワイヤーフレームのミニマリズム、乱雑な低解像度のぼやけ、派手なネオンの粗悪品は絶対に避けます。
-
純粋な16ビット仮想ピクセルグリッド(
384×216ランドスケープ /216×384ポートレート):- すべてのピクセルワールド、背景、ディザー処理された空、スプライト、小道具、アイコンを、オフスクリーンの仮想キャンバスに
384×216(16:9)または216×384(9:16)で描画します。 - なぜ
384×216なのか?1920×1080への 正確な5倍整数スケール だからです(384 × 5 = 1920、216 × 5 = 1080)。ctx.imageSmoothingEnabled = falseでHD出力キャンバスにビットマップ転送することで、すべてのピクセルがかみそりのようにシャープになり、ちらつきやサブピクセルのぼやけがなくなります。 - アイドル/アンビエントのピクセルアニメーションは、シャープなレトロなリズム(
stepT = Math.floor(time * 8..10) / 10)にロックします。一方、カメラパン、イージングカーブ、トランジションは滑らかな 60fps(書き出し時は30fps)で動作します。
- すべてのピクセルワールド、背景、ディザー処理された空、スプライト、小道具、アイコンを、オフスクリーンの仮想キャンバスに
-
まとまりのある28色の暖色系シネマティック16ビットパレット:
- すべてのシーンを、6つの感情ファミリーにわたる規律ある共有パレット(
PAL)から構築します:深い夜の虚空/ネイビー、暖かなランプゴールド/クリーム、心地よいコーラル/プラム、クールなティール/パイン、アークティックウィンターアイス、ゲームボーイオリーブモノクロ(ドラマチックなプロットツイストのハードカット、例えば"但其实"のような場合に厳密に予約)。 - フラットでテクスチャのないグラデーションは決して使用しません。空の継ぎ目、ランプのハロー、夜明けのバースト、ピクセルディゾルブには 4×4 オーダーベイヤーディザリング(
drawDitheredSky、drawDitheredGlow)を使用します。 - 正確な16進数トークン、ベイヤー行列の計算、スプライト描画プリミティブについては、
references/visual-and-typography-spec.mdを参照してください。
- すべてのシーンを、6つの感情ファミリーにわたる規律ある共有パレット(
-
黄金のタイポグラフィ法則(CJKテキストの滲みゼロ):
- 絶対に 小さな中国語テキストを
384×216の低解像度キャンバスに描画して拡大してはいけません——密度の高い中国語の文字(最/魔/幻/澜/疆)は、読み取れない塊("糊成一坨")にぼやけてしまいます。 - シーン内のキネティックタイトルとバッジ(デュアルレイヤーHDオーバーレイ): タイトルは、
1920×1080のHDキャンバスに直接レンダリングします。38px(大見出し)、32px(小見出し)、24px(HUDタグ)でラスタライズされたバイナリスナップピクセルグリフスプライトを使用し、8近傍1ピクセルの暗いインクアウトライン、ステップドロップシャドウ、3バンドメタリックベベルフィル(トップハイライト / ミッドトーン / ボトムシェード)を適用し、ニアレストネイバー(imageSmoothingEnabled = false)でアップスケールします。 - L字型ブロードキャスト字幕: 字幕は クリーンで視認性の高いオリジナルのサンセリフ書体(
Noto Sans SC/ システムサンセリフ太字、y = 0.905 * hの位置に微妙な暗い半透明のピル型背景と細いアンバー色の境界線を伴う)で表示します。特に明示的に要求されない限り、メインの字幕ストリップをピクセル化してはいけません。 - ディザー処理されたグローが重要なラベルを覆い隠してはならない: 重要な年号、指標、サミットバッジ(
2026、1950 — FUTURE)などは、背景のグローの 後に 描かれる、金色/ティールのピクセル境界線を持つ、くっきりとした高コントラストの暗いプラークの内側に配置しなければなりません。
- 絶対に 小さな中国語テキストを
-
ハードポップエントランスの禁止と意図しないハードカットの禁止:
- すべてのシーン境界 には、9つのトランジションライブラリ(
aperture-open、whip-blinds、iris-flash、razor-wipe、invert-strobe、camera-pullback、ember-curtain、gravity-shatter、horizon-burst)から意図的なトランジションを、滑らかなfromCam → toCamカメラ補間とタイポグラフィのクロスフェードとともに使用しなければなりません。劇的な反転でさえ、意図的なCRTラスターwipe(invert-strobe)を使用し、理由のない不快なジャンプは決して使ってはいけません。 - シーン内のすべてのマルチ要素グラフィック(4つのモダリティカード、4つの機能モジュール、4つのボックス、モノリスステップ、フィナーレ年バナー)は、意図的な振り付けでアニメーションしなければなりません——スタッガードスプリングポップイン、ハブからノードへと掃引するエネルギービーム、展開するRPGプラーク、または話された言葉に同期して回転するオドメーター/カウンターのティック。単に
if (localTime > X) drawBox()のようにしてはいけません。 - すべてのフィナーレ/エンディング には、特徴的なクリエイティブなクロージングシーケンスが必要です(例:サンライズホライズンブルーム + 前方を見つめるキャラクター + 展開するプラーク + 回転する年オドメーター
1950 → 2026 → FUTURE+ 光るスターアークスイープ + 暖かなハーモニックコード)。
- すべてのシーン境界 には、9つのトランジションライブラリ(
2. 標準制作ワークフロー
新しい16ビットピクセル動画をゼロから作成する(または既存のものを拡張する)場合は、この正確な順序に従ってください。
ステップ 1: スクリプト、ボイスオーバー、SRTタイミングの取り込み
- ユーザーの実際のボイスオーバー音声と
.srt字幕ファイルを解析します(または、ボイスオーバーに合わせた正確なタイムスタンプ付きSRTを生成します)。 - 隣接するキュー間のマイクロギャップ(
< 0.18s)を正規化し、字幕が2フレーム間でちらつかないようにします。 - 正確な音声/SRT終了時間から
CLIP_DURATIONを確立します。
ステップ 2: ストーリーボードとビートシート(ペーシング設計図)
- 映像を 3~6のナラティブアクト(各アクトは独自の色温度とBGMチャプターを持つ)と 3~8秒のシーン(視覚的なビートあたりおおよそ1~3の字幕キュー)に分割します。
- 長い動画(60秒超)の場合は、30秒のチャプター 単位で反復的に構築します(
retroPixelChapterTwo.ts、retroPixelChapterThree.tsなど)。これにより、すべてのショットが再利用されたテンプレートではなく、本物の手作りピクセルアートになります。 timeline.tsで各シーンに割り当てるもの:index、id、title、quote、start、end(厳密に連続し、[0, CLIP_DURATION]をカバーするギャップやオーバーラップはゼロ)transitionIn+transitionLabelvisualBeat(ストーリーボードパネルのための簡潔な編集上の説明)- タイムラインストリップの
accent16進数カラー。
ステップ 3: コアピクセルエンジンとモジュラーチャプターレンダラーの構築
https://github.com/Lithium023/16bit-video-forNeon からの懸念事項のクリーンな分離をミラーリングします。
src/video/types.ts—SrtCue、SceneCut、TransitionType、RenderSettings、ExportResolution、ExportStatus。src/video/srtParser.ts— 決定論的SRTパーサー、AUDIO_SRC、BGM_SRC、CLIP_DURATION、getActiveCue。src/video/timeline.ts— 連続したSCENE_CUTS、イージングカーブ(easeOutExpo、easeOutBack、easeOutCubic、easeInOutQuint、smoothstep)、getStaggerProgress、getSceneAtTime、getActiveTransition、合成フォールバック音声エネルギー。src/video/pixelSprites.ts—PAL、BAYER_4X4、pxRect、pxOutline、pxCircle、pxRing、pxLine、drawDitheredSky、drawDitheredGlow、drawSprite、pxBitmapText、再利用可能なピクセルアートスプライトと環境ヘルパー(pxPineTree、pxCloud、pxSparkle、pxStarfield)。src/video/pixelTypography.ts— キャッシュされたバイナリスナップピクセルグリフラスタライザー(drawPixelString、drawPixelKineticTitle、drawPixelHudTag)。src/video/retroPixelRenderer.ts— マスター仮想バッファプール(bufA、bufB、bufDither)、カメラドリフト計算機、9つのトランジションコンポジター、CRTスキャンライン、タイポグラフィハンドオフ、モジュラーretroPixelChapter*.tsファイルへのディスパッチャー。src/video/sceneRenderers.ts— トップレベルrenderVideoFrame:ピクセルシーン → 微妙なビネット(0.14)→ クリーンなオリジナルL字型字幕 → 細いアンバー色のプログレスバー → 0.25秒のテールフェード。
ステップ 4: 全編のスコアリング(3トラックオーディオシステム)
詳細は references/choreography-and-audio-spec.md を参照してください。
- トラック 1 — ボイスオーバー: マスターナラティブアンカー(
volume = 1.0、0.25秒テールフェード)。 - トラック 2 — マルチアクト16ビットBGM: 各アクトの雰囲気に合った、オープンライセンス(CC0 / CC BY 3.0、例:OpenGameArt / BoxCat Games / Kevin MacLeod / チップチューンOST)の本物の16ビットトラックを入手し、単一のギャップのないBGMトラックに、アクトのタイムスタンプに合わせたスムーズなクロスフェードで結合し、自動ボイスオーバーダッキング(
duck = 1 - voiceEnergy * 0.22)を約0.58 * bgmVolumeで適用します。 - トラック 3 — 同期16ビットSFX(
retroSfxEngine.ts): すべてのシーンカットに対する自動トランジションSFXと、手動で配置されたミュージカルビートSFX(4枚のカード表示時のペンタトニック上昇ブリップ、クリスタルクリック、スラッシュバズ、オドメーターティック、暖かなフィナーレメジャーコード)を組み合わせます。すべてのSFXは、Web Audio(BaseAudioContext+ オプションのscheduledTime)を介してクリーンに合成されるため、ライブ再生とオフラインMP4書き出しで同一のサウンドになります。
ステップ 5: スタジオNLEプレビューとクライアントサイド1080p MP4書き出し
詳細は references/mp4-export-and-qa-spec.md を参照してください。
- スタジオシェル: ダークオブシディアンワークスペース(
#07080B)、トップバー(ブランドタイトル、チャプタージャンプナビ、単一のプライマリ导出 1080p MP4アクション、ライブステージプログレス付き、即時キャンセル可能)、キャンバスステージ(16:9 / 9:16 切り替え、再生/一時停止/スクラブ/ステップ/スピード/ミュート/フルスクリーン)、マルチトラックビジュアルタイムライン(シーンブロック + 字幕ブロック + プレイヘッド)、右側のエディトリアルパネル(分镜与转场/口播台词/画面调校、1080pvs720pMP4切り替え、BGM/SFXスライダー、字幕トグル、ハイライトジャンプボタンを含む)。 - MP4書き出し(
videoExporter.ts):mp4-muxer+ ブラウザ WebCodecs(VideoEncoderH.264 +AudioEncoderAAC/Opus) を、オフラインの直接PCMオーディオミキシング + キャッシュされたSFXごとのスタンピングとともに使用します。デフォルトは1920×1080@ 30fps、14 Mbps(ポートレートの場合は1080×1920)、SafariネイティブMediaRecorderMP4への自動フォールバック付き。
ステップ 6: 単体テストとビジュアルブラウザ検証(必須)
- 純粋なロジックを分離し、
node:test(npx tsx --test)でテストします。- SRTタイムスタンプ解析とキューカバレッジ(
srtParser.test.ts) - ギャップやオーバーラップがゼロの連続シーンカットとトランジション(
timeline.test.ts) - ベイヤーディザリングと矩形スプライトグリッドの検証(
pixelSprites.test.ts) - 時系列SFXキューカバレッジと順方向のみのトリガーウィンドウ(
retroSfxEngine.test.ts) - 書き出し解像度設定、MP4 MIME優先順位、音声エネルギータイムライン(
videoExporter.test.ts)
- SRTタイムスタンプ解析とキューカバレッジ(
App.tsxで?t=<seconds>URLクエリパラメータをサポートし、自動化されたヘッドレスブラウザチェックが任意のシーン、トランジション中間点、アニメーションエントランスビート、エンディングフレームに直接ジャンプして視覚的に検査できるようにします。- ライブMP4書き出しが
渲染 MP4に到達し、古いコールバックを残さずにクリーンにアイドル状態にキャンセルされ、ブラウザコンソールエラーがゼロであることを確認します。
3. 厳守すべきルールと繰り返してはならない落とし穴
| 落とし穴 | 根本原因 | 必須の解決策 |
|---|---|---|
| 中国語のタイトルがぼやけて塊になる("糊成一坨") | CJK文字を 384×216 の低解像度キャンバスにレンダリングしてからアップスケールする | CJKタイトルは、バイナリしきい値処理された 38px/32px グリフスプライト(CJKは thresh = 142..148、ASCIIは 88)を使用してHDキャンバスにレンダリングし、1pxインクアウトライン + 3バンドベベルを適用。L字型字幕はクリーンなオリジナルサンセリフのままにする |
| 後半のシーン間でのハードカット | transitionIn の欠落、またはビジュアルハンドオフの不一致 | SCENE_CUTS のすべてのカットは、意図的な transitionIn を定義しなければならない。テーマに沿ったトランジションをペアリングする(例:開花する花が落ちる氷の結晶に溶ける → gravity-shatter で冬に突入) |
| 要素が突然ポップインする | 生の if (localTime > t) ブール値でUIカード/ボックスを描画している | すべての要素を clamp01((localTime - delay) / dur) + easeOutBack / easeOutExpo、ビームコネクター、プラーク展開、または回転カウンターで駆動する |
| クライマックスのラベルが隠れていたり、途中までしか表示されない | ラベルの上にグローが描画されている、またはプログレスが境界のあるセグメントカウンターから導出されている | ラベルはフレーム付きの暗いプラーク内に、グローの 後に 描画する。公開プログレスは、上限のあるカーブパラメータではなく、localTime に直接結び付ける |
| オフラインMP4書き出しが4%で停止する | 90以上のSFX(約280の BiquadFilterNode)を単一の314秒の OfflineAudioContext に接続している | 音声 + BGMを一度デコードし、ステレオ Float32Array PCMで直接ミキシングする。ユニークな短いSFXはそれぞれ、小さな 0.55~1.55秒 の OfflineAudioContext(キャッシュ済み)でレンダリングし、PCMにスタンプする |
| オフラインMP4オーディオエンコードに12秒以上かかる | 小さな 4096 サンプルの AudioData チャンクを、ルーズなドレインポーリングで供給している | AudioData を1秒(48000 サンプル)チャンクにバッチ処理し(5分で約315チャンク)、ドレインフォールバックを 20ms に厳密にする |
| MP4レンダリング中に「キャンセル」をクリックしてもボタンが動かなくなる | waitForEncoderDrain が cancel() の後に解決し、最後の onProgress を発行する | onProgress/onComplete/onError を !cancelled ガードでラップし、すべての await の直後に if (isCancelled()) return をチェックする |
4. このスキル内の参照ファイル
実行時に必要に応じてこれらの参照を読み込んでください。
references/visual-and-typography-spec.md— 正確なPALカラーパレット、384×216キャンバスと整数スケーリングの計算、ベイヤーディザリング、ピクセルタイポグラフィラスタライザー、9つのトランジションレシピ。references/choreography-and-audio-spec.md— アニメーションエントランスパターン、5幕構成BGMクロスフェード + ダッキング計算、15のプロシージャル16ビットSFXレシピ。references/mp4-export-and-qa-spec.md— 4層のクライアントサイドMP4書き出しパイプライン、高速オフラインPCMミキサー、スタジオNLE UI仕様、単体テスト + ブラウザQAチェックリスト。