Communitygithub.com

レトロ16ビットピクセル動画制作スキル

React + HTML5 Canvasを使用して、放送級の16ビットレトロピクセルアートモーショングラフィックスの解説・ドキュメンタリー動画を制作するためのエンドツーエンドのプロダクションシステム。ボイスオーバー、SRT字幕同期、シームレスなピクセルトランジション、16ビットBGM+プロシージャルSFX、スタジオNLE再生UI、クライアントサイドでの1920x1080 MP4書き出しを提供します。

レトロ16ビットピクセル動画制作スキル とは?

このスキルは、React + HTML5 Canvasを用いて、SNESや「クロノ・トリガー」、「シー・オブ・スターズ」、「セレステ」といったタイトルにインスパイアされた、高品質な16ビットレトロピクセルアート動画を制作するための完全なパイプラインを提供します。主な特徴として、384×216の仮想ピクセルグリッドを5倍に整数スケーリングして1920×1080のHD出力を行うことで、シャープなピクセル表現を実現。28色の温かみのあるシネマティックパレットと4×4ベイヤーディザリングを採用し、シーン間は9種類のトランジションライブラリで滑らかに接続します。タイポグラフィは日本語のCJK文字が潰れないよう、HDキャンバス上でピクセルグリフを直接レンダリングする独自方式を採用。3トラックのオーディオシステム(ボイスオーバー、マルチアクトBGM、同期SFX)を備え、WebCodecsを利用したクライアントサイドでの高速MP4書き出しに対応しています。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Lithium023/retro-16bit-pixel-video-SKILL/tree/main

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

16ビットレトロピクセル動画制作スキル

リファレンスブループリント

  • 標準リファレンスリポジトリ: https://github.com/Lithium023/16bit-video-forNeon
  • リファレンスベンチマーク: 5分14.5秒(314.5秒)のフルレングスドキュメンタリー(AI 发展史)、5幕構成の55の手作り16ビットピクセルシーン、155の同期済みSRTキュー、9種類のシームレストランジション、3トラックオーディオ(ボイスオーバー + 自動ダッキング付き5幕構成16ビットBGM + 94の同期16ビットSFX)、実時間より高速なクライアントサイド 1920×1080 H.264/AAC MP4 書き出し。
  • 新規プロジェクト開始時: このスキルとその references/ ファイルに記載されたモジュールアーキテクチャ、ビジュアル/オーディオ/書き出しの標準をミラーリングします。ユーザーから新しいスクリプト、ボイスオーバー音声、SRTファイルが提供された場合は、エンジン全体、美的構成、スタジオUI、MP4書き出しパイプラインを同一に保ちながら、新しいトピック固有のチャプター、ピクセルシーン、スプライト、サウンドキューを作成します。

1. 美的構成(譲れない条件)

SNES / クロノ・トリガー / シー・オブ・スターズ / セレステ と 高度なドキュメンタリーモーショングラフィックス の融合を目指します——暖かく、豊かで、雰囲気があり、非常にクリアです。無機質なワイヤーフレームのミニマリズム、乱雑な低解像度のぼやけ、派手なネオンの粗悪品は絶対に避けます。

  1. 純粋な16ビット仮想ピクセルグリッド(384×216 ランドスケープ / 216×384 ポートレート):

    • すべてのピクセルワールド、背景、ディザー処理された空、スプライト、小道具、アイコンを、オフスクリーンの仮想キャンバスに 384×216(16:9)または 216×384(9:16)で描画します。
    • なぜ 384×216 なのか? 1920×1080 への 正確な5倍整数スケール だからです(384 × 5 = 1920、216 × 5 = 1080)。ctx.imageSmoothingEnabled = false でHD出力キャンバスにビットマップ転送することで、すべてのピクセルがかみそりのようにシャープになり、ちらつきやサブピクセルのぼやけがなくなります。
    • アイドル/アンビエントのピクセルアニメーションは、シャープなレトロなリズム(stepT = Math.floor(time * 8..10) / 10)にロックします。一方、カメラパン、イージングカーブ、トランジションは滑らかな 60fps(書き出し時は30fps)で動作します。
  2. まとまりのある28色の暖色系シネマティック16ビットパレット:

    • すべてのシーンを、6つの感情ファミリーにわたる規律ある共有パレット(PAL)から構築します:深い夜の虚空/ネイビー、暖かなランプゴールド/クリーム、心地よいコーラル/プラム、クールなティール/パイン、アークティックウィンターアイス、ゲームボーイオリーブモノクロ(ドラマチックなプロットツイストのハードカット、例えば "但其实" のような場合に厳密に予約)。
    • フラットでテクスチャのないグラデーションは決して使用しません。空の継ぎ目、ランプのハロー、夜明けのバースト、ピクセルディゾルブには 4×4 オーダーベイヤーディザリング(drawDitheredSky、drawDitheredGlow)を使用します。
    • 正確な16進数トークン、ベイヤー行列の計算、スプライト描画プリミティブについては、references/visual-and-typography-spec.md を参照してください。
  3. 黄金のタイポグラフィ法則(CJKテキストの滲みゼロ):

    • 絶対に 小さな中国語テキストを 384×216 の低解像度キャンバスに描画して拡大してはいけません——密度の高い中国語の文字(最/魔/幻/澜/疆)は、読み取れない塊("糊成一坨")にぼやけてしまいます。
    • シーン内のキネティックタイトルとバッジ(デュアルレイヤーHDオーバーレイ): タイトルは、1920×1080 のHDキャンバスに直接レンダリングします。38px(大見出し)、32px(小見出し)、24px(HUDタグ)でラスタライズされたバイナリスナップピクセルグリフスプライトを使用し、8近傍1ピクセルの暗いインクアウトライン、ステップドロップシャドウ、3バンドメタリックベベルフィル(トップハイライト / ミッドトーン / ボトムシェード)を適用し、ニアレストネイバー(imageSmoothingEnabled = false)でアップスケールします。
    • L字型ブロードキャスト字幕: 字幕は クリーンで視認性の高いオリジナルのサンセリフ書体(Noto Sans SC / システムサンセリフ太字、y = 0.905 * h の位置に微妙な暗い半透明のピル型背景と細いアンバー色の境界線を伴う)で表示します。特に明示的に要求されない限り、メインの字幕ストリップをピクセル化してはいけません。
    • ディザー処理されたグローが重要なラベルを覆い隠してはならない: 重要な年号、指標、サミットバッジ(2026、1950 — FUTURE)などは、背景のグローの 後に 描かれる、金色/ティールのピクセル境界線を持つ、くっきりとした高コントラストの暗いプラークの内側に配置しなければなりません。
  4. ハードポップエントランスの禁止と意図しないハードカットの禁止:

    • すべてのシーン境界 には、9つのトランジションライブラリ(aperture-open、whip-blinds、iris-flash、razor-wipe、invert-strobe、camera-pullback、ember-curtain、gravity-shatter、horizon-burst)から意図的なトランジションを、滑らかな fromCam → toCam カメラ補間とタイポグラフィのクロスフェードとともに使用しなければなりません。劇的な反転でさえ、意図的なCRTラスターwipe(invert-strobe)を使用し、理由のない不快なジャンプは決して使ってはいけません。
    • シーン内のすべてのマルチ要素グラフィック(4つのモダリティカード、4つの機能モジュール、4つのボックス、モノリスステップ、フィナーレ年バナー)は、意図的な振り付けでアニメーションしなければなりません——スタッガードスプリングポップイン、ハブからノードへと掃引するエネルギービーム、展開するRPGプラーク、または話された言葉に同期して回転するオドメーター/カウンターのティック。単に if (localTime > X) drawBox() のようにしてはいけません。
    • すべてのフィナーレ/エンディング には、特徴的なクリエイティブなクロージングシーケンスが必要です(例:サンライズホライズンブルーム + 前方を見つめるキャラクター + 展開するプラーク + 回転する年オドメーター 1950 → 2026 → FUTURE + 光るスターアークスイープ + 暖かなハーモニックコード)。

2. 標準制作ワークフロー

新しい16ビットピクセル動画をゼロから作成する(または既存のものを拡張する)場合は、この正確な順序に従ってください。

ステップ 1: スクリプト、ボイスオーバー、SRTタイミングの取り込み

  • ユーザーの実際のボイスオーバー音声と .srt 字幕ファイルを解析します(または、ボイスオーバーに合わせた正確なタイムスタンプ付きSRTを生成します)。
  • 隣接するキュー間のマイクロギャップ(< 0.18s)を正規化し、字幕が2フレーム間でちらつかないようにします。
  • 正確な音声/SRT終了時間から CLIP_DURATION を確立します。

ステップ 2: ストーリーボードとビートシート(ペーシング設計図)

  • 映像を 3~6のナラティブアクト(各アクトは独自の色温度とBGMチャプターを持つ)と 3~8秒のシーン(視覚的なビートあたりおおよそ1~3の字幕キュー)に分割します。
  • 長い動画(60秒超)の場合は、30秒のチャプター 単位で反復的に構築します(retroPixelChapterTwo.ts、retroPixelChapterThree.ts など)。これにより、すべてのショットが再利用されたテンプレートではなく、本物の手作りピクセルアートになります。
  • timeline.ts で各シーンに割り当てるもの:
    • index、id、title、quote、start、end(厳密に連続し、[0, CLIP_DURATION] をカバーするギャップやオーバーラップはゼロ)
    • transitionIn + transitionLabel
    • visualBeat(ストーリーボードパネルのための簡潔な編集上の説明)
    • タイムラインストリップの accent 16進数カラー。

ステップ 3: コアピクセルエンジンとモジュラーチャプターレンダラーの構築

https://github.com/Lithium023/16bit-video-forNeon からの懸念事項のクリーンな分離をミラーリングします。

  • src/video/types.ts — SrtCue、SceneCut、TransitionType、RenderSettings、ExportResolution、ExportStatus。
  • src/video/srtParser.ts — 決定論的SRTパーサー、AUDIO_SRC、BGM_SRC、CLIP_DURATION、getActiveCue。
  • src/video/timeline.ts — 連続した SCENE_CUTS、イージングカーブ(easeOutExpo、easeOutBack、easeOutCubic、easeInOutQuint、smoothstep)、getStaggerProgress、getSceneAtTime、getActiveTransition、合成フォールバック音声エネルギー。
  • src/video/pixelSprites.ts — PAL、BAYER_4X4、pxRect、pxOutline、pxCircle、pxRing、pxLine、drawDitheredSky、drawDitheredGlow、drawSprite、pxBitmapText、再利用可能なピクセルアートスプライトと環境ヘルパー(pxPineTree、pxCloud、pxSparkle、pxStarfield)。
  • src/video/pixelTypography.ts — キャッシュされたバイナリスナップピクセルグリフラスタライザー(drawPixelString、drawPixelKineticTitle、drawPixelHudTag)。
  • src/video/retroPixelRenderer.ts — マスター仮想バッファプール(bufA、bufB、bufDither)、カメラドリフト計算機、9つのトランジションコンポジター、CRTスキャンライン、タイポグラフィハンドオフ、モジュラー retroPixelChapter*.ts ファイルへのディスパッチャー。
  • src/video/sceneRenderers.ts — トップレベル renderVideoFrame:ピクセルシーン → 微妙なビネット(0.14)→ クリーンなオリジナルL字型字幕 → 細いアンバー色のプログレスバー → 0.25秒のテールフェード。

ステップ 4: 全編のスコアリング(3トラックオーディオシステム)

詳細は references/choreography-and-audio-spec.md を参照してください。

  1. トラック 1 — ボイスオーバー: マスターナラティブアンカー(volume = 1.0、0.25秒テールフェード)。
  2. トラック 2 — マルチアクト16ビットBGM: 各アクトの雰囲気に合った、オープンライセンス(CC0 / CC BY 3.0、例:OpenGameArt / BoxCat Games / Kevin MacLeod / チップチューンOST)の本物の16ビットトラックを入手し、単一のギャップのないBGMトラックに、アクトのタイムスタンプに合わせたスムーズなクロスフェードで結合し、自動ボイスオーバーダッキング(duck = 1 - voiceEnergy * 0.22)を約 0.58 * bgmVolume で適用します。
  3. トラック 3 — 同期16ビットSFX(retroSfxEngine.ts): すべてのシーンカットに対する自動トランジションSFXと、手動で配置されたミュージカルビートSFX(4枚のカード表示時のペンタトニック上昇ブリップ、クリスタルクリック、スラッシュバズ、オドメーターティック、暖かなフィナーレメジャーコード)を組み合わせます。すべてのSFXは、Web Audio(BaseAudioContext + オプションの scheduledTime)を介してクリーンに合成されるため、ライブ再生とオフラインMP4書き出しで同一のサウンドになります。

ステップ 5: スタジオNLEプレビューとクライアントサイド1080p MP4書き出し

詳細は references/mp4-export-and-qa-spec.md を参照してください。

  • スタジオシェル: ダークオブシディアンワークスペース(#07080B)、トップバー(ブランドタイトル、チャプタージャンプナビ、単一のプライマリ 导出 1080p MP4 アクション、ライブステージプログレス付き、即時キャンセル可能)、キャンバスステージ(16:9 / 9:16 切り替え、再生/一時停止/スクラブ/ステップ/スピード/ミュート/フルスクリーン)、マルチトラックビジュアルタイムライン(シーンブロック + 字幕ブロック + プレイヘッド)、右側のエディトリアルパネル(分镜与转场 / 口播台词 / 画面调校、1080p vs 720p MP4切り替え、BGM/SFXスライダー、字幕トグル、ハイライトジャンプボタンを含む)。
  • MP4書き出し(videoExporter.ts): mp4-muxer + ブラウザ WebCodecs(VideoEncoder H.264 + AudioEncoder AAC/Opus) を、オフラインの直接PCMオーディオミキシング + キャッシュされたSFXごとのスタンピングとともに使用します。デフォルトは 1920×1080 @ 30fps、14 Mbps(ポートレートの場合は 1080×1920)、Safariネイティブ MediaRecorder MP4への自動フォールバック付き。

ステップ 6: 単体テストとビジュアルブラウザ検証(必須)

  • 純粋なロジックを分離し、node:test(npx tsx --test)でテストします。
    1. SRTタイムスタンプ解析とキューカバレッジ(srtParser.test.ts)
    2. ギャップやオーバーラップがゼロの連続シーンカットとトランジション(timeline.test.ts)
    3. ベイヤーディザリングと矩形スプライトグリッドの検証(pixelSprites.test.ts)
    4. 時系列SFXキューカバレッジと順方向のみのトリガーウィンドウ(retroSfxEngine.test.ts)
    5. 書き出し解像度設定、MP4 MIME優先順位、音声エネルギータイムライン(videoExporter.test.ts)
  • App.tsx で ?t=<seconds> URLクエリパラメータをサポートし、自動化されたヘッドレスブラウザチェックが任意のシーン、トランジション中間点、アニメーションエントランスビート、エンディングフレームに直接ジャンプして視覚的に検査できるようにします。
  • ライブMP4書き出しが 渲染 MP4 に到達し、古いコールバックを残さずにクリーンにアイドル状態にキャンセルされ、ブラウザコンソールエラーがゼロであることを確認します。

3. 厳守すべきルールと繰り返してはならない落とし穴

落とし穴根本原因必須の解決策
中国語のタイトルがぼやけて塊になる("糊成一坨")CJK文字を 384×216 の低解像度キャンバスにレンダリングしてからアップスケールするCJKタイトルは、バイナリしきい値処理された 38px/32px グリフスプライト(CJKは thresh = 142..148、ASCIIは 88)を使用してHDキャンバスにレンダリングし、1pxインクアウトライン + 3バンドベベルを適用。L字型字幕はクリーンなオリジナルサンセリフのままにする
後半のシーン間でのハードカットtransitionIn の欠落、またはビジュアルハンドオフの不一致SCENE_CUTS のすべてのカットは、意図的な transitionIn を定義しなければならない。テーマに沿ったトランジションをペアリングする(例:開花する花が落ちる氷の結晶に溶ける → gravity-shatter で冬に突入)
要素が突然ポップインする生の if (localTime > t) ブール値でUIカード/ボックスを描画しているすべての要素を clamp01((localTime - delay) / dur) + easeOutBack / easeOutExpo、ビームコネクター、プラーク展開、または回転カウンターで駆動する
クライマックスのラベルが隠れていたり、途中までしか表示されないラベルの上にグローが描画されている、またはプログレスが境界のあるセグメントカウンターから導出されているラベルはフレーム付きの暗いプラーク内に、グローの 後に 描画する。公開プログレスは、上限のあるカーブパラメータではなく、localTime に直接結び付ける
オフラインMP4書き出しが4%で停止する90以上のSFX(約280の BiquadFilterNode)を単一の314秒の OfflineAudioContext に接続している音声 + BGMを一度デコードし、ステレオ Float32Array PCMで直接ミキシングする。ユニークな短いSFXはそれぞれ、小さな 0.55~1.55秒 の OfflineAudioContext(キャッシュ済み)でレンダリングし、PCMにスタンプする
オフラインMP4オーディオエンコードに12秒以上かかる小さな 4096 サンプルの AudioData チャンクを、ルーズなドレインポーリングで供給しているAudioData を1秒(48000 サンプル)チャンクにバッチ処理し(5分で約315チャンク)、ドレインフォールバックを 20ms に厳密にする
MP4レンダリング中に「キャンセル」をクリックしてもボタンが動かなくなるwaitForEncoderDrain が cancel() の後に解決し、最後の onProgress を発行するonProgress/onComplete/onError を !cancelled ガードでラップし、すべての await の直後に if (isCancelled()) return をチェックする

4. このスキル内の参照ファイル

実行時に必要に応じてこれらの参照を読み込んでください。

  • references/visual-and-typography-spec.md — 正確な PAL カラーパレット、384×216 キャンバスと整数スケーリングの計算、ベイヤーディザリング、ピクセルタイポグラフィラスタライザー、9つのトランジションレシピ。
  • references/choreography-and-audio-spec.md — アニメーションエントランスパターン、5幕構成BGMクロスフェード + ダッキング計算、15のプロシージャル16ビットSFXレシピ。
  • references/mp4-export-and-qa-spec.md — 4層のクライアントサイドMP4書き出しパイプライン、高速オフラインPCMミキサー、スタジオNLE UI仕様、単体テスト + ブラウザQAチェックリスト。

関連スキル