Communitygithub.com

インタラクティブ・ストーリーボード

完成したストーリーボード(PDFまたは画像)を、1つのHTMLページ上で動作するインタラクティブなビジュアルストーリーに変換します:ガイド付きジェスチャー、合成または録音された音声、選択可能なルック、多言語テキストに対応します。

インタラクティブ・ストーリーボード とは?

このスキルは、静止画のストーリーボードを、視聴者がクリック、長押し、ドラッグといった直感的なジェスチャーで操作できる没入型のWeb体験へと変換します。ストーリーボードの各コマの構図やリズムを尊重し、音声、キャプション、ダイアログ、トランジションを自動生成することで、元の映像的な意図を保ちます。対応プラットフォームとしてはClaude Code、Cursor、CodexなどのAIエージェントを想定しており、ユーザーは「どのシーンを対象とするか」「見た目のプリセット(フィルム風、アメリカンコミック風、ピクセルアート風など)」「言語」「音声の種類」などの数項目を指定するだけで、残りはスキルが適切なデフォルト値を採用してビルドを実行します。実装は1つのHTMLファイルと1つのCanvas要素に集約され、シーンごとのステートマシン、カメラヘルパー、サウンド管理、多言語切り替えを内蔵。成果物は単体ページとしても、ユーザーの既存Webサイトに埋め込む形でも提供可能で、パフォーマンス測定や自動テストも実施して品質を担保します。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/beiabei10/interactive-storyboard/tree/HEAD/interactive-storyboard

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

インタラクティブ・ストーリーボード は何をしますか?

完成したストーリーボードをインタラクティブなビジュアルストーリーに変換します。視聴者は描かれた絵自体をクリック、長押し、ドラッグすることでストーリーを進め、音声、キャプション/ダイアログ、そしてフィルムのリズムを尊重したトランジションを体験できます。このスキルは、ストーリーボード(コマ、ショット、シーン番号、メモ)をすでに理解している人を対象としており、アニマティック生成ツールではありません。

このスキルの作者、Ding Yilin による事例:The Joy of the White Room および Fahrenheit 451(シーン1、8、9)— examples/ を参照。実際に体験できます:The Joy of the White Room、Fahrenheit 451、シーン1→8→9。

0. ビルド前に質問する(1ラウンドで、その後は実行)

ビルドに影響する項目のみを質問し、残りは適切なデフォルトを採用して、その旨を伝えてください。

  1. どのシーン/コマか(長いストーリーボードの場合:最初に1シーンをパイロットとして作成し、その後同じ方法で残りのシーンを処理します)。
  2. 見た目:下記のプリセットのいずれか、または「描画をそのまま維持」。
  3. テキスト:ダイアログのみ/ナレーションのみ/両方/なし。ストーリーボード自体の台詞を使用し、決してダイアログやナレーションを創作しないこと。
  4. 音声:ユーザーの録音(ファイルとそれぞれが属するコマを尋ねる)または合成音声。
  5. 言語:作品に必要な言語を必ず尋ねること。デフォルトの言語セットはありません。指定された言語のみをビルドします。画面上のすべての文字列(タイトル、シーン番号、ヒント、吹き出し、クレジット)は言語別テーブルに格納され、ライブで切り替え可能です。複数言語の場合、開始言語はホストページに従えます(?lang=、postMessage、または <html lang>)。あなたが作成した翻訳は下書きであり、ユーザーが確認する必要があります。
  6. 配置場所:共有可能な単一ページのみか、ユーザー自身のWebサイトに埋め込む場合(その場合はサイトのパッケージを尋ね、ユーザーのコピーを編集すること)。
  7. クレジット行:ユーザーが指定した文言をそのまま使用します(例:「Made by …」)。ユーザーが挙げていない役割は追加しないこと。

1. ストーリーボードを読み込む

  • Storyboarder / PDF 書き出し:pdfimages -png で各コマをNOTE領域を含むフルサイズで取得します。描画フレームを一度だけ特定し(フレーム線の行/列をスキャン)、すべてのコマを同じ方法で描画領域にクロップします(ステージが16:9の場合は16:9のウィンドウを維持)。pdftoppm -r 150 でページをレンダリングし、メモ、シーン番号(EXT./INT. … – DAY/NIGHT)、長さ、ダイアログを読み取ります。pdftotext -layout でシーン番号を取得します。
  • 各コマのコンタクトシートとグリッド表示(幅/高さの0.1単位で線を引く)を作成します。以降のすべての座標(人物の位置、タップ位置、画面の位置)はこれらを基準に画像の割合で測定し、決して推測しないこと。
  • ビートリストを作成します:コマ → 何が起こるか → 視聴者がそのアクションを実行するための1つのジェスチャー → 音声 → テキスト。

2. エフェクトより先にショットを

  • 長回しを見つける。 同じセットアップで移動する被写体(歩く人々のA→B→C)が連続するコマは、1つの連続したショットです。1つのクリーンな背景を構築し(他のコマを使用して被写体をパッチ除去)、被写体を切り抜いて移動させ、カメラをそれに合わせてドリフトさせます。そこでコマ全体をクロスディゾルブしないこと。
  • 同じ被写体のクローズショット→ワイドショット(またはその逆)は1つの動きです。ワイドショットのフレームを、被写体のサイズと位置がクローズショットと同じになるようにズームし(測定した頭/足の位置からズームと中心を計算)、そのマッチしたフレーミングでクロスフェードを完了し、その後引き戻します。マッチしたフレームをスクリーンショットで確認してください。ゴーストが出ている場合は数値がずれています。
  • 1つの動きとして読ませる必要があるコマは、1つのパレットを共有します(同じプリセットカラーで処理)。
  • ユーザーが、コマがテレビの裏面、後ろから見たドアなどを示していると言った場合、コマに表示されていないものは何も描画しないこと。光と音で画面外を示唆できます。

3. 見た目のプリセット

すべてのプリセットはユーザーの線画を維持し、再描画はしません。

  • フィルム/リソグラフ(White Room のルック):シーンごとにグレーディング(陰鬱さに対して明るく彩度の高い色)、柔らかな紙のテクスチャ、優しい粒子。時折 — 常にではない — ゲートウィーブ、フリッカー、かすかな傷、レジストレーションシャドウ。エフェクトは稀で控えめ:常にフリッカーやシェイクがあると疲れます。
  • アメリカンコミック:両側平滑化。暗い閾値からのインク層と、細い鉛筆のストロークがインクで塗られるためのブラックハット。描画領域にフラットなスポットカラー、中間調に45度のベンデイドット、パネル全体に明るいスクリーン(端に行くほど濃くなる)。カラープレートをインクプレートから1〜2pxオフセット。出力は約1.5倍。場所/時間ごとに1つのスポットカラー(暖かい日、青い夜、緑のCCTV、赤い警報…)。文字:シーン番号用の黄色いキャプションボックス、画像内のコミックSFX単語、ダイアログ用の吹き出し。
  • ピクセル:限られたパレットと秩序あるディザリングで小さいグリッドにダウンスケールし、ニアレストネイバーでアップスケール。テキストはピクセルフォント。

ページのクロームはプリセットに従います(上映室、新聞紙ページ、ゲーム画面)。Webフォントは2〜3秒のフォールバックレースでロードされ、ストーリーがフォントを待たないようにします。

4. ビルド:1つのHTMLページ、1つのキャンバス

  • 16:9のステージ、キャンバス、その下に字幕/ヒントエリア、言語スイッチ(複数言語の場合)、サウンドトグル。
  • シーンステートマシン:各シーンは enter / render(t) / tap / drag / down / up / hover / key を持つオブジェクト。go(scene) で切り替え。st() はシーン内の時間。カメラヘルパー(setCam(img, zoom, cx, cy)、toScreen、toImg)により、すべてのヒットエリアとエフェクトを画像の割合で配置し、カメラに追随させます。
  • すべてのシーンに脱出手段を:キーボードキーと、ゆっくりとした自動フォールバック(10〜20秒)により、誰も詰まることがないようにします。さらに長いシーンには「スキップ」リンクも。
  • すべてのサウンド呼び出しをラップし、オーディオコンテキストの欠落やデコード失敗がストーリーを壊さないようにします。
  • 画像は <img> でロード(file:// でも動作)。音声は fetch + decodeAudioData でロードし、fetchがブロックされた場合は <audio> 要素にフォールバック。

5. インタラクションデザイン

  • ジェスチャーこそがストーリーのアクションです。 走る=素早いクリック;息を止める=触らない;身を乗り出して見る=長押し;登る=繰り返し上にドラッグ;何かを手渡す=それを運ぶ;ページをめくる=本の上をドラッグ;スイッチを切る=ボタン上の手を長押し。これらを一般的な「クリックして続行」よりも優先します。純粋にリズムのビートやダイアログにはシンプルなタップを使用します。
  • ユーザー自身の描画をそのまま使い、決して創作した小道具を使わないこと。 図形/オブジェクトをその輪郭に沿って切り抜き(グリッドズーム上でトレースしたポリゴン、ソフトエッジ)、ペーパーカットアウトのような細い白い縁を追加し、ドラッグ中は小さな影と傾きで浮かせ、元あった場所に素の紙を残し、間違った場所にドロップした場合はスナップバック。切り抜きをコマと照らし合わせて確認すること。階段、家具、別のキャラクターの手を誤って含めないこと。
  • コマの上に追加するエフェクト(画面が光る、電波、ファインダー)は、描画のジオメトリに従う必要があります — 画面のグローを矩形ではなく、パースペクティブクアッドにクリップする — そして、追加したことをユーザーに指摘する必要があります。
  • ヒントは場所と方法を伝えます:「魚を長押しして、前後にこすってください」であり、「インタラクションしてください」ではありません。本文よりも大きく、画像の下に配置します。
  • 画面上のガイド、デフォルトでは静か(What Remains of Edith Finch を参考に):タッチポイントにアクションを示す小さなサイン — タップ用のパルス、長押し用の満たされるリング、ドラッグ方向に流れるシェブロン、円を描くための回転アーク(コミックスタイルではインクの「ここを見て」チェックマーク)。ステップが始まるときに手がジェスチャーを2回示し、その後は引っ込む。約3秒の無操作後に再び表示されます。指が下にある間はすべて非表示。長い破線のパスで絵を覆わないこと。

6. トランジション

  • トーンに合わせる:デフォルトはソフト(新しいパネルがやや大きく沈み込むディゾルブ、インクアウト/インクイン、テレビのスイッチオンや火がつくときの軽いブルーム)。シーン内の単一の衝撃のために、1つのハードカット(ネガフレーム、スピードライン、シェイク)を残す。すべてハードカットでは硬くなります。
  • 次の空間への連続的なプッシュは1つの長い動き:その間にあるもの(壁など)は、行き先のパネルの色とテクスチャを取り、それに溶け込みます。動きの途中にガターはありません。
  • 回転またはズームされた画像の黒い端を決して見せない:カメラをクランプします。

7. 音声

  • 録音音声:アクションに合わせてトリミング(描かれた取っ手に同期してドアが開く)、すべてのレベルを均一にし、アンビエンスをフェードでループ。
  • 合成音声(WebAudio、ファイル不要):足音、紙、ドア、機械の猟犬、警報、心拍、テレビのざわめき… すべてのヒットをランダム化(タイミング、ピッチ、エンベロープ)し、エンベロープを不均一に成形して、機械的な繰り返しに聞こえないようにする。静かなシーンでのクリック音やドライなビープ音を避ける。
  • 意味のためにサウンドブリッジを使用(洗濯機が徐々に夢の海になる、音がタイトルにわたって続く)。ストーリーボードが示唆しない音を追加する前に尋ねること。

8. テキスト

  • ダイアログ:スピーチバルーン(コミック)または字幕(フィルム)。テールは話し手の頭を指し、パネル内に収め、計測によって折り返し、行頭に閉じ句読点を置かない。各バルーンの本体とテールを別々に塗りつぶし、ストロークがテキストを交差しないようにする。
  • シーン番号はコーナーのキャプションボックスとして。重要な描画を避ける(被写体を覆ってしまうコマではキャプションをスキップ)。
  • あなたが追加する引用(例:キャラクターが朗読するもの)はパブリックドメインである必要があり、ユーザーにその旨を伝えること。

9. パフォーマンス

  • キャンバスを約1600px幅に制限(DPR = max(1, min(devicePixelRatio, 2, 1600 / cssWidth)))。
  • 静的なオーバーレイ(紙テクスチャ、ビネット)はサイズごとに1度だけプリレンダリングし、各フレームに重ねる。グラデーションやパターンをフレームごとに再構築しない。
  • ディゾルブでは、前のフレームを半サイズで保持し、フルコピーを毎フレーム行わない。
  • ホストページではストーリーをレイジーロード(ポスター+「ストーリーに入る」ボタン)。各シーンページは自身の画像のみをロード。

10. 視聴者のようにテストする

  • ヘッドレスブラウザ(例:Playwright)で、実際のマウスジェスチャー(toScreen から測定したクリック、長押し、ドラッグ)を使用して、すべての言語でストーリー全体を実行し、ページエラーで失敗させる。テスト専用の __go(scene, state) を公開して、特定のビートにジャンプできるようにする。
  • すべてのキーフレームおよび各トランジション/マッチの中間のスクリーンショットを撮り、確認する。
  • 編集後にスクリプトを構文チェック(node --check)。1行のステートメントの途中に // コメントを入れないこと(残りの行が静かにコメントアウトされ、ページが空白のままになります)。
  • 大きな変更の前後でフレームレートを測定する。音声と感触は、実際にプレイするのではなく、測定とスクリーンショットによって確認されたことを率直に伝える。

11. 納品

  • レビュー用の共有可能なホストページ。ユーザーのWebサイト用には、ユーザーのサイトパッケージのzipファイルで、ストーリーを専用フォルダ(例:story/<project>/)に入れ、レイジーロード埋め込みブロックを含め、他は変更しない。ユーザーがストーリーを自分のサイト内で改造している場合は、常にそのコピーを編集(3-wayマージであなたの変更を適用)し、オリジナルで上書きしない。
  • 複数シーンの場合:シーンごとに1つのページで、1つのアセットフォルダを共有し、チェーン接続(シーンの終わり→次のシーン、言語を維持。最後は最初に戻る)。各シーンのカバーは、ナビゲーション後にオーディオを解除するための1回のクリックが必要。
  • ユーザーに代わってどこにもデプロイしないこと。zipを手渡す。
  • 単一ファイルを単独で開くと黒くなります。ページには隣に a/ アセットフォルダが必要です。ファイルを渡すときにその旨を伝える。

関連スキル