シネマティックストーリービデオ制作スキル は何をしますか?
このスキルは、小説の章やナラティブスクリプトから高忠実度のシネマティックストーリービデオをエンドツーエンドで制作するためのガイドです。マルチモーダル画像生成とキャラクター参照アンカリング、Gemini TTSによる純粋なスタジオナレーション、HyperFrames AI(GSAP)による流麗なマルチショットカメラディレクションを組み合わせます。
コア哲学と制作基準
- 厳格なキャラクター一貫性: すべてのキャラクターは、参照コンセプトシートを使用して視覚的にアンカリングする必要があります。ブラインドテキストプロンプトだけでストーリーシーンを生成しないでください。必ずキャラクター参照画像のバイトデータを渡し、視覚的DNA(顔の構造、髪型、服装)を適用してください。
- 純粋なスタジオナレーション(Gemini TTS): ナレーターの声は
gemini-3.8-flash-ttsを使用して生成してください。決して システムプロンプト、トーン指示、メタデータをコンテンツプロンプトに入れないでください。純粋なストーリーナレーションテキストのみを渡してください。そうしないと、TTSモデルが指示を読み上げてしまいます。 - シンセティックオーディオのノイズを排除: ユーザーから明示的に要求されない限り、手続き型/合成SFXや汎用的なBGMは避けてください。クリーンで明瞭度の高いボーカルナレーションが、没入感のあるオーディオブック×映画体験を提供します。
- 字幕なし: 要求がない限り、シネマティックキャンバスに字幕を焼き付けたりオーバーレイしたりしないでください。2.39:1のアナモルフィックレターボックスで画面をクリーンに保ち、視覚的インパクトを最大化します。
- 動的なシネマティックショット: パラグラフごとに単一の静止ショットは避けてください。高強度またはアクションシーンでは、ビートを複数の高速ショットカットに分割します(例:カット1: 極端なディテール/反応、カット2: インパクト/ワイド、カット3: クローズアップの感情)。
- 厳格なセキュリティ(
.env):.envを読み取り、cat、print、表示、編集しないでください。バックエンドスクリプトは、環境変数をプログラムによってランタイムメモリにロードします。
制作パイプライン(ステップバイステップ)
flowchart TD
A["章テキスト (chapter_XX.md)"] --> B["1. シーン分割とストーリーボード"]
B --> C["2. キャラクターバイブルと参照シート"]
C --> D["3. マルチモーダル画像生成 (gemini-2.5-flash-image)"]
B --> E["4. 純粋なスタジオナレーション (gemini-3.8-flash-tts)"]
D --> F["5. HyperFrames構成とGSAPモーション"]
E --> F
F --> G["6. 検証 (npx hyperframes lint)"]
G --> H["7. フルレンダリング (npx hyperframes render)"]
ステップ 1: ストーリー分割とストーリーボード構築
- 対象の小説の章またはストーリーテキスト(例:
chapter_01.md)を読み込みます。 - 章を 8~12の明確なシネマティックビート/シーン に分割します。
- 各シーンに対して、以下を指定します。
scene_id:例:scene_01、scene_02などtitle:短い説明的なタイトル(タイ語/英語)narration:そのシーンに対する正確で純粋なタイ語ナレーションテキストvisual_prompt:詳細なシネマティックプロンプト(16:9、照明、カメラアングル、雰囲気)characters_present:キャラクターキーのリスト(例:["prima", "tawan"])
- 分割結果を
video_project/storyboard.jsonに保存します。
ステップ 2: キャラクターバイブルと参照アンカリング
character_references/character_bible.mdを確認し、既存のキャラクターが定義されているかどうかを確認します。- 新しいキャラクターを導入する場合は、最初に専用の キャラクター参照シート を生成します。
- フォーマット:16:9ワイドスクリーンのコンセプトシート。複数のアングル(クローズアップポートレート、3/4ビュー、全身)をニュートラルなシネマティックスタジオ背景に表示します。
character_references/<character_key>_reference_sheet.pngに保存します。- 正確な視覚的DNAを
character_references/character_bible.mdに文書化します(年齢、顔の特徴、髪型、服装スタイル、特徴的な特性)。
詳細な参照プロンプトテンプレートについては、キャラクター一貫性ガイド を参照してください。
ステップ 3: マルチモーダル画像生成
- Google GenAI SDKを介して
gemini-2.5-flash-imageを使用します。 - 確立されたキャラクターが登場するシーンの場合:
- キャラクター参照シートをバイナリ画像バイトとして読み込みます。
- マルチモーダルリクエスト内で、テキストプロンプトと共に参照画像パーツを提供します。
- モデルに明示的に指示します:"参照画像のキャラクター(<名前>、<説明>)をそのまま使用して:[シーンの説明]"
- アクション/高ドラマシーンの場合:
- マルチショットサブカットを生成します(例:
scene1_cut1_tire.png、scene1_cut2_impact.png、scene1_cut3_face.png)。
- マルチショットサブカットを生成します(例:
- 画像を
video_project/images/に保存し、HyperFramesプロジェクトのアセット(sample_hyperframe/assets/)にコピーします。
ヘルパースクリプト:scripts/generate_scene_images.py
ステップ 4: 純粋なスタジオナレーション(Gemini TTS)
- モデル
gemini-3.8-flash-ttsを使用します。 - 音声生成を構成します。
response_modalities=["AUDIO"]- プリビルトボイス(例:
PuckまたはAoede)を使用したspeech_config
- 重要:
contentsには、正確なストーリーナレーションテキスト のみ を渡します。# 正しい: response = client.models.generate_content( model="gemini-3.8-flash-tts", contents=scene["narration"], # 純粋なテキストのみ! config=types.GenerateContentConfig(response_modalities=["AUDIO"], speech_config=...) ) - FFmpegを使用して、生の出力PCM/WAVをクリーンな44.1kHz MP3に変換します。
- 音声ファイルを
video_project/audio/voice/に保存し、sample_hyperframe/assets/にコピーします。
ヘルパースクリプト:scripts/generate_gemini_tts.py
ステップ 5: HyperFramesアセンブリとシネマティックモーション
ffprobeを使用して、各シーンの音声ファイルの長さを確認します。- シーンの開始時間と長さを計算します。
scene_duration = voice_duration + 0.6s(0.2sプリロール + 0.4s余裕)
sample_hyperframe/index.htmlを生成します。- シネマティック2.39:1ワイドスクリーンレターボックスオーバーレイ(
.letterbox-top、.letterbox-bottom) - 字幕なしの純粋な画像コンテナ
- 正確なタイムスタンプでスケジュールされたネイティブ
<audio>要素(tl.call(() => audio.play(), ..., voice_start)) - GSAPタイムラインアニメーション:
- アクションビートのマルチショットカット(ホワイトフラッシュトランジションによる表示切り替え)
- スローケンバーンズプッシュイン/パン(
scale: 1.0 -> 1.08-1.12) - シーン間のスムーズなクロスフェード/カット
- タイムラインを登録:
window.__timelines = [tl]
- シネマティック2.39:1ワイドスクリーンレターボックスオーバーレイ(
sample_hyperframe/hyperframes.jsonを正確な合計時間で更新します。{ "duration": 177.6, "fps": 30, "width": 1920, "height": 1080 }
ヘルパースクリプト:scripts/build_hyperframes_project.py
詳細なアニメーションガイド:HyperFramesモーションガイド
ステップ 6: 検証とレンダリング
- Lintチェック:
0エラー、0ワーニング を確認してください。cd sample_hyperframe npx hyperframes lint - フルムービーレンダリング:
npx hyperframes render --output ../video_project/output/<chapter_name>_full_movie.mp4 - 品質検証:
- ファイルが存在し、サイズが妥当であることを確認します(約3分のFull HDで約150~250 MB)。
- 音声と映像の同期を確認し、黒フレームや音声ドロップアウトがないことを確認します。