バイラルアニメーションショート制作パイプライン は何をしますか?
9:16のアニメーションショート(2Dスティックマン・イン・3Dまたはスタイライズド3D)を、有料のサードパーティラッパーやBlenderを使わずに、GeminiメディアスタックとFFmpeg上でネイティブに制作します。
前提条件の確認
ライブ動画生成またはアセンブリを実行する前に、ローカルの依存関係を確認してください(whichだけでなく--versionでテストしてください。macOSの/usr/bin/python3は、インストールされていないXcode CLTスタブである可能性があるため)。
- 動画/音声API:
gemini-api whoami(推奨)またはGEMINI_API_KEYが設定されたPythongoogle-genaiSDK(gemini-omni-flash-apiおよびgemini-api-cliスキルを参照)。 - キャラクターシート:
gemini-api image(gemini-nano-banana-2.1)または組み込みのimage-generatorサブエージェント。 - アセンブリとフレームサンプリング:
ffmpeg -version、ffprobe -version、python3 --version(字幕変換用)。
gemini-apiまたはffmpegがない場合は、ステージ1~2をライブで完了し(シートにはimage-generatorを使用)、jobs.jsonと.ass字幕を生成し、残りのライブレンダリング/アセンブリ手順に必要な正確なインストールコマンドを報告します。
6ステージのワークフロー
すべてのプロジェクト成果物は、専用の<project_dir>/(例:shorts/<slug>/)内に保存します:
shot_plan.json、sheets/、drafts_360p/、qa/、finals_1080p/、audio/、final_short.mp4。
ステージ1:スクリプト、スタイルバイブル、およびフックゲート
- タイトなスクリプトを作成します:コメディスケッチの場合は30~45秒(2~4シーン)、解説系の場合は130~150ワード(45~55秒)。イントロや挨拶は不要です。
references/shot_plan_schema.jsonに準拠した<project_dir>/shot_plan.jsonをコンパイルします:- すべてのシーンプロンプトで再利用される、一字一句同じ
style_bible文字列を固定します。 - すべてのキャラクターを、基本デザインに小道具を持たせずに定義します。
- シーンを3~15秒のOmniクリップに分割し、
[0-3s]のビートタイムコードと、平均ショット長1.5~2.5秒を設定します。 audio_modeをnative_omni(コメディダイアログ/効果音)またはtts_plus_bgm(ナレーション解説)に設定します。- 最後のラインが、ビート1に構文的にループするように記述します。
- すべてのシーンプロンプトで再利用される、一字一句同じ
- フックゲート(レンダリング前に必須): ビート1(
0-3s)をreferences/qa_rubric.md(フックゲートセクション)に対して検証します。ビート1にフレーム0での視覚的なコントラスト、即時の動き、および開放的な言葉による前提がない限り、動画を生成しないでください。
ステージ2:不変の3パネルターンアラウンドシート
references/sheet_prompt_templates.mdのテンプレートを使用して、キャラクターごとに1つの16:9の3パネルターンアラウンドシート(正面 | 3/4横 | 背面)を作成します。- ニュートラルな明るい灰色の背景、フラットで均一な照明、ニュートラルな表情、そして小道具を持たせない(小道具はショット間で手の形状変化を引き起こします)ことを徹底します。
gemini-api image "<prompt>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<char>_2d.pngを使用して生成するか(またはimage-generatorに委任し、出力された.jpg/.pngを<project_dir>/sheets/にコピー/変換します)。read_fileですべてのシートを目視検査します。パネル間でプロポーション、衣装、線の太さに矛盾がある場合は、再生成します。gemini-apiを使用する場合は、承認されたシートを一度アップロードし(gemini-api files upload <sheet> --wait)、すべてのシーンでfiles/<id>URIを再利用できるようにします。
ステージ3:低コスト360pドラフトパス
gemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p)を使用して、gemini-api videoまたはgenerate_video.py --batch jobs_360p.json経由で360pの9:16ドラフトを生成します。jobs_360p.jsonの各アイテムは次を使用します:{"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"}- 不変のターンアラウンドシート(
-i/--image、最大6画像)をすべてのショットに渡し、アップロード順に自然言語で各キャラクターをバインドします(<IMAGE_REF_N>タグは絶対に使用しないでください)。 - 一字一句同じ
style_bible、明示的な否定制約(画面上のテキスト、透かし、空白の標識は禁止)、およびシングルショットまたはタイムコードビートを含めます。 - 2キャラクターショットの場合は、キャラクターを空間的に分離する(左/右)か、ショット/リバースショットを使用して属性のブリードを防ぎます。
- 直接的な連続カットの場合は、シーンNの最後のクリーンなフレームをセカンダリアンカーとして抽出しますが、プライマリアンカーとしては標準のターンアラウンドシートを維持します。
ステージ4:コンテキストを考慮したフォレンジックVLM QA(最大2~3回のリトライ)
- 各ドラフトクリップからフレームをサンプリングし(
開始、中間、アクションのピーク、終了)、前のショットの終了フレームも含めます:bash scripts/extract_qa_frames.sh <clip.mp4> <project_dir>/qa/<shot_id> [prev_clip.mp4] references/qa_rubric.mdを使用してgemini-api analyze(またはread_fileによる目視検査)を実行し、ターンアラウンドシート、前の終了フレーム、およびサンプリングされたフレームを渡します。- 正確なフレームインデックスと障害コード(
HOOK_WEAK、EXTRA_LIMB、STYLE_DRIFT、TEXT_WARP、AUDIO_DESYNC)によって障害を診断します。 references/failure_fix_playbook.mdから該当する修正を適用します:- 小さな局所的なグリッチ:
--previous-interaction-id <id>("<修正>。他のすべては同じに保つ。")を使用してその場で編集します。 - 大きな解剖学的/構図上のエラー:アクション/カメラを簡略化して再試行します。
- リトライはショットあたり最大3回に制限します。新たに発見された修正は
references/failure_fix_playbook.mdに記録します。
- 小さな局所的なグリッチ:
ステージ5:1080p最終レンダリングとオプションの2D→3Dアップグレード
- 承認されたショットを
1080pで再レンダリングします(--resolution 1080p)。 - オプションの2D→3Dアップグレード:
references/sheet_prompt_templates.mdの3D変換テンプレートを使用して、承認された各2Dシートをスタイライズド3Dターンアラウンドシートに変換します(-i <char>_2d.png)。read_fileで検査し、style_bibleをスタイライズド3Dに更新し、実績のあるshot_plan.jsonを再実行します。
ステージ6:決定論的FFmpegアセンブリ
- ワードタイミング付きの
.srtを生成するか(gemini-api transcribe -i <audio_or_clip> --format srt)、スクリプトのタイミングからエクスポートします。 .srtをセーフゾーン.assカラオケ字幕に変換します(下部35%のショートUI危険ゾーンの上に配置):python3 scripts/srt_to_ass.py <input.srt> <project_dir>/audio/captions.ass- プローブ→コンフォーム→連結→ダッキング→字幕焼き込み→2パス
-14 LUFSのアセンブリスクリプトを実行します:bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [voiceover.wav] [bgm.wav] - 納品前に、
final_short.mp4の寸法(1080x1920)、長さ、オーディオラウドネス(-14 LUFS)、および視覚的なフレームチェックを確認します。