AI動画ショート — ナレーション付きキーフレームと画像-to-動画 は何をしますか?
three.jsレンダラを生成パイプラインに置き換えます。../SKILL.mdの厳密さは維持されています:事実を優先、ワードタイミングを唯一の時計とする、固定されたルック、形容詞ではなく測定値、次の支出の前に通過しなければならないゲート。
実績のある基準:~/Videos/ramayana-part1/part1-startframe.jpg(キーフレーム)およびramayana-part1-v1.mp4(クリップ)。プレミアム2Dインド神話コミックブック風イラスト、太い黒インク、暖かいゴールドキー、720x1280。
詳細は以下にあります:
PLAN.md— フェーズ、ゲート、リスク、未決定の判断PIPELINE.md— ステージの契約、正確なコマンド、ステートマシンSHOT-PLANNING.md— タイミングからショットへのアルゴリズムSTYLE-LOCK.md— 固定スタイルブロック、キャラクターシート、パレットターゲットPROMPTS.md— プロンプト代数、モーションクラス、モデレーションラダーAUDIO.md— 生成されたラーガスコア+合成SFX、レベル、ダッキングQA.md— ゲートチェック、しきい値、欠陥分類../references/mythic/— 測定されたスタイル基準:開始フレーム、作業クリップ、合格プロンプト、パレット数値../templates/mythic/— ワンショット雰囲気生成器と動的生命パスtools/CONTRACTS.md— このワークフローが前提とする13のCLImissions/garuda-jatayu.md— パイロット:逐語的なスクリプト、キャスト、ビジュアルルール、受け入れ基準
ハードルール
- ナレーションが時計である。 すべてのカットは実際のワードタイムスタンプから導出されます。
timeline.jsonが存在する前にショット境界が発明されることはありません。 - 逐語的なスクリプト。
<project>/script-tagged.txtはユーザーのスクリプトとバイト単位で同一です。script-spoken.txtは、[...]タグが削除されている点のみが異なります。ハッシュチェックはゲートG0で実行されます。 - ショットごとに2つのプロンプト、決して1つではない。
keyframePromptは静止画を記述します。videoPromptはその静止画から始まる5秒間の動きを記述します。キーフレームプロンプトを動画プロンプトとして再利用することは、最も一般的な品質バグです(生命感のない、漂うだけのクリップを生成します)。 - 固定された1つのルック。 スタイルブロック+キャラクターシートは
style-lock.jsonの定数です。プロンプトはそれらから組み立てられ、自由記述されることはありません。 - クリップを1.12倍以上に引き伸ばしてはいけない。 ビートにより多くの時間が必要な場合は、別のショットか延長(+4秒)を計画してください。引き伸ばしは最初の実行で最大の妥協点でした。
- レビューされていないフレームが動画に到達してはいけない。 キーフレームはまずコンタクトシートレビューとテキストアーティファクトチェックを通過します。動画クレジットは高コストな段階です。
- 構成により再開可能。 すべてのステージは入力ハッシュ付きで
state/<stage>.jsonを書き込みます。再実行は冪等です。28ショット中6ショット目で停止した実行は、6ショット目から再開しなければなりません。 - 生成されたメディアはすぐにダウンロードすること。 vibes CDNのURLは期限切れになります。
- 音楽とSFXは生成され、ライセンスされない。 スコア用のローカルラーガエンジン、エフェクト用のローカルシンセ、オプションのクォータ制限付きElevenLabsヒーローテイク。レベル:ボイス -16、音楽 -24 (ダック -3)、SFX -18。キャプションはオフのまま。
- 妥協点を報告し、隠さないこと。 放棄されたすべてのゲートは最終報告書と
README.mdに記載されます。
パイプライン
script-tagged.txt
│ S0 parse + hash + beat map
▼
script.json ──► S1 TTS (elevenlabs) ──► tts/*.mp3 + tts/*.words.json
│ S2 タイムライン+ポーズ計画
▼
timeline.json
│ S3 ショット計画
▼
shots.json
┌────────────────┴────────────────┐
S4 プロンプトアセンブリ S5 キーフレーム (Gemini)
▼ ▼
prompts/*.json keyframes/*.jpg
│ S6 クリップ (vibes.ai)
▼
clips/*.mp4
│
timeline.json + shots.json ──► S7 サウンド ───┤
cue -> music + sfx -> mix │ S8 アセンブリ (ffmpeg)
▼
final.mp4 + QA
並列性:S1は3並列(サービス制限)。S5は4。S6は3。S1/S2とS4はscript.jsonが存在すればオーバーラップ可能。S7はtimeline.json + shots.jsonのみ必要なので、音楽とSFXレンダリングはS6の実行中に開始可能;最終ミックスとS8だけが最後のクリップを待ちます。
ステージコマンド
名前はtools/CONTRACTS.mdの契約です。示されている通りに実装または呼び出します。
PROJ=~/Videos/garuda-jatayu
# S0 — スクリプトを解析、ハッシュを保持、ビートマップを構築
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"
# S1 — セグメントごとに音声合成 (eleven_v4 + インラインオーディオタグ)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
--url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
--model eleven_v4 --tags inline --concurrency 3
# S2 — 音声を測定、計画ポーズを挿入、マスタークロックを構築
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
-o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"
# S3 — ワード境界からショットを導出(決して推測からではない)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/shots.json"
# S4 — ショットごとに2つのプロンプトをアセンブル
python tools/compose_prompts.py "$PROJ/shots.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/prompts"
# S5 — キーフレーム、キャラクターシート+ロケーションプレートで条件付け
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
--sheet "$PROJ/style/character-sheet.png" --concurrency 4
# S6 — クリップ、3並列、再開可能、モデレーションラダー内蔵
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
--out "$PROJ/clips" --concurrency 3
# S7 — サウンド:キューシート、スコア、SFX、ミックス
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
--music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"
# S8 — EDL、xfade/カットグラフ、ミックスと多重化
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
--clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"
# ゲート
python tools/qa.py "$PROJ" --gate all
ゲート(ゲートなし、次の支出なし)
| ゲート | チェック内容 | ブロックするもの |
|---|---|---|
| G0 スクリプト | 逐語的ハッシュ、すべての文にビート+キャスト+ロケーションがある | S1 |
| G1 タイミング | ワードの単調性、カバレッジ、連結時間がタイムライン終了±100msに一致 | S3 |
| G2 ストーリーボード | すべての節がカバーされている、長さが[4.0, 5.6]秒以内、カットがワード終了時 | S5 |
| G3 キーフレーム | 720x1280、シート一貫性、テキストアーティファクトなし、キャラクター数 | S6 |
| G4 クリップ | 720x1280/24fps/125f、範囲内ドリフト、モーションが存在 | S7 |
| G5 アセンブリ | 長さ±0.3秒、xfadeオフセット、黒/フリーズ結合なし | 納品 |
| G6 最終 | 720x1280、24fps、AAC存在、-16 LUFS±1、ラウドネストゥルーピーク≤ -1.0 dBTP | 納品 |
| G6b オーディオ | 発話ウィンドウでボイスベッドマージン≥ 6 LU、ダック2.5-3.5 dB、キューエッジクリーン、ステムがミックスに合計 | 納品 |
G3とG4の視覚部分は、バッチごとに1回のビジョンレビューが必要です。その他はすべて機械チェック可能です。
障害対応プレイブック
| 症状 | 原因 | 修正 |
|---|---|---|
| TTS 503 / ソルバーオフライン | デキャプチャレーン停止 | curl 127.0.0.1:8000/health、レーンを再起動、そして再試行 |
送信時にCONTENT_POLICY | モデレーションボキャブラリ | 同じプロンプトを2回、次に語彙を中立化(PROMPTS.md)、次に短縮 |
| クリップがドリフト/立ち上がる | ポーズロック文がない | 「最初のフレームからポーズと位置を維持する」を追加 |
| クリップが静止画 | モーションパラグラフがないか弱すぎる | 明示的なカメラパラグラフ1つ+セカンダリモーションパラグラフ1つ |
| フレームごとにキャラクターが異なる | 参照条件付けがない | files=[...]を介してキャラクターシートを渡す |
| Gemini 401 | Cookie期限切れ | Helium CDPから__Secure-1PSID + __Secure-1PSIDTSを再抽出 |
| vibes 401 | キャッシュされたセッションが古い | ~/.vibes-session.jsonを削除し、autoSession()に再ログインさせる |
| 出力サイズが間違っている | 開始フレームが720x1280でない | ImageOps.fitでフレームを再構築 |
| カットがビートからずれる | ショットタイミングが発明された | timeline.jsonからS3を再実行 |
| 実行がバッチ途中で停止 | 状態がない | 想定内:同じコマンドを再実行すると再開される |
SFXプレビューがquota_exceededを返す | 匿名ElevenLabsプレビュークォータが尽きた(約2リクエスト) | 想定内:ローカルシンセは常にすべてのキューをレンダリング;クォータがリフレッシュされたときのみヒーローテイクをフリーズ |
成果物
<project>/
final.mp4 720x1280, 24fps, H.264/AAC, -16 LUFS
README.md パイプライン+正確なコマンド+妥協点
script-tagged.txt 逐語的入力
script-spoken.txt 発話テキストのみ
script.json 解析済みセグメント、ビート、キャスト、ロケーション
timing.json セグメントごとのワード
timeline.json ポーズを含むマスタークロック
shots.json ショット計画(EDL)
style-lock.json スタイルブロック+キャラクターシート+プレート
style/ キャラクターシート.png, plates/*.png
prompts/ <shot>.keyframe.txt, <shot>.video.txt
keyframes/ <shot>.jpg + manifest.json
clips/ <shot>.mp4 + <shot>.generation.json
score/ cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
state/ <stage>.json
qa/ ゲートレポート、コンタクトシート
新しい動画を開始する前にPLAN.mdを参照してください:決定済みの判断(声、感情タグ、ショットテンポ、サウンド、キャプション)とそれを強制するフェーズが記録されています。