Communitygithub.com

AI動画ショート — ナレーション付きキーフレームと画像-to-動画

エージェントが「AI動画ショート」を計画、構築、または編集し、完成した動画クリップを出力する方法を示します。この手順は、ナレーション付きキーフレーム+画像-to-動画のパイプラインを通じて進みます。新しいタスクでこの技術が必要な場合に使用します。

AI動画ショート — ナレーション付きキーフレームと画像-to-動画 とは?

このスキルは、AIエージェントがナレーション付きのキーフレームと画像-to-動画生成を組み合わせて、完全な動画ショートを制作するための厳格なパイプラインを定義します。主な特徴は、ナレーションのワードタイミングを唯一の時計として使用し、すべてのカットを実際のタイムスタンプから導出する点です。また、各ショットに2つのプロンプト(静止画用と動作用)を常に生成し、スタイルブロックとキャラクターシートを固定することで一貫したビジュアルを保証します。パイプラインは、スクリプト解析、TTS音声合成、タイムライン生成、ショット計画、プロンプト作成、キーフレーム生成、動画クリップ生成、サウンドデザイン、最終アセンブリという8つのステージで構成され、各ステージには通過しなければならないゲートがあります。このスキルは特に、インド神話コミック風スタイルのような特定のビジュアルスタイルを持つナレーションベースの動画制作に適しており、エージェントはVibes.ai、Gemini、ローカルの楽器/SFXエンジンなどのツールを使用して、中断可能で再開可能なワークフローを実行できます。

対応✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/akashdeep000/claude-animated-shorts/tree/HEAD/ai-video-short

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

AI動画ショート — ナレーション付きキーフレームと画像-to-動画 は何をしますか?

three.jsレンダラを生成パイプラインに置き換えます。../SKILL.mdの厳密さは維持されています:事実を優先、ワードタイミングを唯一の時計とする、固定されたルック、形容詞ではなく測定値、次の支出の前に通過しなければならないゲート。

実績のある基準:~/Videos/ramayana-part1/part1-startframe.jpg(キーフレーム)およびramayana-part1-v1.mp4(クリップ)。プレミアム2Dインド神話コミックブック風イラスト、太い黒インク、暖かいゴールドキー、720x1280。

詳細は以下にあります:

  • PLAN.md — フェーズ、ゲート、リスク、未決定の判断
  • PIPELINE.md — ステージの契約、正確なコマンド、ステートマシン
  • SHOT-PLANNING.md — タイミングからショットへのアルゴリズム
  • STYLE-LOCK.md — 固定スタイルブロック、キャラクターシート、パレットターゲット
  • PROMPTS.md — プロンプト代数、モーションクラス、モデレーションラダー
  • AUDIO.md — 生成されたラーガスコア+合成SFX、レベル、ダッキング
  • QA.md — ゲートチェック、しきい値、欠陥分類
  • ../references/mythic/ — 測定されたスタイル基準:開始フレーム、作業クリップ、合格プロンプト、パレット数値
  • ../templates/mythic/ — ワンショット雰囲気生成器と動的生命パス
  • tools/CONTRACTS.md — このワークフローが前提とする13のCLI
  • missions/garuda-jatayu.md — パイロット:逐語的なスクリプト、キャスト、ビジュアルルール、受け入れ基準

ハードルール

  1. ナレーションが時計である。 すべてのカットは実際のワードタイムスタンプから導出されます。timeline.jsonが存在する前にショット境界が発明されることはありません。
  2. 逐語的なスクリプト。 <project>/script-tagged.txtはユーザーのスクリプトとバイト単位で同一です。script-spoken.txtは、[...]タグが削除されている点のみが異なります。ハッシュチェックはゲートG0で実行されます。
  3. ショットごとに2つのプロンプト、決して1つではない。 keyframePromptは静止画を記述します。videoPromptはその静止画から始まる5秒間の動きを記述します。キーフレームプロンプトを動画プロンプトとして再利用することは、最も一般的な品質バグです(生命感のない、漂うだけのクリップを生成します)。
  4. 固定された1つのルック。 スタイルブロック+キャラクターシートはstyle-lock.jsonの定数です。プロンプトはそれらから組み立てられ、自由記述されることはありません。
  5. クリップを1.12倍以上に引き伸ばしてはいけない。 ビートにより多くの時間が必要な場合は、別のショットか延長(+4秒)を計画してください。引き伸ばしは最初の実行で最大の妥協点でした。
  6. レビューされていないフレームが動画に到達してはいけない。 キーフレームはまずコンタクトシートレビューとテキストアーティファクトチェックを通過します。動画クレジットは高コストな段階です。
  7. 構成により再開可能。 すべてのステージは入力ハッシュ付きでstate/<stage>.jsonを書き込みます。再実行は冪等です。28ショット中6ショット目で停止した実行は、6ショット目から再開しなければなりません。
  8. 生成されたメディアはすぐにダウンロードすること。 vibes CDNのURLは期限切れになります。
  9. 音楽とSFXは生成され、ライセンスされない。 スコア用のローカルラーガエンジン、エフェクト用のローカルシンセ、オプションのクォータ制限付きElevenLabsヒーローテイク。レベル:ボイス -16、音楽 -24 (ダック -3)、SFX -18。キャプションはオフのまま。
  10. 妥協点を報告し、隠さないこと。 放棄されたすべてのゲートは最終報告書とREADME.mdに記載されます。

パイプライン

script-tagged.txt
   │ S0  parse + hash + beat map
   ▼
script.json ──► S1 TTS (elevenlabs) ──► tts/*.mp3 + tts/*.words.json
                                        │ S2 タイムライン+ポーズ計画
                                        ▼
                                   timeline.json
                                        │ S3 ショット計画
                                        ▼
                                    shots.json
                       ┌────────────────┴────────────────┐
                  S4 プロンプトアセンブリ          S5 キーフレーム (Gemini)
                       ▼                                ▼
                  prompts/*.json                   keyframes/*.jpg
                                                        │ S6 クリップ (vibes.ai)
                                                        ▼
                                                   clips/*.mp4
                                                        │
              timeline.json + shots.json ──► S7 サウンド ───┤
                   cue -> music + sfx -> mix           │ S8 アセンブリ (ffmpeg)
                                                        ▼
                                                   final.mp4 + QA

並列性:S1は3並列(サービス制限)。S5は4。S6は3。S1/S2とS4はscript.jsonが存在すればオーバーラップ可能。S7はtimeline.json + shots.jsonのみ必要なので、音楽とSFXレンダリングはS6の実行中に開始可能;最終ミックスとS8だけが最後のクリップを待ちます。

ステージコマンド

名前はtools/CONTRACTS.mdの契約です。示されている通りに実装または呼び出します。

PROJ=~/Videos/garuda-jatayu

# S0 — スクリプトを解析、ハッシュを保持、ビートマップを構築
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"

# S1 — セグメントごとに音声合成 (eleven_v4 + インラインオーディオタグ)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
  --url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
  --model eleven_v4 --tags inline --concurrency 3

# S2 — 音声を測定、計画ポーズを挿入、マスタークロックを構築
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
  -o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"

# S3 — ワード境界からショットを導出(決して推測からではない)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/shots.json"

# S4 — ショットごとに2つのプロンプトをアセンブル
python tools/compose_prompts.py "$PROJ/shots.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/prompts"

# S5 — キーフレーム、キャラクターシート+ロケーションプレートで条件付け
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
  --sheet "$PROJ/style/character-sheet.png" --concurrency 4

# S6 — クリップ、3並列、再開可能、モデレーションラダー内蔵
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
  --out "$PROJ/clips" --concurrency 3

# S7 — サウンド:キューシート、スコア、SFX、ミックス
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
  --music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"

# S8 — EDL、xfade/カットグラフ、ミックスと多重化
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
  --clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"

# ゲート
python tools/qa.py "$PROJ" --gate all

ゲート(ゲートなし、次の支出なし)

ゲートチェック内容ブロックするもの
G0 スクリプト逐語的ハッシュ、すべての文にビート+キャスト+ロケーションがあるS1
G1 タイミングワードの単調性、カバレッジ、連結時間がタイムライン終了±100msに一致S3
G2 ストーリーボードすべての節がカバーされている、長さが[4.0, 5.6]秒以内、カットがワード終了時S5
G3 キーフレーム720x1280、シート一貫性、テキストアーティファクトなし、キャラクター数S6
G4 クリップ720x1280/24fps/125f、範囲内ドリフト、モーションが存在S7
G5 アセンブリ長さ±0.3秒、xfadeオフセット、黒/フリーズ結合なし納品
G6 最終720x1280、24fps、AAC存在、-16 LUFS±1、ラウドネストゥルーピーク≤ -1.0 dBTP納品
G6b オーディオ発話ウィンドウでボイスベッドマージン≥ 6 LU、ダック2.5-3.5 dB、キューエッジクリーン、ステムがミックスに合計納品

G3とG4の視覚部分は、バッチごとに1回のビジョンレビューが必要です。その他はすべて機械チェック可能です。

障害対応プレイブック

症状原因修正
TTS 503 / ソルバーオフラインデキャプチャレーン停止curl 127.0.0.1:8000/health、レーンを再起動、そして再試行
送信時にCONTENT_POLICYモデレーションボキャブラリ同じプロンプトを2回、次に語彙を中立化(PROMPTS.md)、次に短縮
クリップがドリフト/立ち上がるポーズロック文がない「最初のフレームからポーズと位置を維持する」を追加
クリップが静止画モーションパラグラフがないか弱すぎる明示的なカメラパラグラフ1つ+セカンダリモーションパラグラフ1つ
フレームごとにキャラクターが異なる参照条件付けがないfiles=[...]を介してキャラクターシートを渡す
Gemini 401Cookie期限切れHelium CDPから__Secure-1PSID + __Secure-1PSIDTSを再抽出
vibes 401キャッシュされたセッションが古い~/.vibes-session.jsonを削除し、autoSession()に再ログインさせる
出力サイズが間違っている開始フレームが720x1280でないImageOps.fitでフレームを再構築
カットがビートからずれるショットタイミングが発明されたtimeline.jsonからS3を再実行
実行がバッチ途中で停止状態がない想定内:同じコマンドを再実行すると再開される
SFXプレビューがquota_exceededを返す匿名ElevenLabsプレビュークォータが尽きた(約2リクエスト)想定内:ローカルシンセは常にすべてのキューをレンダリング;クォータがリフレッシュされたときのみヒーローテイクをフリーズ

成果物

<project>/
  final.mp4             720x1280, 24fps, H.264/AAC, -16 LUFS
  README.md             パイプライン+正確なコマンド+妥協点
  script-tagged.txt     逐語的入力
  script-spoken.txt     発話テキストのみ
  script.json           解析済みセグメント、ビート、キャスト、ロケーション
  timing.json           セグメントごとのワード
  timeline.json         ポーズを含むマスタークロック
  shots.json            ショット計画(EDL)
  style-lock.json       スタイルブロック+キャラクターシート+プレート
  style/                キャラクターシート.png, plates/*.png
  prompts/              <shot>.keyframe.txt, <shot>.video.txt
  keyframes/            <shot>.jpg + manifest.json
  clips/                <shot>.mp4 + <shot>.generation.json
  score/                cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
  state/                <stage>.json
  qa/                   ゲートレポート、コンタクトシート

新しい動画を開始する前にPLAN.mdを参照してください:決定済みの判断(声、感情タグ、ショットテンポ、サウンド、キャプション)とそれを強制するフェーズが記録されています。

関連スキル