generate-footage
このプラグインのもう一つのエントリーポイントです。video-use はすでに存在する映像を編集します。このスキルは、まだ存在しない映像——ナレーションと静止画キーフレームを、HyperFramesで構成・アニメーション化し、決定論的にレンダリングすることで動画を構築します。
パイプライン(プロダクションで実証済み。モーションステップがなぜ決定論的なのかは docs/rca/ を参照):
スクリプト(v3オーディオタグ付き)
→ eleven_v3 ナレーション (scripts/tts_v3.py)
→ 文字起こし (npx hyperframes transcribe narration.mp3)
→ シーンウィンドウを文の境界にロック(単語レベルのタイムスタンプ)
→ 任意のソースからの静止画 (1シーンにつき1枚のキーフレーム — 以下参照)
→ animate-stills コンポジション (recipes/04-animate-stills.md, build_scenes.py)
→ リント → レンダリング → モーション+音声 QA (scripts/motion_check.py, コンタクトシート)
順序が重要:音声を先に、ビジュアルは後
コンポジションを構築したりキーフレームを収集する前に、ナレーションを生成し文字起こしを行ってください。発話された文の境界がそのままシーンウィンドウになります。v3の読み上げはペーシングが非決定論的であり、120秒の見積もりが実際には100秒や166秒になることがあるため、先にビジュアルを構築すると、後で必ずタイミングの再調整が必要になります。
ナレーション — ElevenLabs v3とオーディオタグ
scripts/tts_v3.py — 標準ライブラリのみで動作し、pip依存関係はありません。APIキーは $ELEVENLABS_API_KEY またはプラグインの skills/video-use/.env から読み取ります。
python3 scripts/tts_v3.py --probe # eleven_v3の確認+音声一覧表示
python3 scripts/tts_v3.py --voice <id> --stability 0.0 --script SCRIPT.md --out narration.mp3
- オーディオタグはスクリプトテキスト内に記述します:
[excited]、[whispers]、[softly]、[dramatic tone]、[warmly]。v3はこれらを実行し、v2は無視します。 - 安定性:
0.0= クリエイティブ(最大表現力)、0.5= ナチュラル、1.0= ロバスト。読み上げが「フラット」な場合は、語彙を強くするのではなく、安定性を下げてスクリプトにタグを再設定することで修正します。 - 演出のレバー:強調したい単語を大文字で、
...で劇的な間、コントラスト(大きなセリフの直前に[whispers]に切り替え)。 - 最初の文で2〜3の音声を試聴してから決定します。最初の音声が採用になることはまずありません。
- v3はわずかに言い換えることがあります。結果を文字起こしして読み、キーとなるラインがずれていたら再生成してください。
任意のソースからの静止画
キーフレームは単なるPNGファイルです。パイプラインはそのソースを気にしません。シーンごとに1枚の静止画を kf-NN.png という名前で用意し、シーンマニフェストにリストします(スキーマは recipes/04-animate-stills.md に記載)。使用可能なソース:
- AI画像生成ツール — すでに持っているテキスト-to-画像ツール(Gemini、 GPT画像生成、Midjourney、ローカルSD、またはホステッドアクター — 最後のオプションセクションを参照)。シーンごとのプロンプトに、固定したスタイルサフィックスを付けて生成します。
- スクリーンショットと写真 — 製品UIのキャプチャ、アーカイブ資料、スキャン、 実際の写真。ケンバーンズ効果はこのために発明されました。
- HyperFramesでレンダリングしたHTML — スタイル付きHTMLフレームを構築してスナップショットを撮影します。エンジンはそれ自身の静止画を生成します。
ソースに関わらず守るべきルール:
- 1つのスタイルに固定し、DESIGN.mdに記述してすべてのフレームに適用します。フレーム間でスタイルがずれると、モーションやグレーディングが適用されたときに別のショットとして認識されます。
- ファイルタイプを確認する。 一部のツールは.pngという名前のJPEGを提供します。コンポジションの前にマジックバイトを確認してください(
file kf-01.png)。 - すべてのフレームをQAする(画像を読むこと)。スタイルから外れたフレームが1つある場合は、保持せずに再生成します。確認事項:テキストのアーティファクト、透かし、時代錯誤、クローズアップ顔(ずれのリスク)、間違ったパレット。
- 名前付き知的財産や実在の人物の肖像を公開投稿用の生成フレームに使用しないでください。
アニメーション — 決定論的、リポジトリ内
静止画はanimate-stillsレシピ(recipes/04-animate-stills.md)によって動きになります。これはマニフェスト駆動型のHyperFramesコンポジションであり、各静止画にカメラ言語(プッシュイン、ドリフト、ホールド)とGSAPアトモスフィア(霧、雨、光の変化、ビネット)を適用し、シーンウィンドウはトランスクリプトにロックされます。scripts/build_scenes.py がマニフェストからシーンレイヤーを生成し、scripts/motion_check.py がレンダリング出力のピクセル差分によって実際のモーションを証明します。毎回同一にレンダリングされ、コストはかからず、オフラインでも動作します。
HyperFrames CLIを使用するにはNode >= 22が必要です。
キャプションとアセンブリ
- キャプションは焼き付けられます(Reddit/Xでのミュート自動再生用)、フレーズレベル、トランスクリプトの単語からタイミングを取得。
- ストーリーの転換点ではホワイトフラッシュ(0.28秒)、その他はソフトクロスフェード。ダークビネットグレードが異なるソースの静止画を統一し、キャプションを読みやすくします。
- レンダリング内のモーションを確認:1つのシーン内で4秒離れた2フレームのピクセル差分を取ります(
scripts/motion_check.py— 平均グレー差分 > 3 で実際のモーションと判断)。 - 音声QA:
ffmpeg -af volumedetect— ドキュメンタリー音声は平均 -26 dB 付近が適切です。
オプション:ホステッド生成ツール
これらは依存関係ではありません。静止画やクリップを入手するためのいくつかの方法のうちの1つであり、予告なく利用できなくなる可能性があります。それに備えて計画してください。
- Apifyのテキスト-to-画像アクター(例:
akash9078/ai-image-generator、 ~$0.01/画像)はバッチキーフレーム生成に有効でした。サイレント障害(ok:trueだがURLがnull)や誤ったファイルタイプに注意してください。 - ホステッド画像-to-動画アクターは、このパイプラインが以前モーションステップを保持していた場所です。2026-06-11、アクター
danitn11/wan22-lightning-image-to-video(合計2ユーザー)が上流で稼働停止し、すべての実行が即座に失敗しました。完全な分析はdocs/rca/rca-generate-footage-animation-2026-06-11.mdにあります。生成型画像-to-動画は現在、プラグ可能なBYO-keyバックエンドを持つ別のコンパニオンリポジトリに存在します。このプラグインのモーションステップは決定論的かつローカルです。