Automatic storyteller animate
音声ファイルとスクリプトを与えるだけで、タイミング、レイアウト、レンダリング、カット、キャプション、サウンド、ミックス、QAまで、フィルム全体を自動で完成させます。手動でのストーリーボード、シーンコード、編集タイムラインは一切不要です。
python scripts/run.py --project my-film --voice voice.mp3 --script script.md
この1つのコマンドでパイプライン全体が実行され、my-film/out/FILM.mp4、my-film/out/FILM.srt(captioned.mp4の横)、credits.md、beats.json、plan.json、beats.md、out/qa/内のレビュースチル、およびすべての中間ファイルが生成されます。
開始前の前提条件チェック(自動)
すべての実行は、check_requirements.pyから始まります。利用可能なすべてのツールがインストールされていれば、セットアップ不要で制作が即座に開始されます。何か不足しているものがあれば、自動的にダウンロード/インストールされ、その後制作が続行されます。
以下の順序でチェックされます:
- Python 3.8以上
- Pythonパッケージ — numpy、skia-python、Pillow、faster-whisper — 不足していればpipで自動インストール
- ffmpeg + ffprobeがPATH上にあること — 不足していれば
winget(Windows)、brew(macOS)、apt-get(Linux)で自動インストール - cinematic-film(このスキルの隣、または
CINEMATIC_SCRIPTS=<そのスクリプトへのパス>で指定)
すべて揃っていれば、1行 — requirements: ok — と表示され、ビルドが開始されます。Pythonパッケージがインストールできない場合、スクリプトは修正コマンドを正確に表示して終了し、失敗が確実なビルドは開始しません。cinematic-filmが見つからない場合も同様に、不足しているものと設定すべき内容が正確に表示されます。
生成されるもの(ルック)
2つのビジュアル言語が、ブロックごとにディレクターによって決定され、3〜10秒ごとにハードに切り替わります:
- Board - 全面ブループリントシート。単語は暗い青いグリッド上に手描きのチョークタイポグラフィで表示され、スケッチ長方形のコールアウトボックス、よれよれのストローク、らくがきコードウィンドウ、チェックマーク、区切り線、そしてコードで描かれたネオンアイコン(2回のグローパス+ホットコア)が含まれます。
- Photo - cinematic-filmの夜の証拠壁:実際のライセンス済みWikimedia Commons写真がドロップシャドウとピンで固定され、タイプセットされた紙文書、ジッター付きハイライトルール、輝くネオンアイコンが表示され、すべて
credits.mdでクレジットされます。
キャプションは下部中央で、下端に接して配置され(720pで6px、解像度に応じてスケーリング)、大文字で、9種類のシードされたキャンディインクのいずれかを使用し、イージングされた出現(ライズ/ポップ/スライド/ティルト/フェード/ワイプ/スタガー)と終了(フェード/ドロップ/ライズアウト/シュリンク)、3パスのブルームハロー、発話中の単語には虹色グラデーションスイープ(ネオンチューブ風白色ストローク)が施されます。バンドの背後にあるグラデーションにより、どのような背景でも読みやすさが確保されます。テキストは音声を正確に反映します。
新規プロジェクト vs. 再開
- 新規プロジェクト:音声とスクリプトを与えると、スキルがすべてを構築します。
python scripts/run.py --project my-film --voice voice.mp3 --script script.md - 再開:すでに
out/FILM.mp4(およびplan/photos)が存在するプロジェクトで再実行すると、QAのみで再検証が行われ、ダウンロードや再レンダリングは行われません。最初から再構築するには--forceを追加します。
入力
--voice:ffmpegが読み取れる任意のオーディオファイル(mp3/wav/m4a...)。クリーンなワンテイクナレーションで最良の結果が得られます。そのまま使用され、48 kHzステレオAACに変換されるのみです。--script:.md/.txt/.srt/.json。Markdownの見出しは画面上のセクションキッカーになります。空白行と段落は文に分割され、さらにキャプションチャンク(<= 9単語 / <= 64文字)に分割されます。画面上のテキストはファイル内のテキストをそのまま表示します。script.jsonに{"title": ..., "takes": [...]}がある場合、それが優先されます。
オプション
| フラグ | 効果 |
|---|---|
--size 1920x1080 | レンダリングサイズ(デフォルト 1920x1080) |
--crf 16 | 品質(低いほど高品質、16: フィルム、26: プレビュー) |
| `--photos auto | existing |
| `--music auto | none |
--model tiny.en | アラインメント用のfaster-whisperサイズ(base.en/small.enの方が正確) |
--preview | ブロック0-1のみを640x360でレンダリングし、高速確認 |
--skip-render | 再計画のみ(レンダリングなし) |
--workers WORKERS | レンダリング+キャプションのワーカー数(0 = 全コアマイナス1) |
--force | 完成したout/FILM.mp4が既に存在しても再構築 |
パフォーマンスと安全性
- プロダクションキャッシュ:
E:\Storyteller catche files(STORYTELLER_CACHEで上書き可能)。すべての重いアーティファクトはコンテンツハッシュの下にキャッシュされるため、後続ステージの再実行や調整は変更があった部分のみをやり直します:
| フォルダ | キャッシュ対象 | キー |
|---|---|---|
whisper/ | faster-whisperの単語タイミング | 音声ファイル + モデル + デバイス |
commons_search/ | Commons検索結果セット | クエリ + 上限 |
commons_files/ | ダウンロードされたCommonsオリジナル + クレジットサイドカー | Commonsタイトル |
blocks/ | レンダリングされたスタイルブロック | シーン + ビート + ブロックジオメトリ + サイズ + CRF |
silent/ | ステッチされた無声フィルム | ブロックファイル + CRF + fps |
captioned/ | キャプション付きフィルム + SRT | ビデオ + タイミング + キャプションコード + CRF |
sfx/ | 合成されたSFXバス | キューシート + build_sfx.py |
music/ | ループされたスコアベッド | スコアファイル + フィルム長 |
mix/ | 完成したオーディオミックス | 音声 + キュー + 音楽 + レベル + LUFS |
ファイルは<label>-<hash12>.<ext>の名前で保存され、種類別にソートされ(sortリストで自然に読める)、追記専用のindex.jsonlマニフェストとルートのREADME.txtが含まれます。キャッシュミスは自動的に再構築されます。キャッシュの削除は常に安全です。変更のないステージの完全な再実行は数秒で完了します(whisper/blocks/stitch/captions/sfx/mixのすべてがヒット)。
- 各ブロックは個別にレンダリングされ、フレーム精度の
concatフィルタでステッチされます。スクリプト編集後の再実行は、プランが変更されたブロックのみを再レンダリングします(render_blocks.pyは新しいブロックファイルを再利用し、さらにプロダクションキャッシュを2番目のレイヤーとして使用します)。 - 12コア / 十分なRAM:
--workers 6を使用。3分の1080pフィルムで約15〜30分です。 - ユーザーが要求するまでは最終フィルムをレンダリングしない:最初に
--previewまたは小さい--sizeを使用して表示し、それからフルサイズのFILM.mp4を生成します。 - Whisper tiny.enはCPU上で約1倍速です。長い行でタイミングがずれる場合は
--model base.enを使用します。
ディレクターの役割
各キャプション行は1つのビートになります。ビートはその単語から選択された1つのレイアウトを正確に取得します:
| レイアウト | トリガー | 描画 |
|---|---|---|
title / end | 最初の2行 / 最後の2行 | ネオンアイコン+大きなチョークタイトル(タイトル = その行の内容語のタイトルケース) |
chain | first/second/then/process/pipeline | 矢印付きの3つのスケッチボックス |
split | before/after/versus/compared/instead | 破れた仕切りの両側にある2つのラベル付きフレーム |
window | code/script/terminal/agent/model/server | らくがき行とハイライト行を含む手描きのターミナルウィンドウ |
check | protect/patch/secure/prevent/never | リストに沿ったチョークのチェックマーク |
stat | 任意の数字 | 巨大で輝く数字 |
quote | その他すべて / 質問 | チョークのプルクオート |
| 写真バリアント | 1つおきのブロック | station(写真+カード)、doc(紙文書+スタンプ)、stat |
連続する行(1〜4行、最大約9秒、文の終わりで区切る)はブロックにグループ化され、ブロックはフィルム全体でboard/photoを交互に繰り返します。最初と最後のブロックは常にboardです。
書き出されるファイル
audio/narration.m4a ノーマライズされた音声
audio/timing.json 行ごとの開始/終了(エンジンスキーマ)
script.json 発話順のテイク、ID順は保持
beats.json 行ごと:開始/終了/レイアウト/キッカー/ヘッドライン/ポイント/番号/アイコン/インク/写真/x
plan.json ブロック(スタイル、フレーム範囲、ワールドx)、fps、期間
beats.md 全体プランの人間用テーブル
sfx_cues.json build_sfx.py用の合成効果
photos.json Commonsの選択結果(ライセンス/クレジット/ソース)
out/blocks/bNNN.mp4 スタイルブロックごとの1クリップ
out/silent.mp4 ステッチされた映像
out/captioned.mp4 + 焼き付けられたネオンキャプション(+ .srt)
out/FILM.mp4 最終版、混合オーディオ付き
out/qa/*.png レビュースチル
credits.md 画像+音楽のクレジット
QAゲート(scripts/qa.py、run.pyによって自動実行)
フレーム数がtiming.total_duration * fpsと一致しない、オーディオストリームがない/欠落している、ラウドネスが-15 +/- 1.5 LUFSの範囲外、トゥルーピークが-0.8 dBTPを超える、キャプションチャンクが表示されない、キャプションベースラインがフレーム高さの8.5 %を超えて下端より上にある場合、ビルドは失敗します。
コンパニオンスキル(制作を実際に完了する方法)
このスキルは、教育/解説者フィルムワークフロー(「AIエクスプロイトエージェントのようなビデオ」)専用のオーケストレーターです。制作を完了するために2つのコンパニオンスキルを駆動します — これまでのフィルムとまったく同じ方法で。これらのスキルを直接呼び出すことはありません。run.pyとqa.pyが行います。絶対的なルール:このスキルを機能させるために、コンパニオンスキルや他のプロジェクト(例:C:\remotion-build\dark-reality-explainer)を編集しないでください。それらをそのままの状態で駆動します。すべてのオーケストレーションロジック、キャッシュ、QA、スタイル決定はこのスキルに存在します。
1. cinematic-film — 世界、写真、サウンド(必須、ハード依存)
このスキルの隣に配置されます(CINEMATIC_SCRIPTS=<そのスクリプトディレクトリへのパス>で上書き可能)。以下から呼び出されます:
| スクリプト | 使用元 | このフィルムのために行うこと |
|---|---|---|
prep_assets.py | prepステージ | Commons写真を白黒ルックにグレーディングし(`--grade bw |
fetch_commons.py | fetch_photos.py | ライセンスされたオリジナルをダウンロードし(get)、ファイル/クレジット/ライセンスを埋め、credits.mdを書き込み(credits) |
render.py | render_blocks.py | --t0/--t1を使用して各スタイルブロックをレンダリングし、ボード/フォトの世界、カメラ、フレームごとのすべてのアイテムを描画 |
engine.py | storyboard.py、すべてのレンダリング | ワールドモデル:Film、カメラキー、Board、PaperDoc、StylePanel、スプラインカメラ |
captions.py | captions_burn.py | ホットワードのタイミングに使用されるワードクロック(words_with_times) |
build_sfx.py | audio_finish.py | sfx_cues.jsonからエフェクトバスを合成(ライセンスが必要なサンプルライブラリは不要) |
mix_soundtrack.py | audio_finish.py | 音声 + SFX + スコア:SFX -19 dB、音楽 -18 dB、4:1 ダッキング、-15 LUFS / -1.5 dBTP マスター |
エンゲージメントルール:このスキルのためにそのスクリプトを編集しないでください — 動作変更はstoryboard.py / render_blocks.py / ここに属します。そのCLI契約(--t0/--t1、fetch_commons get|credits、mix_soundtrack --lufs)はプロダクションキャッシュがハッシュするものです。cinematic-filmが変更された場合、ここでステージを更新し、E:\Storyteller catche filesを削除して、古いヒットが残らないようにします。
2. remotion-studio — ブラウザプレビュー / 操作(オプション、レビューのみ)
npx remotion studio(表示されたURLを開くか、--no-openを使用して自分でURLを開きます)。
正直な範囲、時間の無駄を避けるため:StudioはRemotionコンポジションのみをプレビューします — Remotionプロジェクトに登録されたReactコンポーネント。このスキルの完成したマスター(out/FILM.mp4はskia/ffmpegレンダリングであり、Remotionプロジェクトではありません。AIアタックフィルムも同様です)を再生することはできません。納品物がRemotionプロジェクトとしても存在し、編集しながらのプレビュー(またはRemotionベースのバリアントの操作)が必要な場合に使用します。このスキル自身の出力をレビューするには、out/FILM.mp4 / out/preview_captioned.mp4とout/qa/のスチルを使用してください — Studioには接続するものがありません。
制作レシピ(前回と同様に、3つのスキルすべてがフィルムを完成させる方法)
- 音声 + スクリプト ->
run.py --preview(2ブロック、640x360、約2分)。ルック、board/photoのリズム、キャプションサイズと下端配置、qa.pyがPASSを返すことを確認。 - 完全なプラン — インジェスト(whisperアラインメント) -> ディレクター(ビート、レイアウト、スタイルの交互配置) -> Commons写真(無料ライセンス、
credits.mdにクレジット) -> 準備(bwグレード) -> シーン -> キュー。 - レンダリング — 各ブロックを1080pで個別にレンダリングし、
E:\Storyteller catche filesのプロダクションキャッシュを介して再利用。 - 仕上げ — ステッチ(concatフィルタ) -> 下端配置のネオンキャプション -> SFX -19 dB / スコア -18 dB、ダッキング、-15 LUFS マスター。
- レビュー —
out/FILM.mp4を再生。out/qa/にスチルが保存されます。Remotionパッケージング/レビューステップが必要な場合、そのRemotionプロジェクトをremotion studioで開き、そこでロードされることを確認します。 - 納品 —
FILM.mp4+FILM.srt+credits.md。アップロード/エクスポートはこのスキルの外部で行われます。
制作のSRT / 配布面
qa PASS後:out/captioned.srtはout/captioned.mp4の横に配置されます(仕上げステップでFILM.mp4の横にコピーできます)。ソーシャルバリアント(9:16の再カット、プラットフォームエクスポート、サムネイルステージング)には、このスキルで再レンダリングするのではなく、配布スキルを使用します — このスキルは16:9のマスターのみを生成します。
要件
開始前の前提条件チェックを参照:Python 3.8以上、numpy、skia-python、Pillow、faster-whisper、ffmpeg/ffprobeがPATH上にあること、およびこのスキルの隣にcinematic-filmスキルがあること(CINEMATIC_SCRIPTSで上書き可能)。チェックは各実行の開始時に自動的に実行されます。
既知の制限
- アラインメントはデフォルトでwhisper tiny.enを使用します。不明瞭なテイクではタイミングがずれる可能性があります。