Communitygithub.com

automatic-storyteller-animate

エージェントが「オートマチック・ストーリーテラー・アニメート」を計画、構築、または編集して、最終的なビデオ作品を完成させる方法を示します。この手順は、オートマチック・ストーリーテラー・アニメート、開始前の前提条件チェック(自動)、生成されるもの(ルック)を通じて進行します。新しいタスクでこの技術が必要な場合に使用します。

automatic-storyteller-animate とは?

このスキルは、1つのナレーションファイルと1つのスクリプトファイルから、完全なナレーション付きシネマティックフィルムを自動生成します。手動によるストーリーボードは不要で、音声の文字起こし、各キャプション行のタイミング設定、行ごとのレイアウト選択(手描きチョークのブループリントホワイトボードスケッチと、Wikimedia Commonsの実際の写真を使用した暗い証拠壁を交互に配置)、各スタイルブロックのレンダリング、フレーム単位でのカット、ネオンキャプションの焼き付け、ワードシンク効果音のミキシング、LUFSノーマライゼーション、QAチェックを自動で行います。主に教育用・解説用フィルム作成を目的としており、「声とスクリプトから映画を作る」「ナレーションをビデオにする」「AIエクスプロイトエージェント風の動画」などのリクエストに対応します。処理はPythonスクリプト `scripts/run.py` を介して実行され、依存関係の自動チェックとインストール、制作キャッシュによる効率的な再実行、2つのコンパニオンスキル(cinematic-filmとremotion-studio)との連携により、高品質なビデオ制作を実現します。最終出力は16:9のマスターファイルで、SRT字幕とクレジットファイルが付属します。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/omnieditxstudio-IT/Automatic-Storytailer-Animate/tree/HEAD

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Automatic storyteller animate

音声ファイルとスクリプトを与えるだけで、タイミング、レイアウト、レンダリング、カット、キャプション、サウンド、ミックス、QAまで、フィルム全体を自動で完成させます。手動でのストーリーボード、シーンコード、編集タイムラインは一切不要です。

python scripts/run.py --project my-film --voice voice.mp3 --script script.md

この1つのコマンドでパイプライン全体が実行され、my-film/out/FILM.mp4、my-film/out/FILM.srt(captioned.mp4の横)、credits.md、beats.json、plan.json、beats.md、out/qa/内のレビュースチル、およびすべての中間ファイルが生成されます。

開始前の前提条件チェック(自動)

すべての実行は、check_requirements.pyから始まります。利用可能なすべてのツールがインストールされていれば、セットアップ不要で制作が即座に開始されます。何か不足しているものがあれば、自動的にダウンロード/インストールされ、その後制作が続行されます。

以下の順序でチェックされます:

  1. Python 3.8以上
  2. Pythonパッケージ — numpy、skia-python、Pillow、faster-whisper — 不足していればpipで自動インストール
  3. ffmpeg + ffprobeがPATH上にあること — 不足していればwinget(Windows)、brew(macOS)、apt-get(Linux)で自動インストール
  4. cinematic-film(このスキルの隣、またはCINEMATIC_SCRIPTS=<そのスクリプトへのパス>で指定)

すべて揃っていれば、1行 — requirements: ok — と表示され、ビルドが開始されます。Pythonパッケージがインストールできない場合、スクリプトは修正コマンドを正確に表示して終了し、失敗が確実なビルドは開始しません。cinematic-filmが見つからない場合も同様に、不足しているものと設定すべき内容が正確に表示されます。

生成されるもの(ルック)

2つのビジュアル言語が、ブロックごとにディレクターによって決定され、3〜10秒ごとにハードに切り替わります:

  • Board - 全面ブループリントシート。単語は暗い青いグリッド上に手描きのチョークタイポグラフィで表示され、スケッチ長方形のコールアウトボックス、よれよれのストローク、らくがきコードウィンドウ、チェックマーク、区切り線、そしてコードで描かれたネオンアイコン(2回のグローパス+ホットコア)が含まれます。
  • Photo - cinematic-filmの夜の証拠壁:実際のライセンス済みWikimedia Commons写真がドロップシャドウとピンで固定され、タイプセットされた紙文書、ジッター付きハイライトルール、輝くネオンアイコンが表示され、すべてcredits.mdでクレジットされます。

キャプションは下部中央で、下端に接して配置され(720pで6px、解像度に応じてスケーリング)、大文字で、9種類のシードされたキャンディインクのいずれかを使用し、イージングされた出現(ライズ/ポップ/スライド/ティルト/フェード/ワイプ/スタガー)と終了(フェード/ドロップ/ライズアウト/シュリンク)、3パスのブルームハロー、発話中の単語には虹色グラデーションスイープ(ネオンチューブ風白色ストローク)が施されます。バンドの背後にあるグラデーションにより、どのような背景でも読みやすさが確保されます。テキストは音声を正確に反映します。

新規プロジェクト vs. 再開

  • 新規プロジェクト:音声とスクリプトを与えると、スキルがすべてを構築します。
    python scripts/run.py --project my-film --voice voice.mp3 --script script.md
    
  • 再開:すでにout/FILM.mp4(およびplan/photos)が存在するプロジェクトで再実行すると、QAのみで再検証が行われ、ダウンロードや再レンダリングは行われません。最初から再構築するには--forceを追加します。

入力

  • --voice:ffmpegが読み取れる任意のオーディオファイル(mp3/wav/m4a...)。クリーンなワンテイクナレーションで最良の結果が得られます。そのまま使用され、48 kHzステレオAACに変換されるのみです。
  • --script:.md / .txt / .srt / .json。Markdownの見出しは画面上のセクションキッカーになります。空白行と段落は文に分割され、さらにキャプションチャンク(<= 9単語 / <= 64文字)に分割されます。画面上のテキストはファイル内のテキストをそのまま表示します。script.jsonに{"title": ..., "takes": [...]}がある場合、それが優先されます。

オプション

フラグ効果
--size 1920x1080レンダリングサイズ(デフォルト 1920x1080)
--crf 16品質(低いほど高品質、16: フィルム、26: プレビュー)
`--photos autoexisting
`--music autonone
--model tiny.enアラインメント用のfaster-whisperサイズ(base.en/small.enの方が正確)
--previewブロック0-1のみを640x360でレンダリングし、高速確認
--skip-render再計画のみ(レンダリングなし)
--workers WORKERSレンダリング+キャプションのワーカー数(0 = 全コアマイナス1)
--force完成したout/FILM.mp4が既に存在しても再構築

パフォーマンスと安全性

  • プロダクションキャッシュ:E:\Storyteller catche files(STORYTELLER_CACHEで上書き可能)。すべての重いアーティファクトはコンテンツハッシュの下にキャッシュされるため、後続ステージの再実行や調整は変更があった部分のみをやり直します:
フォルダキャッシュ対象キー
whisper/faster-whisperの単語タイミング音声ファイル + モデル + デバイス
commons_search/Commons検索結果セットクエリ + 上限
commons_files/ダウンロードされたCommonsオリジナル + クレジットサイドカーCommonsタイトル
blocks/レンダリングされたスタイルブロックシーン + ビート + ブロックジオメトリ + サイズ + CRF
silent/ステッチされた無声フィルムブロックファイル + CRF + fps
captioned/キャプション付きフィルム + SRTビデオ + タイミング + キャプションコード + CRF
sfx/合成されたSFXバスキューシート + build_sfx.py
music/ループされたスコアベッドスコアファイル + フィルム長
mix/完成したオーディオミックス音声 + キュー + 音楽 + レベル + LUFS

ファイルは<label>-<hash12>.<ext>の名前で保存され、種類別にソートされ(sortリストで自然に読める)、追記専用のindex.jsonlマニフェストとルートのREADME.txtが含まれます。キャッシュミスは自動的に再構築されます。キャッシュの削除は常に安全です。変更のないステージの完全な再実行は数秒で完了します(whisper/blocks/stitch/captions/sfx/mixのすべてがヒット)。

  • 各ブロックは個別にレンダリングされ、フレーム精度のconcatフィルタでステッチされます。スクリプト編集後の再実行は、プランが変更されたブロックのみを再レンダリングします(render_blocks.pyは新しいブロックファイルを再利用し、さらにプロダクションキャッシュを2番目のレイヤーとして使用します)。
  • 12コア / 十分なRAM:--workers 6を使用。3分の1080pフィルムで約15〜30分です。
  • ユーザーが要求するまでは最終フィルムをレンダリングしない:最初に--previewまたは小さい--sizeを使用して表示し、それからフルサイズのFILM.mp4を生成します。
  • Whisper tiny.enはCPU上で約1倍速です。長い行でタイミングがずれる場合は--model base.enを使用します。

ディレクターの役割

各キャプション行は1つのビートになります。ビートはその単語から選択された1つのレイアウトを正確に取得します:

レイアウトトリガー描画
title / end最初の2行 / 最後の2行ネオンアイコン+大きなチョークタイトル(タイトル = その行の内容語のタイトルケース)
chainfirst/second/then/process/pipeline矢印付きの3つのスケッチボックス
splitbefore/after/versus/compared/instead破れた仕切りの両側にある2つのラベル付きフレーム
windowcode/script/terminal/agent/model/serverらくがき行とハイライト行を含む手描きのターミナルウィンドウ
checkprotect/patch/secure/prevent/neverリストに沿ったチョークのチェックマーク
stat任意の数字巨大で輝く数字
quoteその他すべて / 質問チョークのプルクオート
写真バリアント1つおきのブロックstation(写真+カード)、doc(紙文書+スタンプ)、stat

連続する行(1〜4行、最大約9秒、文の終わりで区切る)はブロックにグループ化され、ブロックはフィルム全体でboard/photoを交互に繰り返します。最初と最後のブロックは常にboardです。

書き出されるファイル

audio/narration.m4a   ノーマライズされた音声
audio/timing.json     行ごとの開始/終了(エンジンスキーマ)
script.json           発話順のテイク、ID順は保持
beats.json            行ごと:開始/終了/レイアウト/キッカー/ヘッドライン/ポイント/番号/アイコン/インク/写真/x
plan.json             ブロック(スタイル、フレーム範囲、ワールドx)、fps、期間
beats.md              全体プランの人間用テーブル
sfx_cues.json         build_sfx.py用の合成効果
photos.json           Commonsの選択結果(ライセンス/クレジット/ソース)
out/blocks/bNNN.mp4  スタイルブロックごとの1クリップ
out/silent.mp4        ステッチされた映像
out/captioned.mp4     + 焼き付けられたネオンキャプション(+ .srt)
out/FILM.mp4          最終版、混合オーディオ付き
out/qa/*.png          レビュースチル
credits.md            画像+音楽のクレジット

QAゲート(scripts/qa.py、run.pyによって自動実行)

フレーム数がtiming.total_duration * fpsと一致しない、オーディオストリームがない/欠落している、ラウドネスが-15 +/- 1.5 LUFSの範囲外、トゥルーピークが-0.8 dBTPを超える、キャプションチャンクが表示されない、キャプションベースラインがフレーム高さの8.5 %を超えて下端より上にある場合、ビルドは失敗します。

コンパニオンスキル(制作を実際に完了する方法)

このスキルは、教育/解説者フィルムワークフロー(「AIエクスプロイトエージェントのようなビデオ」)専用のオーケストレーターです。制作を完了するために2つのコンパニオンスキルを駆動します — これまでのフィルムとまったく同じ方法で。これらのスキルを直接呼び出すことはありません。run.pyとqa.pyが行います。絶対的なルール:このスキルを機能させるために、コンパニオンスキルや他のプロジェクト(例:C:\remotion-build\dark-reality-explainer)を編集しないでください。それらをそのままの状態で駆動します。すべてのオーケストレーションロジック、キャッシュ、QA、スタイル決定はこのスキルに存在します。

1. cinematic-film — 世界、写真、サウンド(必須、ハード依存)

このスキルの隣に配置されます(CINEMATIC_SCRIPTS=<そのスクリプトディレクトリへのパス>で上書き可能)。以下から呼び出されます:

スクリプト使用元このフィルムのために行うこと
prep_assets.pyprepステージCommons写真を白黒ルックにグレーディングし(`--grade bw
fetch_commons.pyfetch_photos.pyライセンスされたオリジナルをダウンロードし(get)、ファイル/クレジット/ライセンスを埋め、credits.mdを書き込み(credits)
render.pyrender_blocks.py--t0/--t1を使用して各スタイルブロックをレンダリングし、ボード/フォトの世界、カメラ、フレームごとのすべてのアイテムを描画
engine.pystoryboard.py、すべてのレンダリングワールドモデル:Film、カメラキー、Board、PaperDoc、StylePanel、スプラインカメラ
captions.pycaptions_burn.pyホットワードのタイミングに使用されるワードクロック(words_with_times)
build_sfx.pyaudio_finish.pysfx_cues.jsonからエフェクトバスを合成(ライセンスが必要なサンプルライブラリは不要)
mix_soundtrack.pyaudio_finish.py音声 + SFX + スコア:SFX -19 dB、音楽 -18 dB、4:1 ダッキング、-15 LUFS / -1.5 dBTP マスター

エンゲージメントルール:このスキルのためにそのスクリプトを編集しないでください — 動作変更はstoryboard.py / render_blocks.py / ここに属します。そのCLI契約(--t0/--t1、fetch_commons get|credits、mix_soundtrack --lufs)はプロダクションキャッシュがハッシュするものです。cinematic-filmが変更された場合、ここでステージを更新し、E:\Storyteller catche filesを削除して、古いヒットが残らないようにします。

2. remotion-studio — ブラウザプレビュー / 操作(オプション、レビューのみ)

npx remotion studio(表示されたURLを開くか、--no-openを使用して自分でURLを開きます)。

正直な範囲、時間の無駄を避けるため:StudioはRemotionコンポジションのみをプレビューします — Remotionプロジェクトに登録されたReactコンポーネント。このスキルの完成したマスター(out/FILM.mp4はskia/ffmpegレンダリングであり、Remotionプロジェクトではありません。AIアタックフィルムも同様です)を再生することはできません。納品物がRemotionプロジェクトとしても存在し、編集しながらのプレビュー(またはRemotionベースのバリアントの操作)が必要な場合に使用します。このスキル自身の出力をレビューするには、out/FILM.mp4 / out/preview_captioned.mp4とout/qa/のスチルを使用してください — Studioには接続するものがありません。

制作レシピ(前回と同様に、3つのスキルすべてがフィルムを完成させる方法)

  1. 音声 + スクリプト -> run.py --preview(2ブロック、640x360、約2分)。ルック、board/photoのリズム、キャプションサイズと下端配置、qa.pyがPASSを返すことを確認。
  2. 完全なプラン — インジェスト(whisperアラインメント) -> ディレクター(ビート、レイアウト、スタイルの交互配置) -> Commons写真(無料ライセンス、credits.mdにクレジット) -> 準備(bwグレード) -> シーン -> キュー。
  3. レンダリング — 各ブロックを1080pで個別にレンダリングし、E:\Storyteller catche filesのプロダクションキャッシュを介して再利用。
  4. 仕上げ — ステッチ(concatフィルタ) -> 下端配置のネオンキャプション -> SFX -19 dB / スコア -18 dB、ダッキング、-15 LUFS マスター。
  5. レビュー — out/FILM.mp4を再生。out/qa/にスチルが保存されます。Remotionパッケージング/レビューステップが必要な場合、そのRemotionプロジェクトをremotion studioで開き、そこでロードされることを確認します。
  6. 納品 — FILM.mp4 + FILM.srt + credits.md。アップロード/エクスポートはこのスキルの外部で行われます。

制作のSRT / 配布面

qa PASS後:out/captioned.srtはout/captioned.mp4の横に配置されます(仕上げステップでFILM.mp4の横にコピーできます)。ソーシャルバリアント(9:16の再カット、プラットフォームエクスポート、サムネイルステージング)には、このスキルで再レンダリングするのではなく、配布スキルを使用します — このスキルは16:9のマスターのみを生成します。

要件

開始前の前提条件チェックを参照:Python 3.8以上、numpy、skia-python、Pillow、faster-whisper、ffmpeg/ffprobeがPATH上にあること、およびこのスキルの隣にcinematic-filmスキルがあること(CINEMATIC_SCRIPTSで上書き可能)。チェックは各実行の開始時に自動的に実行されます。

既知の制限

  • アラインメントはデフォルトでwhisper tiny.enを使用します。不明瞭なテイクではタイミングがずれる可能性があります。

関連スキル