autoRecording
Webアプリを完成したデモ動画に変換します。ストーリーファイル に何を表示し、何を言うかを記述します。スクリプト群が録画、描画、エンコード、ナレーション、チェックを実行します。動画は無音またはナレーション付き(普通话、English、日本語、한국어、Deutsch、français、español、italiano、português、русский)で、ローカルモデル(GPUまたはCPU)かユーザーが提供するリモートサービスが音声を担当します。
story.py ──demo_record.py──► timeline.json + frames/*.jpg
│
demo_render.py ──► silent.mp4 (1920×1080, 60 fps)
│
demo_voice.py ──► silent-配音版.mp4 / silent-narrated.mp4 (オプション)
0. 何よりも先に確認すること
以下の質問に回答があるまで録画を開始しないでください。Claude Codeでは AskUserQuestion を使用し、Codexや他のエージェントでは平文で質問し、返答を待ってください。
- ナレーションは必要ですか? 無音動画、または音声ナレーション付き。ナレーションが不要な場合は、すべてのナレーション手順をスキップし、無音動画を成果物とします。
- ナレーションの言語(およびキャプションの言語。キャプションは読み上げる台本です):普通话 / English / 日本語 / 한국어 / Deutsch / français / español / italiano / português / русский。デフォルトはアプリとユーザーの使用言語。
- エンジン。 このマシンで実際に何ができるかを提示します。まず
python3 scripts/demo_env.pyを実行し、利用可能としてリストされたエンジンのみを提案します:- local Qwen3-TTS (本機 GPU): 最高品質。NVIDIA GPU(空きVRAM約6GB)とQwenモデルが必要。
- local Kokoro (本機 CPU): GPU不要。WindowsとmacOSで動作。中国語と英語は良好。音声は固定(クローン不可)。
- remote API: ユーザーがプロバイダー(OpenAI互換エンドポイント、セルフホストを含む、ElevenLabs、またはAlibaba DashScope Qwen-TTS)、APIキー、オプションでベースURL、モデル、音声IDを提供します。 経験則:ローカルモデルが準備済み→それを使用。ユーザーがAPIキーを提供→APIを使用。どちらもない→Kokoroのインストール(小規模ダウンロード)か無音にするかを尋ねる。
- 音声(エンジンに選択肢がある場合):3~5の音声を1行サンプル付きで提案(例:Qwen
serena/ryan、Kokorozf_039/zm_013/af_maple、OpenAIの音声ID)。適切なデフォルトを設定します。
回答をストーリーファイルに書き込みます(LANGUAGE と VOICE = {'engine': …, 'speaker': …})。これにより同じ動画を再作成できます。リモートキーはストーリーファイルに絶対に書き込まず、環境変数または demo_env.py key に保存します。
絶対に守るべきルール
- ユーザーの実際のサービスや本番データを決して録画しないでください。 ストーリーファイル内の
launch()を使用して、別のポートで独自のデータディレクトリを持つ使い捨てインスタンスを起動するか、専用のデモデータセットを使用します。アプリを分離できない場合は、確認を取ってください。 - 数値でチェックし、画像を目視で確認しないでください。
demo_render.py --checkとdemo_voice.py checkが真実の情報源です。どちらかが注意:の問題を報告している間は、動画が完成したと主張しないでください。 - 実行中のサービスに触れないでください。 選択したポートが既に使用中の場合は、別のポートを選んでください。絶対に他人のプロセスを停止しないでください。
- ナレーションはオプションであり、そのエンジンはユーザーの選択です。QwenはNVIDIA GPUが必要です。Kokoroは任意のCPUで動作します。リモートサービスはキーが必要で、キャプションをそのサービスに送信します。使用前にその旨を伝えてください。
構成
SKILL.md このファイル
scripts/demo_env.py マシンをチェック。スキルのPython環境を作成。モデルを取得。キーを記憶。
scripts/demo_record.py アプリを操作してフレームとタイムラインを録画。
scripts/demo_render.py 無音動画を描画・エンコード。数値チェック。
scripts/demo_voice.py ナレーション:ライン、アンカー、テイク、ヒア、ビルド、チェック。
scripts/demo_tts.py エンジン:Kokoro(CPU)とリモートサービス。
scripts/demo_text.py 言語ごとのキャプションの発話、カウント、比較方法。
scripts/demo_common.py 共有パス、設定、ブラウザ、シークレット。
story_template.py コピーしてアプリ用のストーリーを作成。
examples/selftest/ ページと2つのストーリー(中国語 story.py、英語 story-en.py)。
references/ 環境.md、ディレクター.md、ナレーション.md、エンジン.md
以下のコマンドはすべてこのスキルのディレクトリを基準とします。Windowsでは python3 と書かれている箇所で py -3(または python)を使用します。個人スキルとしてインストールするには、~/.claude/skills/autoDemoRecordingSkill(Claude Code)または ~/.agents/skills/autoDemoRecordingSkill(Codex)にクローンします。
1. マシンをチェック
cd ~/.claude/skills/autoDemoRecordingSkill
python3 scripts/demo_env.py # 読み取り専用:何があるか、何が不足か、入手方法、どのエンジンが話せるか
python3 scripts/demo_env.py setup # 録画/レンダリング/チェック用パッケージ(数百MB)
python3 scripts/demo_env.py setup --models # + Whisper large-v3 と CAM++ チェック(約3GB)
python3 scripts/demo_env.py setup --kokoro # + Kokoro、CPU音声(約400MB)
Qwenエンジンの場合は、CUDA torch と faster-qwen3-tts がインストールされたPython環境、および2つのQwen3-TTS 1.7Bモデルも準備します。リモートエンジンの場合は、python3 scripts/demo_env.py key openai=…(または環境変数)でキーを一度だけ記憶させます。デフォルト以外のパスは一度だけ設定します:
python3 scripts/demo_env.py set chromium=/path/to/chromium tts_python=/path/to/python \
tts_custom=/path/to/Qwen3-TTS-12Hz-1.7B-CustomVoice tts_base=/path/to/Qwen3-TTS-12Hz-1.7B-Base
スキル独自のファイルは ~/.cache/auto-demo-recording に格納されます(AUTO_DEMO_HOME で上書き可能)。references/environment.md にWindows、macOS、Linuxの詳細があります。
2. セルフテストでインストールを検証
PY=~/.cache/auto-demo-recording/venv/bin/python
S=~/.claude/skills/autoDemoRecordingSkill
$PY $S/scripts/demo_record.py --story $S/examples/selftest/story.py --work /tmp/demo-selftest
$PY $S/scripts/demo_render.py --work /tmp/demo-selftest --check
$PY $S/scripts/demo_render.py --work /tmp/demo-selftest --out /tmp/demo-selftest/selftest.mp4
$PY $S/scripts/demo_voice.py --work /tmp/demo-selftest # ナレーションが必要な場合のみ
story-en.py は英語のキャプションと英語ナレーションパスを使用する同じテストです。録画はJSONサマリー(長さ、フレーム数、ブラウザ、エラー)を出力します。selftest.mp4 は1920×1080、60fps、約64秒になるはずです。
3. ストーリーを書く
story_template.py をアプリの隣(または任意の場所)にコピーして記入します。契約は以下の通りです:
| 名前 | 説明 |
|---|---|
TITLE, SUBTITLE, CHAPTERS | 上部バンドのテキスト。チャプターはページ上にも描画されます。 |
LANGUAGE | キャプションとナレーションの言語(zh, en, ja, ko, de, fr, es, it, pt, ru) |
VIEW, DENSITY | CSSピクセル単位のページサイズとデバイススケール。幅/高さは64:31である必要があります。 |
PORT | 使い捨てインスタンスのポート |
LOOK | {'accent': '#2f6fed', 'note': '#ee5c18', 'fast': '快进'} — fast はキャプションバンドの言語で。 |
VOICE | ナレーション:engine、speaker、リモートサービスの場合は model / base_url(キーは絶対に含めない)。詳細は references/engines.md を参照。 |
READING | キャプションの読み上げ速度。デフォルトは各言語の標準値(中国語は5.5文字/秒)。 |
launch(work, port) | {'command': [...], 'url': ..., 'env': {...}, 'wipe': [...], 'cwd': ..., 'ready': ..., 'timeout': ...}、または代わりに URL を定義。 |
guard(d) | オプション。ページが想定された初期状態でない場合に早期失敗。 |
story(d) | 実際の指示:await d.say(...)、await d.click(...) など。 |
d オブジェクトはディレクターです。その完全なAPI、時間モデル、マーク/プレースのルール、一般的なパターンは references/director.md にあります。ストーリーを書く前に必ずお読みください。このファイルの残りはワークフローについてのみです。
良いストーリーのための経験則:
- キャプションはアイデア1つにつき1つ。視聴者が注目すべき点と、ページに実際に表示される結果を述べてください。
- 先に
d.say()を使用し、次にd.read()を使用してから次に進むことを推奨します。キャプションはナレーションの台本でもあります。 - キャプションは
LANGUAGEで書いてください。無音動画でも画面上で読まれるため、短く簡潔に保ってください。 - クリックには番号を付け(
await d.click(locator, '添加'))、重要なものだけをマークしてください。 - 長い待機時間は、カットする代わりに高速再生してください(
await d.until(..., speed=4))。
4. 録画
$PY $S/scripts/demo_record.py --story /path/to/story.py --work /tmp/demo-work --quick
$PY $S/scripts/demo_record.py --story /path/to/story.py --work /tmp/demo-work
--quick は高速試行です。視聴者用のポーズをスキップし、アプリの応答のみを待ちます。セレクタや状態のエラーを早期に発見するために使用します。その後、本番録画を行います。work/timeline.json は上書きされ、古いフレームは削除されます。
録画前に、スクリプトは frames ディレクトリと wipe で指定されたパスのみを消去し、ポートが空いていることを確認し、ストーリーのコマンドを起動し、アプリの応答を待ちます。アプリのログは work/server.log です。Windowsではアプリとその起動したすべてのプロセスは taskkill /T で停止されます。それ以外の環境ではプロセスグループ全体が停止されます。
5. チェックとレンダリング
$PY $S/scripts/demo_render.py --work /tmp/demo-work --check
$PY $S/scripts/demo_render.py --work /tmp/demo-work --out /tmp/demo-work/demo.mp4
--check は画像を見ずに検証します:マークされた領域が空でなく expect の色と一致すること、ラベルがページコンテンツの上に重なっていないこと、ボックスがカメラ範囲内にあること、ステップ/クリックが可視であること、キャプションが収まること、グリフがフォント内に存在すること。問題があればストーリーかタイミングを修正して再録画します。レンダリングはまた、出力フレームのサンプルを描画したフレームと比較し、work/render.json に結果を書き込みます。
ユーザーがナレーションを不要とした場合、無音動画が成果物です。ここで終了して報告してください。
6. ナレーション(依頼された場合のみ)
$PY $S/scripts/demo_voice.py --work /tmp/demo-work # 全ステップ
$PY $S/scripts/demo_voice.py lines --work /tmp/demo-work # 最初に発音/タイミングを確認
ナレーション付き動画は無音動画の隣に書き出されます:中国語の場合は <name>-配音版.mp4、その他の言語の場合は <name>-narrated.mp4。ステップは再開可能です:参照クリップ → (Qwenの場合:試用) → テイク → 音声/話者チェック → 選択/調整/ミックス → 検証。設定、発音修正、タイトなラインについては references/narration.md を、エンジン、音声、キー、コストについては references/engines.md を参照してください。最終チェックで 没有发现问题 と出力される必要があります。听写有出入 の行がある場合は、音声が別の言葉を話したことを意味します。キャプションを修正するか、say オーバーライドを追加するか、そのラインを再発声させるか、別の音声を選択してください。
7. 報告
ユーザーに出力パス(無音動画と、依頼された場合はナレーション付き動画)、長さ、解像度/fps、キャプション数/マーク数、ナレーションエンジンと音声、そしてナレーションチェック結果を提供します。残っている 注意: の警告があれば言及し、失敗したチェックを隠してはいけません。
トラブルシューティングの初手
缺 …→python3 scripts/demo_env.pyを実行し、→の行に従ってください。- ポートが既に使用中 → ストーリーファイルの
PORTを変更してください。既存のサービスを停止しないでください。 点不到这个元素→ 要素が隠れているか画面外にあります。先にスクロール/ズームするか、別のターゲットを選んでください。- ページ幅が合わない → ページが
VIEWでレスポンシブではありません。VIEWかページを調整し、64:31の比率を維持してください。 - ナレーションのラインがタイトすぎる → そのキャプションを短くするか、より多くの時間を与えてから再録画してください。
Kokoro 的词表里没有这些词→ それらの単語はKokoroでスキップされます。キャプションのスペルでVOICE['say']に追加するか(例:`