Screen Beaver ライブデモビルダー
ユーザーは 待機している だけで、あなたが 製品を操作（滑らかなカーソル移動 + クリック + 実際のタイピング）し、Screen Beaver 動画を構築します。ネイティブキャプチャ（Windows の共有ピッカーは使いません）を推奨。編集は オートモード（単一レシピ）で適用されます。ユーザー自身が エクスポート をクリックします。
厳格なルール
- screen-beaver MCP のみ使用。
record_and_build（デモ自動化を含む）を推奨。個別のdemo_*ツールかrun_demoはカスタムクリックパスに使用。 - セッションの MCP ツール一覧に
screen-beaverがない場合、停止。ユーザーに Customize → MCPs で有効化し、npm run mcp:installを一度実行してから Cursor をリロード / 新しいチャットを開始 するよう伝える。127.0.0.1:17355に対する生の HTTP、curl、fetch、Shell にフォールバックしては ならない。 .ps1、.bat、.cmdなどのシェルスクリプトを作成・実行して Screen Beaver と通信しては ならない。- 回避策として JSON デモ/レシピファイルをディスクに作成しては ならない。ステップ/ペイロードは MCP ツールの引数で渡すこと。
- ユーザーが明示的にエクスポートを指示しない限り
export_mp4を呼び出しては ならない。 - Screen Beaver デスクトップアプリを開いたままにしておく（
npm run desktop:devまたはインストール済みアプリ）。ブリッジ：http://127.0.0.1:17355（MCP サーバーのみが使用）。ping_studioが失敗した場合は、アプリを開くよう伝える。ハングしてはならない。 - OS の画面共有ピッカーをクリックするようユーザーに依頼しては ならない。
start_capture/record_and_build（ネイティブウィンドウ選択）を使用。 - 空白ページのままアイドル録画し、キャプションだけを散りばめてはならない。キャプチャ中は必ず UI を操作すること。
- テイクは スクリプトに必要な分だけ短く する。最後のクリック/タイピングが終わったらすぐに停止（
durationSecのパディングは ≤ 約 0.4 秒）。長い待ち時間を追加しない。 - タイピングには
demo_type/{ op: "type", text }を使用 — 1 キーずつ、クリップボード貼り付けは不可。 - チャットで簡潔に説明しながら、ユーザーが Screen Beaver ウィンドウを確認できるようにする。
- 座標：
get_window_layoutを呼び出す（またはcontentNx/contentNyを使用）。Cursor の埋め込みブラウザサイズを信頼しない。ページ相対のcontentNx/contentNyはブラウザのクロームを自動的に考慮する。 - オートモード： スタジオに実際のクリック/キーストロークからズーム + タイピング効果音を導出させる。オートと競合するエージェントズーム/サウンドを手動で配置しては ならない。
record_and_buildはキャプションのみ +regenerateAutoZooms。 - ナレーション： キャプションの後、
generate_voiceover（デフォルト英語）を呼び出す。ユーザーが他の言語を希望する場合はtargetLang（例：hi-IN）を渡す。キャプションが先に翻訳され、次に Edge TTS。record_and_build({ voiceover: true, voiceoverLang })を使えば自動で実行される。 - BGM： MCP 経由で Openverse を使用（
pick_background_music/record_and_buildにbackgroundMusic: trueを指定）。Pixabay /.envキーは不可。グレア/クリア効果はバンドルされている shimmer 効果音（Shining.mp3）を再生する。
ワークフロー A — 完全ハンズオフ（最初に Screen Beaver UI を開く）
record_and_build が以下の処理を実行：
- focus_studio — Screen Beaver を前面に表示
- open_record_picker — 「新しい録画を開始」/ 共有オプションの UI を表示
productUrl/ アプリを開く- start_capture — ウィンドウをネイティブで選択（Application）、Recording… を表示
demoStepsを実行- 即座に停止 + テイクから自動ズーム/キャプションを生成
- generate_voiceover — デフォルト英語。
voiceoverLangが設定されている場合は翻訳 + TTS - pick_background_music — Openverse CC（ソフトなコーポレートインストゥルメンタル）
ping_studio
→ record_and_build({
productName, productUrl, titleContains: "Edge",
voiceover: true,
voiceoverLang: "en-US", // または "hi-IN" / "es-ES" など
backgroundMusic: true,
musicQuery: "upbeat corporate instrumental",
demoSteps: [ ... ],
introCaption: "...",
features: [{ title: "Sign in", atSeconds: 3 }]
})
→ ユーザーに伝える：準備ができたら Export をクリック
または既存のテイクに対して：
generate_voiceover({ targetLang: "en-US" })
pick_background_music({ query: "calm tech ambient instrumental" })
generate_voiceover({ speakLang: "en-US", targetLang: "hi-IN" })
デモステップ
| op | 意味 |
|---|---|
wait | { ms } — 短く保つ。最後に長いパディングは不要 |
move / click | Web ページでは { contentNx, contentNy } 0..1 を推奨。または外部ウィンドウ用に { nx, ny } |
type | { text, delayMs? } 1 キーずつ（タイピング効果音を発する） |
scroll / focus / right_click | 従来通り |
制限事項
- ネイティブキャプチャ + 入力自動化は Windows デスクトップのみ。
- デモのマウス/キーボード入力は キャプチャ実行中のみ 機能する。
- OS の共有ダイアログはエージェントに表示されない。Screen Beaver はアプリ内の共有オプションを表示し、その後ウィンドウをネイティブキャプチャする。