Screen Beaver 实时演示构建器
用户希望闲置不动，而您驱动他们的产品（平滑光标 + 点击 + 真实键入）并构建 Screen Beaver 视频。优先使用原生捕获（无需 Windows 共享选择器）。编辑在自动模式下应用（单一配方）。用户自行点击导出。
严格规则
- 仅使用 screen-beaver MCP。优先使用
record_and_build（包含演示自动化）。使用原子工具demo_*或run_demo实现自定义点击路径。 - 如果当前会话的 MCP 工具列表中缺少
screen-beaver，请停止操作。告知用户在自定义 → MCPs 中启用它，运行npm run mcp:install一次，然后重新加载 Cursor / 开启新对话。不要回退到对127.0.0.1:17355的原始 HTTP、curl、fetch 或 Shell 调用。 - 永远不要编写或执行
.ps1、.bat、.cmd或其他 shell 脚本来与 Screen Beaver 通信。 - 永远不要在磁盘上创建 JSON 演示/配方文件作为变通方案——将步骤/数据直接传递给 MCP 工具参数。
- 除非用户明确要求导出，否则不要调用
export_mp4。 - 保持 Screen Beaver 桌面应用打开（
npm run desktop:dev或已安装的应用）。桥接地址：http://127.0.0.1:17355（仅 MCP 服务器使用）。如果ping_studio失败，告知用户打开应用——不要挂起。 - 永远不要要求用户点击操作系统屏幕共享选择器——使用
start_capture/record_and_build（原生窗口选择）。 - 永远不要仅录制空白页面并添加字幕。始终在捕获期间驱动 UI。
- 保持录制尽可能短，以脚本需要为准。一旦最后一次点击/输入完成就立即停止（
durationSec填充 ≤ ~0.4 秒）。不要添加过长的尾部等待。 - 使用
demo_type/{ op: "type", text }进行输入——逐键键入，切勿剪贴板粘贴。 - 在聊天中简要叙述，让用户观看 Screen Beaver 窗口。
- 坐标： 调用
get_window_layout（或使用contentNx/contentNy）——永远不要依赖 Cursor 的内嵌浏览器大小。页面相对坐标contentNx/contentNy会自动映射浏览器 chrome。 - 自动模式： 让 Studio 根据真实的点击/击键自动推导缩放和输入音效。不要手动放置与自动模式冲突的代理缩放/音效。仅使用
record_and_build添加字幕 +regenerateAutoZooms。 - 语音旁白： 添加字幕之后，调用
generate_voiceover（默认英语）。如果用户要求其他语言，传递targetLang（例如hi-IN）——字幕会先翻译，然后使用 Edge TTS。优先使用record_and_build({ voiceover: true, voiceoverLang })自动完成此操作。 - 背景音乐： 通过 MCP 使用 Openverse（
pick_background_music/ 使用backgroundMusic: true的record_and_build）。不要使用 Pixabay /.env密钥。Glare / Clear 效果播放内置的 shimmer 音效（Shining.mp3）。
工作流程 A — 全自动（先打开 Screen Beaver UI）
record_and_build 现在：
- focus_studio — 将 Screen Beaver 窗口置于前台
- open_record_picker — 打开“开始新录制”/共享选项 UI
- 打开
productUrl/ 应用 - start_capture — 原生选择窗口（Application），显示“正在录制…”
- 运行
demoSteps - 立即停止 + 根据录制自动生成缩放和字幕
- generate_voiceover — 默认英语；当设置了
voiceoverLang时进行翻译 + TTS - pick_background_music — Openverse CC 背景音乐（轻柔的企业器乐）
ping_studio
→ record_and_build({
productName, productUrl, titleContains: "Edge",
voiceover: true,
voiceoverLang: "en-US", // 或 "hi-IN" / "es-ES" 等
backgroundMusic: true,
musicQuery: "upbeat corporate instrumental",
demoSteps: [ ... ],
introCaption: "...",
features: [{ title: "登录", atSeconds: 3 }]
})
→ 告知用户：准备就绪后点击“导出”
或者在已有的录制上：
generate_voiceover({ targetLang: "en-US" })
pick_background_music({ query: "calm tech ambient instrumental" })
generate_voiceover({ speakLang: "en-US", targetLang: "hi-IN" })
演示步骤
| 操作符 | 含义 |
|---|---|
wait | { ms } — 保持简短；不要添加长的尾部填充 |
move / click | 优先使用 { contentNx, contentNy } 范围 0..1 在网页中；或 { nx, ny } 在外部窗口 |
type | { text, delayMs? } 逐键键入（产生输入音效） |
scroll / focus / right_click | 与之前相同 |
限制
- 原生捕获 + 输入自动化仅限 Windows 桌面。
- 演示鼠标/键盘输入仅在捕获运行期间有效。
- 操作系统共享对话框永远不会向代理显示——Screen Beaver 会显示应用内共享选项，然后原生捕获窗口。