screen-demo 是做什么的?
将URL转换为演示视频。你就是导演:你查看页面,将导览编写为JSON,然后脚本播放导览、捕获页面自身的帧(而非桌面)并剪辑视频。滚动、光标滑动和打字都以30fps逐帧捕获,即使在复杂页面上也流畅自如;页面在点击或加载后自行发生的变化则来自实时屏幕录制。
一次性设置
- 需要 Python 3.10+,安装 Pillow 和最新 Playwright:
python -m pip install -U playwright pillow,然后执行python -m playwright install chromium。 - ffmpeg 需加入 PATH 环境变量(
winget install ffmpeg或brew install ffmpeg)。
验证:执行 python tests/selftest.py(本地页面,无需网络,大约一分钟)。
工作流程
- 询问视频用途: URL、需要展示的2到4个要点(如首屏、某个功能、价格、注册流程)、格式(
landscape16:9 适合 YouTube 和 README,vertical9:16 适合 Shorts 和 Reels,square),以及是否需要 GIF。仅限于用户自己的网站或应用,或用户有权展示的公开页面。 - 查看页面:
python scripts/demo.py inspect URL WORK [--format vertical]。阅读WORK/目录下每张page-N.jpg(按视口大小切割的页面截图,每个可点击元素用红色数字框标出)以及elements.txt。Cookie 横幅或弹窗会在这里出现:导览的第一步应关闭它(点击“拒绝”或“关闭”按钮)。 - 编写
WORK/tour.json(格式详见 references/tour-format.md):包含一张标题卡,然后是简短的步骤。一个好的导览示例:一张说明产品功能的字幕;滚动到第一个值得看的内容;放大它;点击或输入以演示产品工作;高亮结果;每个想法配一条字幕。时长15到40秒。目标元素可通过 inspect 中的编号(#12)、css=...或text=...指定。 - 录制:
python scripts/demo.py record WORK/tour.json OUT [--gif]。脚本播放导览,打印每个失败的步骤,并渲染OUT/demo.mp4(及OUT/demo.gif)。 - 查看
OUT/keys.jpg(每步骤的关键帧)以确认最终效果:缩放位置错误、字幕遮挡了画面重点、步骤失败(元素移动或隐藏)、仍有横幅遮挡。如果只需修改字幕、缩放或标题卡,可直接编辑OUT/tour.json,然后执行python scripts/demo.py render OUT [--gif](无需重新录制);其他改动则需重新录制。 - 交付: 提供
demo.mp4(及 GIF)的路径、时长,以及每个展示想法的简要说明。
规则
- 绝不允许使用密码登录、输入密码或卡号(脚本会拒绝密码和支付字段),不允许购买、发送、删除或发布内容,不允许提交包含他人个人数据的表单。如需演示登录后的区域,用户应自行提供测试账号的页面。
- 默认拒绝 Cookie 横幅(最小化数据收集),除非用户另有说明。
- 字幕保持简短(3至8个单词);每条字幕表达一个想法;视频本身的动态效果可以补充说明。
- 尊重网站权益:不得导览用户无权展示的页面。
示例
用户:“为我的落地页 https://example.com 制作一个20秒的演示视频,用于 README,展示注册功能”
你运行 inspect 后阅读了3张切片,发现一个 Cookie 横幅(#2“全部拒绝”)、首屏、一个“立即试用”输入框(#9)以及一个定价卡片(#21);你编写了导览:一张标题卡,点击 #2,字幕“自动记录的笔记”,在 #9 中输入文字,点击 #10,高亮结果,字幕“永久免费”,滚动到 #21,放大;使用 --gif 录制,打开 keys.jpg 确认缩放成功框住了价格,然后回答 demo.mp4(21秒)、demo.gif(3MB)以及四个展示要点。