交互式故事板 是做什么的?
将完成的故事板转化为交互式视觉故事:一个网页,观众通过点击、按住和拖拽画面本身来推进故事,配合声音、字幕/对话以及符合影片节奏的转场。此技能面向已经了解故事板(画板、镜头、场记、注释)的人;它不是一个动态分镜生成器。
此技能作者丁一林的示例案例:《白屋之悦》 和 《华氏451度》(第1、8、9场)——参见 examples/;在线体验:《白屋之悦》,《华氏451度》,第1→8→9场。
0. 构建前询问(一轮,然后继续)
仅询问改变构建的内容;其余部分采用合理的默认值,并告知采用了哪些默认值。
- 哪些场景/画板(长故事板:先试点一个场景,然后以相同方式处理其余场景)。
- 外观:选择下面的预设之一,或选择“保持我的画作原样”。
- 文字:仅对话/旁白/两者/无。使用故事板自己的台词;绝不发明对话或旁白。
- 声音:用户自己的录音(询问文件及其所属的画板)或合成声音。
- 语言:始终询问作品需要哪些语言;没有默认语言集。仅构建这些语言。每个屏幕上的字符串(标题、场记、提示、气泡、鸣谢)都存在于每种语言的表格中,并可实时切换;使用多种语言时,起始语言可以跟随宿主页面(
?lang=、postMessage或<html lang>)。你提供的翻译是草稿,用户应进行检查。 - 作品存放位置:仅生成可分享的页面,还是也嵌入用户自己的网站(然后询问网站包并编辑他们的副本)。
- 署名行:使用用户提供的准确措辞(例如“由……制作”);不添加他们没有列出的角色。
1. 读取故事板
- Storyboarder / PDF 导出:使用
pdfimages -png以完整尺寸获取每个画板,包括 NOTE 区域;找到绘制帧(扫描行/列以找到帧线),并以相同方式裁剪每个画板到绘制区域(如果舞台是 16:9,则保持 16:9 窗口)。使用pdftoppm -r 150渲染页面并读取注释、场记(EXT./INT. … – DAY/NIGHT)、时长和对话;pdftotext -layout获取场记。 - 制作每个画板的联系表和网格视图(每 0.1 宽度/高度绘制线条):后续所有坐标(人物站立位置、点击位置、屏幕位置)都在这些图像上以图像分数衡量,绝不猜测。
- 编写节拍列表:画板 → 发生什么 → 能让观众执行该动作的一个手势 → 声音 → 文字。
2. 镜头优先于效果
- 找到长镜头。 具有相同设置和移动主体(人物行走的A→B→C)的连续画板是一个连续镜头:构建一个干净的背景(使用其他画板修补掉主体),裁剪出主体并移动它,摄影机随之漂移。不要在那里对整个画板进行交叉溶解。
- 同一主体的近景→全景(或反之)是一次移动:将宽画板缩放,使其主体具有与近景画板相同的尺寸和位置(根据测量的头部/脚部位置计算缩放和中心),在匹配的构图下完成交叉淡入淡出,然后拉远。截取匹配帧的屏幕截图进行检查;重影表明数字出错。
- 必须作为一个移动体阅读的画板共享一个调色板(使用相同的预设颜色处理它们)。
- 当用户说一个画板显示的是电视机的背面、从背后看到的门等时,不要画任何画板未显示的内容:光线和声音可以暗示屏幕外的东西。
3. 外观预设
所有预设都保留用户的线条画;绝不重画。
- 胶片/孔版印刷(白屋风格):按场景调色(明亮饱和的颜色与阴暗对比),柔和的纸张纹理,温和的颗粒;偶尔——而非持续——出现门缝闪烁、抖动和轻微划痕;一个定位阴影。效果罕见且安静:持续的闪烁或抖动会令人疲劳。
- 美式漫画:双边平滑;从暗阈值加上黑帽的墨层,使细铅笔线条着墨;在绘制区域使用纯平铺色,中间色调使用45度本戴点,整张面板上方覆盖浅色网屏,边缘更密;颜色版相对于墨版偏移1-2像素;输出约1.5倍。每个地点/时间一种平铺色(温暖白天、蓝色夜晚、绿色监控、红色警报……)。字体:场记使用黄色字幕框,图片中的漫画音效字,对话使用对话框。
- 像素:缩小到小网格,使用有限调色板和有序抖动,最近邻放大;文本使用像素字体。
页面装饰跟随预设(放映室、新闻纸页、游戏画面)。Web字体以2-3秒的后备竞赛加载,确保故事不会等待字体。
4. 构建:一个HTML页面,一个画布
- 一个16:9舞台,一个画布,下方一个字幕/提示区域,一个语言切换(如果使用多种语言)和一个声音开关。
- 场景状态机:每个场景是一个对象,包含
enter / render(t) / tap / drag / down / up / hover / key;go(scene)切换;st()是场景内时间。相机辅助函数(setCam(img, zoom, cx, cy)、toScreen、toImg),使每个点击区域和效果以图像分数放置,并跟随相机。 - 每个场景都有退出方式:一个键盘键和一个缓慢的自动后备(10-20秒),确保没有人被困住,此外长场景上还有一个“跳过”链接。
- 包装每个声音调用,使丢失的音频上下文或解码失败永远不会破坏故事。
- 使用
<img>加载图像(也可在file://上工作);音频通过fetch+decodeAudioData加载,当fetch被阻止时回退到<audio>元素。
5. 交互设计
- 手势即故事动作。 跑步 = 快速点击;屏息 = 不触摸;探身看 = 按住;攀爬 = 重复向上拖拽;递东西 = 携带它;翻页 = 在书上拖拽;关闭它 = 按住按钮上的手。首选这些,而非通用的“点击继续”;将单纯的点击保留用于对话和纯节奏的节拍。
- 使用用户自己的画作,绝不使用发明的道具。 沿着轮廓裁剪人物/物体(在网格化放大的图像上追踪多边形,软边缘),添加细白边框,像剪纸一样,抬起时带小阴影和倾斜,拖拽时在原来位置留下空白纸张,若放置错误则弹回。对照画板检查裁剪:不要误包含楼梯、家具或另一个角色的手。
- 在画板顶部添加的效果(屏幕亮起、无线电波、取景器)必须遵循画作的几何形状——将屏幕发光限制在屏幕的透视四边形内,而非矩形——并应作为添加内容向用户指出。
- 提示说明地点和方式:“按住鱼并来回涂抹”,而非“交互”。大于正文文本,位于图片下方。
- 图片上的指南,默认安静(类似《艾迪芬奇的记忆》):在触摸点上一个小标志,已标明动作——脉冲表示点击,填充环表示按住,流动的箭头表示拖拽方向,旋转弧表示环绕(在漫画风格中:墨色“看这里”标记)。当步骤开始时,一只手演示手势两次,然后退后;只在约3秒犹豫后返回。手指按下时隐藏所有内容。切勿用长虚线路径覆盖图片。
6. 转场
- 匹配基调:默认柔和(新面板从稍大位置逐渐出现的溶解、出墨/入墨、电视开启或火焰引燃时的轻微辉光)。为场景的单一冲击保留一个硬切(负帧、速度线、抖动)。所有硬切 = 僵硬。
- 连续推向下一空间是一次长移动:两者之间的任何东西(墙壁)从目标面板获取颜色和纹理,并融入其中;移动过程中不保留空白。
- 切勿显示旋转或缩放图像的黑色边缘:夹紧相机。
7. 声音
- 录制的声音:剪裁到动作(与绘制的门把手同步的开门声),平衡所有音量,用淡入淡出循环氛围声。
- 合成声音(WebAudio,无文件):脚步声、纸张声、门声、机械猎犬、警报、心跳、电视低语……随机化每次触发(时间、音高、包络),并使包络形状不均匀,使声音不显得机械重复;避免在安静场景中出现咔嗒声和干燥的提示音。
- 使用声音桥接传递意义(洗衣机逐渐变成梦中的大海;声音延续到标题上方)。在添加故事板未暗示的声音之前询问。
8. 文字
- 对话:对话气泡(漫画)或字幕(胶片),尾部指向说话者头部,保持在面板内,通过测量换行,绝不使用闭合标点符号开始一行。分别填充每个气泡的主体和尾部,使笔画不穿过文字。
- 场记作为角落的字幕框;避让重要画面(在场记会遮挡主体的画板上跳过它)。
- 你添加的引文(例如角色朗诵的内容)必须是公共领域,并向用户标记。
9. 性能
- 画布宽度限制在约1600像素(
DPR = max(1, min(devicePixelRatio, 2, 1600 / cssWidth)))。 - 对每个尺寸预渲染静态覆盖层(纸张纹理、暗角)一次,并在每一帧上放置;绝不为每帧重建渐变或图案。
- 对于溶解,保持前一帧为一半尺寸,而非每帧完整拷贝。
- 在宿主页面上惰性加载故事(海报 + “进入故事”按钮);每个场景页面仅加载自己的图像。
10. 像观众一样测试
- 使用无头浏览器(例如 Playwright)运行,执行真实鼠标手势(从
toScreen测量的点击、按住、拖拽),通读整个故事,每种语言,出现任何页面错误即失败。暴露一个仅测试用的__go(scene, state)以跳转到某个节拍。 - 截取每个关键帧以及每个转场/匹配中间的屏幕截图;观察它们。
- 编辑后对脚本进行语法检查(
node --check)。不要在一行语句中间放置//注释(它会静默注释掉该行的其余部分,页面保持空白)。 - 在重大更改前后测量帧率。明确说明声音和感觉是通过测量和屏幕截图检查的,而非通过实际播放。
11. 交付
- 一个用于审查的可托管共享页面;对于用户的网站,提供他们网站包的压缩包,故事放在自己的文件夹中(例如
story/<project>/),一个惰性加载的嵌入块,其他内容不变。如果用户已在他们的网站中修改了故事,始终编辑该副本(将你的更改进行三方合并),绝不用原始文件覆盖它。 - 多个场景:每个场景一个页面,共享一个资源文件夹,串联(场景结束 → 下一个场景,语言保持;最后一个场景返回第一个场景)。每个场景的封面需要一次点击以在导航后解锁音频。
- 绝不代表用户部署任何内容;移交压缩包。
- 单独打开文件会显示黑屏:页面需要其旁边有
a/资源文件夹。移交文件时说明这一点。