故事板成片 是做什么的?
将手绘故事板、低多边形角色的几张渲染图和产品素材,转化为一段约28秒的9:16竖屏广告,配有音乐和音效,无旁白或字幕覆盖画面。
引擎:python3 scripts/storyboard_reel.py <command> <job>,从仓库根目录(包含 scripts/ 的文件夹)运行。--help 列出所有命令。逻辑在 scripts/sr_lib.py(镜头类型、默认值、时序、检查)、sr_shots.py(绘制)、sr_matte.py(抠图)和 sr_media.py(ffmpeg、rembg、媒体服务器)中。在 Windows 上使用 python 代替 python3。
起点:skills/storyboard-reel/job_template.json。new 将其复制到作业中。其样本是一个角色加光效的成片。一个以摄像机优先的成片由 clip 镜头构建。
格式
- 9:16,约28秒。音乐背景决定长度。
- 引擎绘制的镜头类型:
logo(在黑底上)、black、dolly(推进角色)、pose(停顿)、clip(一次图像到视频的移动)、glow(道具的光芒聚集并爆开)、white、shirt(白色背景上的空白T恤,设计淡入,标题在其下方)、card(标题、样机、价格、尺码、颜色、网站)、still(全帧关键图像)和scan(通过瞄准镜搜索)。 - 根据故事板重新排序、重复或删除镜头类型。任何无法用现有镜头类型绘制的画板都需要在
sr_shots.py中添加新的绘图函数并进行测试。在围绕它构建之前先说明。 - VHS 效果:
"vhs": 0.5位于 job.json 中(0关闭,1完全开启)。它放置在角色部分,并在白色闪光中淡出,使衬衫和卡片区域恢复干净。开启vhs后,主要交付物为final_9x16_vhs.mp4。
输入
- 一个包含故事板页面和角色渲染图(每种姿势一张)的文件夹。文件名中包含
logo、mockup或board的文件会被自动识别。如果有的话,添加白色背景上的 logo 和产品样机图。 - 产品页面 URL。
new命令读取该页面的 Shopify.json文件以获取标题、价格、尺码和颜色。 - 用于展示图,一张在纯色浅背景上的背面印刷照片。如果未设置,则使用商店的第一张图片。它通常是一个杂乱的样机,因此请替换为干净的图片。
工作流程
- 新作业。
python3 scripts/storyboard_reel.py new <product-url> <images-folder> [--word <topic>] [--title "<title>"]将图片复制到src/,商店图片复制到product/,并填写卡片文案。--word在作业文件夹名称末尾添加一个主题词。 - 根据故事板编辑 job.json。 将每个画板映射到一个镜头,设置
panel以匹配故事板,分配每个渲染图给一个角色,并编写合成提示。当python3 scripts/storyboard_reel.py check <job>打印时间线且无问题时完成。 - 抠图(角色成片):
cutouts <job>,然后打开work/cut/feet_check.jpg。rembg 可能将浅色骨头在浅色地板上识别为背景并保留投影。使用figures.<name>.feet框在源像素中修复每个脚部(add恢复浅色像素,drop清除深色地板阴影,rebuild重新推导框)。重复直到每个脚部完整。 - 合成背景。
plate <job> --n 3在媒体服务器上生成候选背景(免费)。查看work/bg/plates.jpg并将plate.src设置为合适的一个。在提示中保留“前景中空旷平坦的宽地板”,因为角色站在look.feet_y处。你也可以将自己的图像设置为plate.src。 - 接触片,第一道门。
stills <job>写入work/contact_sheet_9x16.jpg。检查脚部在地板上,角色未超出底部 UI 条,卡片文案正确。向用户展示接触片和剪辑的报价费用。停止并等待。 - 剪辑,仅在用户同意后。
kling-frames <job>写入work/kling/<shot>_start.jpg(以及剪辑有结束帧时的_end.jpg)并打印每个提示。将帧上传到你的图像转视频服务(OpenArt:上传,使用openart_model_cost报价,然后生成),在~/video-studio/relay/auth.md的 AUTH 行下。保存下载文件,然后运行prep-clip <job> <download.mp4> --shot <id>。剪辑的长度决定其镜头时长。 - 预览,第二道门。
preview <job>渲染剪辑片段并添加声音,输出到work/preview_clip.mp4。逐帧检查动作,重新运行stills,然后向用户展示预览和新的接触片。停止并等待。 - 发布文案。 编写 job.json 中的
post字段:一个简短的caption,然后是instagram、tiktok、youtube(标题和描述)、facebook、hooks、order和一个cover注释。引擎会将sr_post.py中的固定签名块附加到每个标题中。根据你的品牌编辑该块。当kit <job>打印时没有“post copy not ready”行时完成。 - 批准并渲染。 用户同意后:
approve <job>,然后render <job>。这将写入out/final_9x16_vhs.mp4(磁带版本,较慢)、out/cover.jpg、out/post.txt和out/posts.md。然后render <job> --clean写入干净的out/final_9x16.mp4。每次渲染还会写入一个_nomusic的副本(仅有音效,无音乐背景)。检查日志中的1080x1920 30/1 <length>s, audio行,然后在剪辑点抽取帧。--out <path>生成一个侧渲染,不影响out/和作业状态。 - 上传。
upload <job>将最终版本、副本、封面和发布套件发送到你的 CDN 存储(BunnyCDN,密钥在config.env中)。如果发布文案有空的标题或残留的<placeholders>,它会拒绝上传。重新上传会使用新名称(_v2),因为 CDN 在重用路径时会继续提供旧文件。向用户提供新 URL,并从posts.md粘贴每个平台的标题。发布是用户的步骤。
预览门控(代码强制执行)
render 被阻塞直到 approve,而 approve 仅在使用当前作业生成的接触片时有效。任何对图像部分的更改都会使批准失效:镜头、角色、合成背景、外观、抠图、新剪辑或 job.json 中任何视觉部分的路径。音频和发布文案的编辑不会使其失效。更改图像后,生成新的接触片并再次展示。render --no-preview 仅适用于用户在单个作业上的明确放弃。
摄像机优先的运动
运动镜头是摄像机优先的图像转视频剪辑,像实拍镜头一样编写:摄像机设备和镜头、一个摄像机运动(“不是缩放,不是剪切”),然后是动作。从低分辨率层级开始。带有慢速缩放的静态画面看起来像幻灯片。
- 仅有起始帧: 摄像机自由(推轨、弧线、前进)。
- 必须落在某个姿势上的推进: 添加结束帧,即结束姿势的裁切,大约 1.12x。推进将精确落在此处。仅起始帧的特写可能导致头部晃动。
- 静态剪辑(
clip且包含start和end图像路径)必须跟随一个src是其起始帧的静态镜头。 "in": 1.0跳过剪辑的第一秒。dur: "clip"使用剪辑的实际长度,fill镜头吸收差异。"gain"使剪辑变暗。"lights_out": {"at": 2.8, "flicker": 0.7, "floor": 0.04}使灯光闪烁并降至近黑色,在编辑中完成,无需成本。配合匹配的音效使用。- 将威胁保持在画面外。黑暗和看不见比屏幕上出现怪物更可怕。
- 保持枪火不可见:切至黑屏,让音效承载。模型在被告知不要开枪时也会开火,因此逐帧检查武器剪辑,在枪击前结束镜头。
- 视频模型的提示措辞:
- 一次缓慢、连续的移动。明确指出什么保持静止(身体、脚、背景)。
- 说明道具的行为(“法杖保持直立,永不摆动”)。避免使用“摆动”。
- 描述应该出现的内容。否定词(“无雾”)通常被忽略,因此展示更少内容。
- 当道具移动时,整个身体随之移动:重量、躯干、头部。脚部固定。
- 特写镜头需要在剪辑的大部分时间内有缓慢的呼吸和轻微的倾斜,然后一次快速移动。否则看起来像是冻结的。
- 剪辑时长:3到5秒。更长的剪辑给模型更多自由发挥的空间。
编辑端旋钮(免费,在编辑中绘制)
"fade_in"使剪辑从黑色淡入。"flash"在其中添加一个白色闪光剪切。"handheld"(0到1)使静态画面晃动。在自带摄像机运动的剪辑上使用 0。scan是通过瞄准镜的搜索,作为它自己的镜头,作用在宽的静态画面上。永远不要使用视频模型平移来实现,因为平移像滑块一样滑动:{"kind": "scan", "dur": 4.4, "src": "<wide still>", "span": 0.236, "scope": {"radius": 0.445, "sway": 16, "steady": 2.4}, "path": [[0.0, 0.13, 0.24], [3.2, 0.645, 0.345]]}每个路径点是[秒, x, y],相对于静态画面。瞄准点沿着弹簧追踪路径,因此会过冲、校正并最终落在最后一个点上。告诉视频模型“无圆环,无十字线”,如果剪辑是通过瞄准镜显示的。编辑将绘制圆环。- 对扫描镜头使用
"live",可以在静态画面中从给定秒数开始播放一个宽幅剪辑,使得当镜头找到目标时,主体以真实速度移动。用于消除停顿。 - 对于模型无法做出的微小机械动作(扳机、开关):在编辑中从关键帧构建。将移动部分切割为多边形,填充其背后,在缓慢推动下围绕其关节旋转。裁剪以使移动充满手机屏幕。
shirt镜头中"from_black": 1.0, "from_white": 0在故事板没有白场时,使展示从黑色淡入。
全帧静态画面和关键帧
当没有角色渲染图,或者故事板包含特写和主观镜头时使用。
still镜头接受全帧图像src,可设置push、anchor[x, y]、fade_in、fade_out和flash。- 关键帧来自图像编辑模型,9:16 格式。将角色设定图和场景作为参考,设定图在前。在一个测试设定的环境中,只有前两个参考能到达模型,因此将重要的放在前面。
- 剪辑的结束帧是其起始帧的编辑版本(“同一图像,仅...”),因此两者对齐。小改动在代码中本地编辑比通过模型编辑更快。
- 特写与设定图的视图匹配:侧面镜头就是设定图的真实侧面轮廓。
- 侧面轮廓的头骨保持真实比例(短脸之上的圆形颅骨)。兜帽遵循颅骨形状并覆盖顶部和背部。在提示中说明。
- 根据侧面轮廓判断头饰。描述轮廓(“短、圆、终止于后脑勺”)。像“高”或“尖”这样的词会使图像模型生成长出巫师帽。
- 手大约与头骨的高度一样长。对于骨骼手,命名单独的指骨。仅用“粗壮”会生成拳头。
- 开场镜头从整个场景的高处和宽处开始,然后下降到角色。先构建宽帧,将结束的特写帧作为其裁切。编辑中说“摄像机已经移动”往往会导致角色在原地缩放。
先制作免费草稿板
在任何付费调用之前,在媒体服务器上将每个画板粗略处理(FLUX,每张约8秒)到 work/keys/,然后运行 stills。用户免费看到整个剪辑。草稿不保留角色一致性,因此在展示时说明这一点。付费关键帧将替换草稿。
对于新角色,角色设定图是第一个付费调用。之后的每个关键帧都将其作为第一个参考。
为每个角色保持一个屏幕方向(如果草稿面向错误方向则镜像)。回归角色从其真实关键帧中提取,绝不用草稿。
将每个反复出现的角色保存在 assets/characters/<name>/ 中,并附上 README:设定图、服装规则、他们使用的场景集。在任何关键帧之前先阅读 README。
音乐和音效
- 音乐背景:器乐,约30秒,针对
check打印的时间线编写。典型曲线:logo 上的重音,推轨下阴郁的背景,剪辑和光效中渐强的起势,白场时的重音下降,卡片上的最终重音。使用 ElevenLabs 音乐生成,或使用自己的授权曲目。保存到assets/music/<name>.mp3,并将提示放入audio.prompt。 - 音效位于
assets/sfx/(撞击、嗖嗖声、上升音)。添加以镜头为锚点的audio.sfx条目。当道具改变时制作新的音效。 audio.mute: [<shot ids>]在这些镜头上硬切音乐,保留音效。用于“切至黑屏,然后枪火”。- 生成的枪火爆发会混成一片噪音墙。生成一个干净的单发,然后在本地叠加爆发:低搁架、每个命中下的降调低音重击、每次命中小幅度音高和音量变化,然后一个限制器。
成本
合成背景、抠图和本地渲染免费。付费关键帧、剪辑(OpenArt 或类似服务)以及 ElevenLabs 音乐和音效消耗积分。先对每次调用进行报价,并在 ~/video-studio/relay/auth.md 中维护涵盖它的 AUTH 行。
job.json 简述
length(音乐的剪切点)、product(url、标题、价格、尺码、颜色)、plate(src、prompt)、figures(名称到 src,可选 feet、centre_on)、shots(id、kind、dur、panel 以及类型特定键的列表)、vhs、handheld、audio(music、prompt、music_gain、fade_out、mute、sfx)、post(每个平台的文案)以及可选的 look。每种类型的默认值位于 sr_lib.py 的 SHOT_DEFAULTS 中。屏幕上的文案支持 {title}、{details} 和 {site}。
注意事项
- 抠图需要 rembg:
pip install rembg。cutouts命令会提示缺失内容和设置方法。 - 光效通过颜色查找品红色球体。对于其他道具,设置
light.at([x, y, r],角色框的相对坐标)和light.rgb。检查价格和尺码是否与实时页面一致。 - ffmpeg 必须在 PATH 中。所有屏幕上的文字使用 Pillow 绘制,因此 ffmpeg 不需要 drawtext 滤镜。