Communitygithub.com

故事板成片

指导AI代理如何规划、制作或剪辑“故事板成片”,最终输出一个标志和小型品牌页。该流程涵盖故事板成片、格式、输入等环节。当新任务需要这种技艺时,使用此技能。

故事板成片 是什么?

本技能从头到尾指导AI代理将手绘故事板、低多边形角色渲染图和产品素材转化为一段约28秒的9:16竖屏广告,并配有音乐和音效,无旁白或字幕。支持多种平台(包括命令行工具),通过`python3 scripts/storyboard_reel.py <command> <job>`运行,提供`new`、`check`、`cutouts`、`plate`、`stills`、`kling-frames`、`preview`、`approve`、`render`、`upload`等一系列命令,覆盖从创建新项目到最终上传全流程。技能内嵌`sr_lib.py`、`sr_shots.py`、`sr_matte.py`、`sr_media.py`等多个脚本模块,分别处理逻辑、绘图、抠图、媒体处理等任务。核心工作流围绕照片/剪辑预览门控、费用估算、多平台文案生成等环节展开,强调用户确认与视觉检查(如脚部抠图、接触片审核、预览审核),并提供大量编辑端免费效果(如淡入、闪光、手持抖动、扫描效果)及固定成本优化建议(如枪声特效、音乐氛围设计)。该技能还将AI生成的剪辑、关键帧与音乐生成等涉及付费API调用(OpenArt、ElevenLabs音乐)的部分也纳入指导,要求先报价再执行,确保预算可控。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/lokiverde/video-studio/tree/HEAD/skills/storyboard-reel

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

故事板成片 是做什么的?

将手绘故事板、低多边形角色的几张渲染图和产品素材,转化为一段约28秒的9:16竖屏广告,配有音乐和音效,无旁白或字幕覆盖画面。

引擎:python3 scripts/storyboard_reel.py <command> <job>,从仓库根目录(包含 scripts/ 的文件夹)运行。--help 列出所有命令。逻辑在 scripts/sr_lib.py(镜头类型、默认值、时序、检查)、sr_shots.py(绘制)、sr_matte.py(抠图)和 sr_media.py(ffmpeg、rembg、媒体服务器)中。在 Windows 上使用 python 代替 python3。

起点:skills/storyboard-reel/job_template.json。new 将其复制到作业中。其样本是一个角色加光效的成片。一个以摄像机优先的成片由 clip 镜头构建。

格式

  • 9:16,约28秒。音乐背景决定长度。
  • 引擎绘制的镜头类型:logo(在黑底上)、black、dolly(推进角色)、pose(停顿)、clip(一次图像到视频的移动)、glow(道具的光芒聚集并爆开)、white、shirt(白色背景上的空白T恤,设计淡入,标题在其下方)、card(标题、样机、价格、尺码、颜色、网站)、still(全帧关键图像)和 scan(通过瞄准镜搜索)。
  • 根据故事板重新排序、重复或删除镜头类型。任何无法用现有镜头类型绘制的画板都需要在 sr_shots.py 中添加新的绘图函数并进行测试。在围绕它构建之前先说明。
  • VHS 效果:"vhs": 0.5 位于 job.json 中(0关闭,1完全开启)。它放置在角色部分,并在白色闪光中淡出,使衬衫和卡片区域恢复干净。开启 vhs 后,主要交付物为 final_9x16_vhs.mp4。

输入

  • 一个包含故事板页面和角色渲染图(每种姿势一张)的文件夹。文件名中包含 logo、mockup 或 board 的文件会被自动识别。如果有的话,添加白色背景上的 logo 和产品样机图。
  • 产品页面 URL。new 命令读取该页面的 Shopify .json 文件以获取标题、价格、尺码和颜色。
  • 用于展示图,一张在纯色浅背景上的背面印刷照片。如果未设置,则使用商店的第一张图片。它通常是一个杂乱的样机,因此请替换为干净的图片。

工作流程

  1. 新作业。 python3 scripts/storyboard_reel.py new <product-url> <images-folder> [--word <topic>] [--title "<title>"] 将图片复制到 src/,商店图片复制到 product/,并填写卡片文案。 --word 在作业文件夹名称末尾添加一个主题词。
  2. 根据故事板编辑 job.json。 将每个画板映射到一个镜头,设置 panel 以匹配故事板,分配每个渲染图给一个角色,并编写合成提示。当 python3 scripts/storyboard_reel.py check <job> 打印时间线且无问题时完成。
  3. 抠图(角色成片):cutouts <job>,然后打开 work/cut/feet_check.jpg。rembg 可能将浅色骨头在浅色地板上识别为背景并保留投影。使用 figures.<name>.feet 框在源像素中修复每个脚部(add 恢复浅色像素,drop 清除深色地板阴影,rebuild 重新推导框)。重复直到每个脚部完整。
  4. 合成背景。 plate <job> --n 3 在媒体服务器上生成候选背景(免费)。查看 work/bg/plates.jpg 并将 plate.src 设置为合适的一个。在提示中保留“前景中空旷平坦的宽地板”,因为角色站在 look.feet_y 处。你也可以将自己的图像设置为 plate.src。
  5. 接触片,第一道门。 stills <job> 写入 work/contact_sheet_9x16.jpg。检查脚部在地板上,角色未超出底部 UI 条,卡片文案正确。向用户展示接触片和剪辑的报价费用。停止并等待。
  6. 剪辑,仅在用户同意后。 kling-frames <job> 写入 work/kling/<shot>_start.jpg(以及剪辑有结束帧时的 _end.jpg)并打印每个提示。将帧上传到你的图像转视频服务(OpenArt:上传,使用 openart_model_cost 报价,然后生成),在 ~/video-studio/relay/auth.md 的 AUTH 行下。保存下载文件,然后运行 prep-clip <job> <download.mp4> --shot <id>。剪辑的长度决定其镜头时长。
  7. 预览,第二道门。 preview <job> 渲染剪辑片段并添加声音,输出到 work/preview_clip.mp4。逐帧检查动作,重新运行 stills,然后向用户展示预览和新的接触片。停止并等待。
  8. 发布文案。 编写 job.json 中的 post 字段:一个简短的 caption,然后是 instagram、tiktok、youtube(标题和描述)、facebook、hooks、order 和一个 cover 注释。引擎会将 sr_post.py 中的固定签名块附加到每个标题中。根据你的品牌编辑该块。当 kit <job> 打印时没有“post copy not ready”行时完成。
  9. 批准并渲染。 用户同意后:approve <job>,然后 render <job>。这将写入 out/final_9x16_vhs.mp4(磁带版本,较慢)、out/cover.jpg、out/post.txt 和 out/posts.md。然后 render <job> --clean 写入干净的 out/final_9x16.mp4。每次渲染还会写入一个 _nomusic 的副本(仅有音效,无音乐背景)。检查日志中的 1080x1920 30/1 <length>s, audio 行,然后在剪辑点抽取帧。--out <path> 生成一个侧渲染,不影响 out/ 和作业状态。
  10. 上传。 upload <job> 将最终版本、副本、封面和发布套件发送到你的 CDN 存储(BunnyCDN,密钥在 config.env 中)。如果发布文案有空的标题或残留的 <placeholders>,它会拒绝上传。重新上传会使用新名称(_v2),因为 CDN 在重用路径时会继续提供旧文件。向用户提供新 URL,并从 posts.md 粘贴每个平台的标题。发布是用户的步骤。

预览门控(代码强制执行)

render 被阻塞直到 approve,而 approve 仅在使用当前作业生成的接触片时有效。任何对图像部分的更改都会使批准失效:镜头、角色、合成背景、外观、抠图、新剪辑或 job.json 中任何视觉部分的路径。音频和发布文案的编辑不会使其失效。更改图像后,生成新的接触片并再次展示。render --no-preview 仅适用于用户在单个作业上的明确放弃。

摄像机优先的运动

运动镜头是摄像机优先的图像转视频剪辑,像实拍镜头一样编写:摄像机设备和镜头、一个摄像机运动(“不是缩放,不是剪切”),然后是动作。从低分辨率层级开始。带有慢速缩放的静态画面看起来像幻灯片。

  • 仅有起始帧: 摄像机自由(推轨、弧线、前进)。
  • 必须落在某个姿势上的推进: 添加结束帧,即结束姿势的裁切,大约 1.12x。推进将精确落在此处。仅起始帧的特写可能导致头部晃动。
  • 静态剪辑(clip 且包含 start 和 end 图像路径)必须跟随一个 src 是其起始帧的静态镜头。
  • "in": 1.0 跳过剪辑的第一秒。dur: "clip" 使用剪辑的实际长度,fill 镜头吸收差异。
  • "gain" 使剪辑变暗。"lights_out": {"at": 2.8, "flicker": 0.7, "floor": 0.04} 使灯光闪烁并降至近黑色,在编辑中完成,无需成本。配合匹配的音效使用。
  • 将威胁保持在画面外。黑暗和看不见比屏幕上出现怪物更可怕。
  • 保持枪火不可见:切至黑屏,让音效承载。模型在被告知不要开枪时也会开火,因此逐帧检查武器剪辑,在枪击前结束镜头。
  • 视频模型的提示措辞:
    • 一次缓慢、连续的移动。明确指出什么保持静止(身体、脚、背景)。
    • 说明道具的行为(“法杖保持直立,永不摆动”)。避免使用“摆动”。
    • 描述应该出现的内容。否定词(“无雾”)通常被忽略,因此展示更少内容。
    • 当道具移动时,整个身体随之移动:重量、躯干、头部。脚部固定。
    • 特写镜头需要在剪辑的大部分时间内有缓慢的呼吸和轻微的倾斜,然后一次快速移动。否则看起来像是冻结的。
  • 剪辑时长:3到5秒。更长的剪辑给模型更多自由发挥的空间。

编辑端旋钮(免费,在编辑中绘制)

  • "fade_in" 使剪辑从黑色淡入。"flash" 在其中添加一个白色闪光剪切。
  • "handheld"(0到1)使静态画面晃动。在自带摄像机运动的剪辑上使用 0。
  • scan 是通过瞄准镜的搜索,作为它自己的镜头,作用在宽的静态画面上。永远不要使用视频模型平移来实现,因为平移像滑块一样滑动: {"kind": "scan", "dur": 4.4, "src": "<wide still>", "span": 0.236, "scope": {"radius": 0.445, "sway": 16, "steady": 2.4}, "path": [[0.0, 0.13, 0.24], [3.2, 0.645, 0.345]]} 每个路径点是 [秒, x, y],相对于静态画面。瞄准点沿着弹簧追踪路径,因此会过冲、校正并最终落在最后一个点上。告诉视频模型“无圆环,无十字线”,如果剪辑是通过瞄准镜显示的。编辑将绘制圆环。
  • 对扫描镜头使用 "live",可以在静态画面中从给定秒数开始播放一个宽幅剪辑,使得当镜头找到目标时,主体以真实速度移动。用于消除停顿。
  • 对于模型无法做出的微小机械动作(扳机、开关):在编辑中从关键帧构建。将移动部分切割为多边形,填充其背后,在缓慢推动下围绕其关节旋转。裁剪以使移动充满手机屏幕。
  • shirt 镜头中 "from_black": 1.0, "from_white": 0 在故事板没有白场时,使展示从黑色淡入。

全帧静态画面和关键帧

当没有角色渲染图,或者故事板包含特写和主观镜头时使用。

  • still 镜头接受全帧图像 src,可设置 push、anchor [x, y]、fade_in、fade_out 和 flash。
  • 关键帧来自图像编辑模型,9:16 格式。将角色设定图和场景作为参考,设定图在前。在一个测试设定的环境中,只有前两个参考能到达模型,因此将重要的放在前面。
  • 剪辑的结束帧是其起始帧的编辑版本(“同一图像,仅...”),因此两者对齐。小改动在代码中本地编辑比通过模型编辑更快。
  • 特写与设定图的视图匹配:侧面镜头就是设定图的真实侧面轮廓。
  • 侧面轮廓的头骨保持真实比例(短脸之上的圆形颅骨)。兜帽遵循颅骨形状并覆盖顶部和背部。在提示中说明。
  • 根据侧面轮廓判断头饰。描述轮廓(“短、圆、终止于后脑勺”)。像“高”或“尖”这样的词会使图像模型生成长出巫师帽。
  • 手大约与头骨的高度一样长。对于骨骼手,命名单独的指骨。仅用“粗壮”会生成拳头。
  • 开场镜头从整个场景的高处和宽处开始,然后下降到角色。先构建宽帧,将结束的特写帧作为其裁切。编辑中说“摄像机已经移动”往往会导致角色在原地缩放。

先制作免费草稿板

在任何付费调用之前,在媒体服务器上将每个画板粗略处理(FLUX,每张约8秒)到 work/keys/,然后运行 stills。用户免费看到整个剪辑。草稿不保留角色一致性,因此在展示时说明这一点。付费关键帧将替换草稿。 对于新角色,角色设定图是第一个付费调用。之后的每个关键帧都将其作为第一个参考。

为每个角色保持一个屏幕方向(如果草稿面向错误方向则镜像)。回归角色从其真实关键帧中提取,绝不用草稿。

将每个反复出现的角色保存在 assets/characters/<name>/ 中,并附上 README:设定图、服装规则、他们使用的场景集。在任何关键帧之前先阅读 README。

音乐和音效

  • 音乐背景:器乐,约30秒,针对 check 打印的时间线编写。典型曲线:logo 上的重音,推轨下阴郁的背景,剪辑和光效中渐强的起势,白场时的重音下降,卡片上的最终重音。使用 ElevenLabs 音乐生成,或使用自己的授权曲目。保存到 assets/music/<name>.mp3,并将提示放入 audio.prompt。
  • 音效位于 assets/sfx/(撞击、嗖嗖声、上升音)。添加以镜头为锚点的 audio.sfx 条目。当道具改变时制作新的音效。
  • audio.mute: [<shot ids>] 在这些镜头上硬切音乐,保留音效。用于“切至黑屏,然后枪火”。
  • 生成的枪火爆发会混成一片噪音墙。生成一个干净的单发,然后在本地叠加爆发:低搁架、每个命中下的降调低音重击、每次命中小幅度音高和音量变化,然后一个限制器。

成本

合成背景、抠图和本地渲染免费。付费关键帧、剪辑(OpenArt 或类似服务)以及 ElevenLabs 音乐和音效消耗积分。先对每次调用进行报价,并在 ~/video-studio/relay/auth.md 中维护涵盖它的 AUTH 行。

job.json 简述

length(音乐的剪切点)、product(url、标题、价格、尺码、颜色)、plate(src、prompt)、figures(名称到 src,可选 feet、centre_on)、shots(id、kind、dur、panel 以及类型特定键的列表)、vhs、handheld、audio(music、prompt、music_gain、fade_out、mute、sfx)、post(每个平台的文案)以及可选的 look。每种类型的默认值位于 sr_lib.py 的 SHOT_DEFAULTS 中。屏幕上的文案支持 {title}、{details} 和 {site}。

注意事项

  • 抠图需要 rembg:pip install rembg。cutouts 命令会提示缺失内容和设置方法。
  • 光效通过颜色查找品红色球体。对于其他道具,设置 light.at([x, y, r],角色框的相对坐标)和 light.rgb。检查价格和尺码是否与实时页面一致。
  • ffmpeg 必须在 PATH 中。所有屏幕上的文字使用 Pillow 绘制,因此 ffmpeg 不需要 drawtext 滤镜。

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

相关技能