AI视频:使用Claude Opus 5.5制作和编辑视频
此技能将视频从最初的想法或一堆素材,沿一条路径引导到最终文件:
接收 → 素材与密钥 → 分析 → 导演 → 脚本或纸上剪辑 → (镜头前人物) → 制作 → 修订 → 交付。
references/中的参考文件包含了各部分工作的原理、配方和应避免的错误。
使用用户的语言与用户交谈。首次使用技术术语时进行解释。保持回答简短且具体:用户必须始终知道我们处于哪个阶段以及我们需要他们做什么。你可以查看帧,但无法听到音频:当需要凭听觉做出选择时,要说明这一点,并让用户做出选择。
黄金法则
- 清晰第一,美观第二。 不戴耳机看视频的人必须理解视频内容。没有需要解码的抽象隐喻,没有需要解释的标题:从发生的情节中即可理解。
- 真实事实。 屏幕、标签、数字、名称、地点和日期来自真实来源(产品、素材、用户),而非想象。绝不做出无人能证实的承诺或数字。AI图像绝不伪造真实人物、产品或地点。
- 工作前先询问,制作前先批准。 先进行接收(
references/intake.md)。然后逐部分提交脚本(或针对素材的纸上剪辑),每部分配一张图片或一帧。只有已批准的内容才会被动画化或组装。 - 一次做一个决定,并记录下来。 每个已批准的选择都记入
docs/script.md或docs/edit.md。用户未说出的内容不要视为已批准。当请求范围模糊时,在执行工作前先询问。 - 权利与同意。 可识别的人物已同意出镜;音乐可以在视频发布的地方使用;其他公司的标识仅从官方文件获取。谁不能出现,在开始时询问,而不是在剪辑之后。
- 精确品牌。 标识仅从官方文件获取;动画化标识需精确到官方SVG的像素级别;品牌颜色精确无误。如果工作期间品牌发生变化,需要更新所有相关处。
- 连续性与节奏。 同一对象从一个场景延续到下一个场景;事件和剪辑点落在音乐网格上。音乐是根据剪辑制作或裁剪的,而非相反。
- 物理规律。 任何添加到真实素材中的内容都必须遵循真实摄像机的规律:透视、光线方向、阴影、比例、景深。
- 密钥与费用。 密钥保存在密钥链(或环境变量)中,绝不打印或写入文件。每笔费用都被记录,并保持在约定上限以下。
- 用眼睛检查,并进行测量。 每次更改后,将关键帧渲染为联系表并查看,然后再发送任何内容;测量可测量的内容(响度、同步、字幕与语音的匹配)。经常发送草稿版本,也要发送适用于手机观看的轻量副本。用户素材的原始文件绝不能被修改。
阶段0 · 接收:什么类型的视频(问题)
阅读 references/intake.md 并遵循它。简而言之:
- 第1轮(问题工具,一次通话):我们从哪里开始(从零开始 · 需要编辑的素材 · 两者都有 · 需要修改的已完成视频),视频类型,将在何处观看,时长。
- 第2轮,每个视频的核心:用一句话描述目标,目标受众,素材(路径和链接),需要精确写的名称和词语,截止日期和批准人;语音,屏幕上的文字,音乐,AI图像的使用;权利与同意;预算。
- 第3轮,所选类型的模块(产品、镜头前人物、讲解、集锦、短竖屏、标识、音乐视频、修改已完成视频)。
- 回传简报:
docs/brief.md在一屏内显示,“正确吗?少了什么?”,以及intake.md第6节的关卡检查清单。在仍有“必须项”未解决时,不要开始分析。
跳过请求中已回答的每个问题;为每个问题提供默认值(intake.md 第5节)。
阶段1 · 工具和密钥
仅适用于所选路径使用的工具(详细信息和命令见 references/tools.md):
- ElevenLabs(音乐、效果、语音隔离):一个API密钥和一个信用额度上限。
- OpenRouter(Seedance,AI动画):一个密钥和消费上限。
- Codex CLI(图像):已安装并登录。
- Remotion:对于个人和最多3人的公司免费;超过此规模需要公司许可。
- whisper(语音转文本),用于含有语音的素材以及检查字幕。
绝不要要求用户在聊天中粘贴密钥:给出从他们自己的终端将密钥存储到密钥链的命令,然后检查脚本能否读取它们。如果密钥还是被粘贴了,立即存储,绝不重复它,并建议重新生成密钥。
然后自行检查:node、ffmpeg、python3(以及如果路径需要的话还有 codex、swiftc、whisper-cli);可用磁盘空间(对于动画电影15-20 GB,带有素材时30-40 GB或更多:大约是素材大小的三倍);Python环境(references/tools.md)。如果缺少某些东西,用修复命令指出。
阶段2 · 分析(无问题)
阅读、查看并转录所有内容,然后完成 docs/brief.md。
- 品牌指南(如果有):颜色、字体、运动曲线、标识规则、禁止事项、语气。
- 产品(类型A和C):真实路径,一步步来,使用精确标签;核实除声明之外的事实。
- 素材(只要有):
scripts/inventory.py用于表格和每个片段的联系表,语音转录,陷阱(可变帧率、HDR、旋转、混合帧率)。请参阅references/editing.md第2-3节,以及当有人在镜头前说话时的references/on-camera.md。 - 参考:帧、联系表,以及它们有效的原因(文本、节奏、剪辑、音乐)。
- 竞争对手或类似视频(如果有用且网络搜索可用)。
用一个五行摘要结束:你理解了什么,你在素材中看到了什么,还剩下什么疑问。
阶段3 · 导演方案(问题)
创作型视频(从零开始,或围绕素材的图形):
- 2-3个故事创意,每个创意包含5-7个节拍,附有时长、视觉特征和音乐特征,每个创意配1-2张Codex图像作为联系表。询问选择哪一个,或者如何组合。
- 视觉风格:如果未决定,则在同一个节拍上提供两到三个方向。
- 脚本:从
assets/templates/script.md创建docs/script.md,这是一个包含时间、我们看到什么、屏幕上的文字、媒介以及每个片段一张分镜图像的表格(scripts/codex_image.sh)。如果有演讲者,脚本是叙述,而非解释。先阅读references/direction.md。
编辑素材型视频:
- 结构:为此素材提供2个故事结构(
editing.md第6节),每个结构包含章节及其长度。 - 精选片段和纸上剪辑:从
assets/templates/edit.md创建docs/edit.md,并附上按顺序排列的每个镜头一帧的联系表。询问对他们重要的时刻:你无法知道谁是谁。
短竖屏视频:为第一秒提供3个钩子,以帧的形式展示,然后再继续其他部分。
逐部分批准在所有情况下都要进行:修正直到用户说没问题。
阶段3b · 镜头前人物:房间、灯光、语音(问题)
仅当有人在镜头前说话时。首先阅读 references/on-camera.md:它包含问题、带有风险的选项、配方以及如果素材还不存在的拍摄指南。在一轮中提问(使用问题工具的封闭式选择):房间(保留、模糊、布置、替换,附带风险),模糊强度,灯光,场所风格,房间内的品牌,语音(清理、口误、重新录制),人物周围的图形。
然后:先展示空房间的方案,3-4张有人物的测试帧,然后才进行整个片段。
阶段4 · 制作
在编写代码前阅读 references/remotion.md,在接触音频前阅读 references/music.md;有素材时也阅读 references/editing.md,有镜头前人物时阅读 references/on-camera.md。
- Remotion项目。 项目帧率(完全动画电影为24,否则使用素材自己的帧率,通常为30),所选格式,音乐网格(在120 BPM下:24fps时每拍12帧,30fps时为15帧)。时间信息在
timing.ts中(对于素材从docs/edit.md生成),文本在texts.ts中,品牌令牌在它们自己的文件中。 - 素材:恒定帧率和SDR的工作副本,长4K素材的代理文件,原始文件保持不变(
editing.md第4节)。 - 使用Codex生成图像,始终使用相同的参考图像以保持统一风格。文本和标识绝不通过AI绘制。
- 使用Seedance进行AI动画(
scripts/seedance.py)仅在有帮助时使用:先使用快速的720p模型,主要镜头使用1080p,每次调用都加上--log docs/spend.md --cap <dollars>。 - 镜头前人物:HDR转换,人物遮罩,空房间,然后是所选房间(
on-camera.md)。 - 场景与组装:界面作为真实组件,来自纸上剪辑的镜头带有精确的入点和出点,标题,下部三分之一处,说明文字;颜色匹配后再进行调色(
editing.md第9节)。 - 使用临时声音的第一版草稿:渲染,联系表,查看,然后发送草稿和轻量副本。
- 音乐和声音在时间稳定后进行:根据章节生成(2-4次尝试,先通过小节选择,再通过用户的听觉选择)或用户提供的音轨按完整小节裁剪;在其下混入环境声和语音;在事件点上添加效果(
music.md)。 - 导出使用
scripts/export.sh:音频同步,母带处理至 −14 LUFS(网络和社交媒体的标准感知响度),再加上轻量副本。
阶段5 · 修订
每轮:应用更改;检查类型(npx tsc --noEmit);渲染并查看受影响的帧(如果其余部分已定稿,只需更改过的范围);导出;发送视频,并用两行说明更改了什么以及还有什么是开放的。
典型请求在 references/direction.md(“总会出现的修订”)、references/on-camera.md 和 references/editing.md 中。按整个小节移动音乐或场景。如果仅更改音乐电平,保持主增益固定(FIXED_GAIN_DB),否则语音和效果也会跟着移动。
阶段6 · 交付
阅读 references/delivery.md:主文件,轻量副本,符合上传限制的手机副本,已商定的其他格式和时长;平台注意事项(时长限制,硬编码字幕和关闭自动字幕,竖屏安全区域,封面);结尾卡片和行动号召;docs/ 中包含每个决定和费用。交付前:文件中没有密钥或个人路径,官方标识,已测量响度,字幕与语音核对,如果用户要求则移除元数据(位置、日期)。
在哪里找到什么
| 文件 | 何时阅读 |
|---|---|
references/intake.md | 每个项目开始时:问题树、默认值、关卡 |
references/direction.md | 编写脚本前及每次修订时:原理、屏幕文字、典型修订 |
references/editing.md | 每当有素材要编辑时:库存、精选、纸上剪辑、剪切、颜色、声音、重新构图、隐私 |
references/on-camera.md | 当有人在镜头前说话时:问题、拍摄指南、语音、房间与灯光、遮罩、合成 |
references/tools.md | 阶段1以及每当使用Codex、Seedance、ElevenLabs、ffmpeg、whisper时 |
references/remotion.md | 在编写Remotion项目之前 |
references/music.md | 在生成或剪切音乐和效果之前,以及混音时 |
references/delivery.md | 导出、手机限制、平台、竖屏安全区域、行动号召、发布帖子 |
scripts/ | inventory.py, contact_sheet.py, codex_image.sh, seedance.py, elevenlabs.py, measure_music.py, prepare_bed.py, export.sh,以及针对镜头前人物的 hdr_to_sdr.sh, person_mask.swift, clean_plate.py, blur_background.py, wall_perspective.py(每个文件顶部都有说明) |
assets/templates/ | brief.md, script.md, edit.md(精选和纸上剪辑), image-prompt.md, music-plan.json |