AI视频导演 是做什么的?
本技能将一个想法转化为成品视频,其场景看起来像用真实摄像机拍摄,人物动作如真人一般。该方法源于数十部实际制作的影片和广告(包括付费社交、UGC博主、故事短片、产品演示及网站循环视频)的经验提炼,以及每次审片后总结的修正方案。
核心理念:AI视频在真实剧组凭本能处理的细节上容易失败。 连续性、视线方向、保持不动的道具、始终如一的面孔、符合空间感的声音。模型擅长生成像素,但你需要担任导演、场记和剪辑师。
参考文件(按需加载)
| 文件 | 何时加载 |
|---|---|
references/storyboard.md | 规划任何影片时:镜头语法、故事板表格、节奏表 |
references/prompting.md | 编写任何静帧或视频提示词(真实感词汇、时序节拍、风格触发器、物理约束、视线方向、链式提示) |
references/prompt-library.md | 需要经过验证的提示词,按镜头类型改编 |
references/models-and-costs.md | 选择模型、估算credits、平台注意事项 |
references/dialogue-and-voice.md | 画面中有人说话、画外音、非英语台词、口型同步 |
references/review-qa.md | 编辑前审片,以及母版的质量检查 |
references/post-production.md | 剪辑、合成UI和文字、字幕、音量、编码、平台适配、循环 |
references/compliance.md | 任何生成的人物、推荐语、logo、真实公司或真实数据 |
scripts/目录下的辅助脚本(bash + ffmpeg,无其他依赖):联系表、用于链式提示的最后一帧提取、社交平台母版、无缝循环导出。
十大规则
- 纸上策划,屏幕付账。 在逐镜头故事板完成并存有一张每个机位的静帧、且视频所有者批准之前,绝不向视频模型提交任何内容。静帧耗分厘,视频耗美刀。在故事板上发现糟糕的静帧能节省一百个credits;在编辑时发现糟糕的镜头则浪费了它们。
- 绝不重复付费。 在任何生成之前,先查找已有的内容:平台近期的任务、磁盘上的片段、项目文档中的任务ID。在第一次调用之前估算计划的credit总数。如果能在编辑中修复,就在编辑中修复。绝不对相同镜头运行两个会话。
- 默认低分辨率,有目的地使用高分辨率。 对于B-roll、平铺画面、画中画以及任何非全屏内容,使用480p(或平台最低非草稿级别)。在测试镜头之后,对全屏人像、对白驱动的故事片和网站主页使用720p/1080p。草稿/快照/预览模式看起来明显是AI生成:可以用它们对比提示词,但绝不能发货。
- 纪实风格,绝不摆拍。 这是最大的真实感杠杆。手持35mm、自然混合光线、非模特的人物、略微凌乱的场景、无人摆拍、无人看镜头(除非是面对观众的主持人)。杜绝摆拍特征:微笑的客服耳机、玻璃办公室的西装、完美的牙齿、“DREAM BIG”霓虹 loft、对称的英雄式构图。
- 长镜头胜过多片段。 每个故事节拍的一段连续8至15秒的镜头读来像一个故事;而十五段3秒的镜头读来像一段素材混剪。链式衔接镜头,使镜头N的最后一帧是镜头N+1的第一帧。在真正的剪辑师会剪的地方剪辑。
- 同一张脸,同一身衣服,同一个世界。 为每个角色锁定一张起始静帧,在每次该角色的镜头中重复使用或编辑。检查每两个相邻镜头之间的人脸、发型、服装、道具和场景。任何偏差都要重拍或剪切,绝不能“没人会注意到”。
- 物理效果是指挥出来的,不是期望出来的。 除非提示词明确要求移动,否则物体保持静止;如果移动,则要精确描述如何移动。清点人数和手部数量。避免雄心勃勃的摄影机运动(环绕、POV转第三人称、穿过门的长轨道镜头):它们会产生鬼影、重复人物和服装变化。
- 每个视线方向在画面内都有目标。 如果说话者的听众在画外,说话者会在1秒内转向镜头。以双人镜头或前景带有听众肩膀的方式拍摄对白,并在整个镜头中固定头部方向。视线方向无法在后期修复。
- 文字、UI和logo是合成的,绝不生成。 场景中的屏幕要么转向别处,要么不携带任何可读内容;真实的UI、字幕、标题和logo在编辑时添加,并跟踪到其所在表面。唯一能在生成中幸存下来的场景内标记是作为图像参考传入的大而简单的文字标记,放在墙面、杯子或贴纸上。
- 画面中说话者使用原生语音,其他人使用逼真语音。 嘴巴会动的角色保留视频模型赋予他们的声音;用TTS给可见的嘴巴配音会立即显得不对劲。TTS仅用于从未出现的旁白,以及模型发音不佳的语言(然后进行适当的口型同步,见
dialogue-and-voice.md)。声音应该听起来像他们所处的房间,而不是录音棚。
工作流程
0. 发现工具箱(每个项目2分钟)
- 连接了哪个生成平台(例如Runway的MCP服务器,或是fal / Replicate / 模型供应商的API密钥)?调用其账户或
whoami端点:可用模型、弃用状态、credit余额。 - 可用的编辑工具:Remotion(Node.js)适用于包含UI、字幕或动态设计的任何内容;仅ffmpeg适用于纯剪辑。检查
ffmpeg -version以及它是否包含libass(字幕支持)。 - 可用的语音工具:视频模型的原生音频、ElevenLabs或其他TTS、口型同步模型。
- 将发现的内容写在项目文档的顶部。切勿凭记忆假设某个模型。
1. 创意简报
在项目文件夹中写brief.md,然后才进行任何消费:
- 目标和投放位置: 广告(哪个平台)、自然社交、网站、销售资料。受众。
- 格式: 比例、时长、语言、有声优先还是静音优先。
- 节奏表: 每个节拍一行,包含其持续时间。前2秒内展示钩子。对于广告,大约在3秒时展示品牌并让受众听到。
- 谁在说话,以什么身份: 面对观众的主持人、场景中的角色、旁白、无人物。这将驱动模型选择和合规检查。
- 合规检查 来自
references/compliance.md。
2. 故事板(关卡)
遵循 references/storyboard.md。每个画面一行:时间码、用途、景别、角度、焦距、摄影机运动、逐秒动作、视线方向、声音、合成元素、转场、来源、credit成本,以及一张显示取景的实际静帧。镜头多样性是关键:一个广角揭示,然后一个特写,然后一个插入镜头。以视觉形式交付故事板(HTML页面、PDF或图像网格),并等待批准。即使对于“小型”影片也不例外。
图像预算:每个机位一张静帧,故事板上不包含变体。卡片、UI插入和结束卡片渲染为HTML模型,而非生成的图像。
3. 为每个镜头选择模型
遵循 references/models-and-costs.md:将每个镜头的需求(原生音频、口型同步对白、跨镜头身份一致性、起始/结束帧、时长、分辨率)映射到模型能力,优先选择平台为该需求推荐的最新模型,然后选择目标分辨率下每秒钟最便宜的模型。任何你尚未使用过的模型,在计划依赖它之前,先进行一次廉价测试。在简报中记录每个镜头的模型、分辨率、时长和credits,以及总计。
4. 锁定静帧
- 首先使用
references/prompting.md中的真实感词汇生成每个角色的主角静帧。然后通过编辑该静帧(新角度、新场景、新取景)并将面部作为参考传递来构建所有其他机位,从而继承身份,而不是重新生成。 - 使静帧尺寸与目标视频匹配:720px的静帧经过动画和放大后永远不会变得清晰。对于任何全屏内容,静帧宽度至少为1440px。
- 检查每张静帧:伪装的胶片边框或场记板文字、围绕“网络摄像头”框架的设备边框、杯子或笔记本电脑上的随机品牌logo、多余的手指、背景中不应该出现的人、错误的视线方向。通过编辑静帧来修复。修复成本仅几分钱;将错误的静帧制作成动画则会损失一个镜头。
5. 动画生成
- 默认使用从锁定静帧进行图生视频。仅对没有身份保持要求的通用B-roll使用文生视频。
- 使用
references/prompting.md中的骨架和时序节拍编写提示词。覆盖每一秒钟。固定每个道具。为每个视线方向提供目标。 - 用于编辑的静音B-roll:关闭音频。说话或故事镜头:开启原生音频,在提示词中描述声音。每次拍摄音频都从静音重新开始,因此任何声音的建立都必须在一个镜头内完成。
- 无缝循环:起始帧 = 结束帧 = 同一张静帧,“完全返回到起始姿势”,固定摄影机。
- 生成是异步的。每60到120秒轮询一次。队列可能耗费数小时;切勿重新提交一个缓慢的任务(你会支付两次)。
6. 审阅每个镜头
遵循 references/review-qa.md:以1 fps制作联系表,对说话镜头以4 fps进行面部检查,收听每一句台词,并转录。因身份漂移、多余人物或手指、移动的道具、场景变化、呆滞眼神、混乱的标记、发音错误的单词、同一角色不同镜头间语音变化而拒绝。为每个镜头记录结论 + 任务ID,以便没有人重新生成已经评判过的镜头。
7. 编辑、配音、母版
遵循 references/post-production.md。当存在UI、字幕或动态设计时使用Remotion;纯剪辑使用ffmpeg。合成所有文本和UI。为静音优先的平台压制字幕。为每个交付物制作母版(色彩标记、响度、faststart)。原始渲染在社交平台上会色彩偏移,在信息流中声音会变小。
8. 交付并记录
- 先审阅粗剪(1080p或更低,所有者能在手机上观看的链接)。仅批准后才能制作最终母版。
- 粘贴每个输出路径。在项目文档中记录:使用的任务ID、花费的credits、版本、审阅者所做的每项修正。
- 每项修正都成为一条规则:当天将其添加到此技能(或你分支的风格笔记)中,这样下一部电影就不会重复同样的错误。
格式及其方案
| 格式 | 形状 | 关键选择 |
|---|---|---|
| UGC / 街头博主广告,9:16,15-25秒 | 1-2段博主面对镜头的原生对白镜头,用ffmpeg剪辑,压制字幕 | 博主面对观众,绝不做假客户推荐。≤3词/秒。街道环境音背景 |
| 故事短片,30-60秒 | 4-6段链式衔接的8-15秒镜头,对话使用双人镜头,最多一次有意切黑 | 720/1080p,原生音频,故事板已批准,每个镜头严格遵循连续性块 |
| 功能 / 产品广告,15秒 | 人物全屏展示钩子和结尾,产品UI合成在中间,推近变焦,文字弹出字幕 | 480p人物平铺(用于YouTube则放大),UI来自真实产品重建 |
| 解说的产品视频 | 无生成人物或少量B-roll平铺;真实UI动画;TTS旁白 | 画外音行不超过其节拍槽的2/3,音乐位于-18 dB相对值以下 |
| 播客 / 闲聊片段 | 两个说话者,一次生成内的多镜头或双人镜头 | 命名播客美学,快速摇摄,在笑点上推近变焦 |
| 网站英雄循环视频,5-8秒 | 一段固定摄影机镜头,起始帧=结束帧 | ≥1440px静帧,720p镜头,WebM + MP4约 < 400 KB,海报 = 第0帧 |
| 再营销 / 客户影片 | 真实客户logo通过图像参考手绘在墙上,真实的团队场景 | 发布前获得客户书面批准 |
“看起来真实”的关键检查清单
- 摄影机有实体感:手持晃动、镜头(24/35/50/85mm)、传感器(35mm胶片、手机、网络摄像头)
- 光线有来源:窗户、实用台灯、阴天街道、透过树叶的阳光
- 皮肤有纹理:毛孔、不均匀肤色、碎发、素颜效果
- 服装普通且具体:“海军蓝卫衣外穿未拉链的卡其色帆布夹克”
- 场景有生活气息:杯子、线缆、便利贴、植物、焦点外经过的人
- 动作连续且有动机,有起始和结束姿势
- 视线方向指向场景中的某处
- 道具行为合理:除非指定,否则保持静止,绝不允许爬行、滑动或变形
- 声音有空间感:房间混响、交通声、低语声、麦克风特性
- 没有生成任何可读内容:屏幕转向别处,文字在编辑时添加