视频生成 是做什么的?
将用户要求的视频制作成可播放的文件或链接。通常结合以下两种方式制作画面:
- 模型生成,使用
media_generate_video:人物、产品、场景、电影级运镜、风格化或3D动画、转换效果。 - 沙箱内代码渲染:用于必须精确的内容,例如文字、Logo、数字、图表和UI。使用HTML或Python绘制帧,并通过ffmpeg编码。
沙箱中的ffmpeg用于拼接、修剪、添加字幕、混音和导出。
从这里开始
- 明确视频需要传达什么信息、面向谁、在何处播放。确定宽高比(YouTube和桌面端采用横屏16:9;Reels、TikTok和Shorts采用竖屏9:16),大致长度,以及已有哪些素材(照片、Logo、视频片段、配音)。根据请求的暗示来做决定,仅当缺少某个信息会导致结果改变时才询问。
- 根据下表选择路径,并一次性并行读取相关文件。跳过任务不需要的文件。
- 在生成前进行规划:一个核心创意,然后列出镜头或节拍列表,包括每部分的内容、镜头、声音和时长。
- 生成、检查、必要时组装、交付。
| 请求 | 读取 |
|---|---|
| 动态图形、动态文字、Logo开场、数据动画、UI动画、设计作品集 | workflows/motion-graphics.md,然后根据需要参考 references/code-rendering.md(用于代码渲染)或 references/video-prompts.md(用于模型渲染) |
| 广告、产品宣传片、发布预告、UGC风格短片、社交媒体引流片段 | workflows/ads-and-promos.md 和 references/video-prompts.md |
| 短片、音乐视频、系列角色、故事片段 | workflows/stories-and-characters.md 和 references/video-prompts.md |
| 用户自拍素材:修剪、高光、拼接、添加字幕、音乐、调整大小 | workflows/editing-footage.md 和 references/ffmpeg.md |
| 拼接生成的片段、添加音乐或标题 | references/ffmpeg.md |
视频工具
读取此技能可解锁媒体工具。如果 media_generate_video 仍然不可用,请使用一行简要描述调用 media_generate。免费套餐不提供视频功能。
- 该工具的描述列出了每个模型及其长度、分辨率和每秒消耗的积分,并说明了哪个模型适用于哪种请求。优先使用用户指定的模型;否则遵循该指导。
- MiniMax H3 Max(默认)在同一次调用中返回完成的
videoUrl。WAN 3.0、Kling 4.0 和 Seedance 系列模型在后台渲染:调用会立即返回一个jobId,几分钟后您将自动恢复并获取视频。切勿轮询,也切勿为同一个片段再次调用工具。当计划需要多个后台渲染片段时,请在同一步骤中全部启动,这样您只会被恢复一次。 - H3 Max 和 Seedance 2.5 可以在一个片段内遵循多镜头提示(
Shot 1,Shot 2……)。WAN 3.0 渲染一个具有强烈运镜效果的连续镜头。 - 每个模型都会随画面生成音频。请在提示中描述对话(用引号括起来)、环境音、音效和音乐。
- 模式:文生视频;图生视频(
keyframes.first);首尾帧生成(keyframes.first+keyframes.last);参考图(按列表中顺序引用为“Image 1”、“Image 2”——使用Kling 4.0时可用 @Image1, @Image2——不可与keyframes.last组合使用)。使用图像作为起始帧可以获得比纯文字更好、更可控的结果。
决定质量的规则
- 人物和产品需要图像参考。 使用用户的照片,或先使用
media_generate_image生成参考图像,然后将其作为keyframes.first或放入references中。背景、灯光和风格可以用文字描述。 - 精确的文字、Logo、价格和UI不要交给视频模型处理。 模型会使其变形。应在代码中渲染它们,或使用ffmpeg叠加。
- 只要模型允许,每个请求只生成一个片段。 仅在遇到实际限制(例如,一个45秒的广告需要拼接多个片段)或用户明确要求分离片段时才拆分。
- 使用英文编写模型提示。 用用户期望的语言引用旁白和屏幕上的文字。
- 审慎使用积分。 对于多个片段或较长的后台渲染,用一行说明镜头计划和总积分消耗。仅当总消耗远超用户预期时才请求用户许可。
检查与交付
- 交付前检查每个结果。使用
ffprobe检查时长、大小和音频,并使用references/ffmpeg.md中描述的帧联系列图(通过file_view查看)。file_view也可以直接分析视频文件或URL,以便检查动作、语音或声音。 - 切勿自行重新生成片段。 每个片段都会消耗积分。如果结果存在真正的问题(主题错误、身份不连贯、必需的文字变形、动作缺失),请展示结果,用一句话说明问题所在,并询问是否需要生成修正版。只有在用户告诉您“一直修复直到它正确为止”时,才能在不询问的情况下再次生成。
- 代码渲染和ffmpeg编辑不消耗积分:可自行修复其中的实际问题,但一旦画面可用,就停止无谓的打磨。
- 交付方式:单个模型片段可通过其
videoUrl在聊天中直接展示。在沙箱中组装或渲染的文件通过send_attachment发送。用一两行说明格式、宽高比、长度以及是否包含声音。 - 对于配音讲解视频、会说话的头像或长时间线编辑,平台自带的视频代理、会说话的视频或视频编辑器可能更合适。在适用时提供相关链接。