病毒式动画短片管线
在 Gemini 媒体栈和 FFmpeg 上原生制作 9:16 动画短片(2D 火柴人 3D 效果或风格化 3D),无需付费第三方包装器或 Blender。
前提条件检查
在运行实时视频生成或组装之前,请验证本地依赖项(测试 --version,而不仅仅是 which,因为 macOS /usr/bin/python3 可能是未安装的 Xcode CLT 存根):
- 视频/音频 API:
gemini-api whoami(首选)或 Pythongoogle-genaiSDK,并设置GEMINI_API_KEY(请参阅gemini-omni-flash-api和gemini-api-cli技能)。 - 角色设定表:
gemini-api image(gemini-nano-banana-2.1) 或内置的image-generator子代理。 - 组装和帧采样:
ffmpeg -version、ffprobe -version和python3 --version(用于字幕转换)。
如果缺少 gemini-api 或 ffmpeg,则实时完成阶段 1-2(使用 image-generator 生成设定表),生成 jobs.json 和 .ass 字幕,并报告剩余实时渲染/组装步骤的确切安装命令。
六阶段工作流程
将所有项目工件存储在专用的 <project_dir>/ 内(例如,shorts/<slug>/):
shot_plan.json、sheets/、drafts_360p/、qa/、finals_1080p/、audio/、final_short.mp4。
阶段 1:剧本、风格圣经和片头钩子检查
- 起草一个紧凑的剧本:30-45 秒(2-4 个场景)用于喜剧小品,或 130-150 个单词(45-55 秒)用于解说视频。不要有开场白或问候语。
- 编译
<project_dir>/shot_plan.json,匹配references/shot_plan_schema.json:- 锁定在每个场景提示中重用的逐字
style_bible字符串。 - 定义每个角色,其基础设计中不包含任何持道具。
- 将场景分解为 3-15 秒的 Omni 片段,带有
[0-3s]节拍时间码和平均镜头长度 1.5-2.5 秒。 - 将
audio_mode设置为native_omni(喜剧对话/SFX)或tts_plus_bgm(叙述解说)。 - 编写最后一行,使其在句法上循环回节拍 1。
- 锁定在每个场景提示中重用的逐字
- 片头钩子检查(渲染前必需): 根据
references/qa_rubric.md(片头钩子检查部分)验证节拍 1(0-3s)。在节拍 1 具有帧 0 视觉对比度、即时运动以及开放式语言前提之前,不要生成视频。
阶段 2:不可变的三视图设定表
- 使用
references/sheet_prompt_templates.md中的模板,为每个角色构建一个 16:9 的三视图设定表(正面 | 四分之三侧面 | 背面)。- 强制使用中性浅灰色背景、平坦均匀照明、中性表情,并且没有持道具(道具会导致镜头间手部变形)。
- 通过
gemini-api image "<prompt>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<char>_2d.png生成(或委托给image-generator并将输出的.jpg/.png复制/转换到<project_dir>/sheets/)。 - 使用
read_file目视检查每张设定表。如果各面板在比例、服装或线条粗细上不一致,则重新生成。 - 使用
gemini-api时,一次上传批准的设定表(gemini-api files upload <sheet> --wait),以便在所有场景中重用files/<id>URI。
阶段 3:廉价的 360p 草稿
- 通过
gemini-api video或generate_video.py --batch jobs_360p.json,使用gemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p)生成9:16的360p草稿。jobs_360p.json中的每个项使用:{"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"} - 将不可变的三视图设定表(
-i/--image,最多 6 张图像)传递到每个镜头中,并按上传顺序通过自然语言绑定每个角色(切勿使用<IMAGE_REF_N>标签)。 - 包含逐字的
style_bible、明确的负面约束(无屏幕文字、无水印、空白标志)以及单镜头或时间码节拍。 - 对于 2 角色镜头,在空间上分隔角色(左/右)或使用正反打镜头,以防止属性混合。
- 对于直接连续剪辑,提取场景 N 的最后一个干净帧作为辅助锚点,同时保留规范的设定表作为主要锚点。
阶段 4:上下文感知的法证级 VLM 质量检查(最多 2-3 次重试)
- 从每个草稿剪辑中采样帧(
开始、中间、动作峰值、结束)以及前一个镜头的结束帧:bash scripts/extract_qa_frames.sh <clip.mp4> <project_dir>/qa/<shot_id> [prev_clip.mp4] - 使用
references/qa_rubric.md运行gemini-api analyze(或通过read_file进行目视检查),传递设定表、前一个结束帧和采样帧。 - 通过确切的帧索引和故障代码(
HOOK_WEAK、EXTRA_LIMB、STYLE_DRIFT、TEXT_WARP、AUDIO_DESYNC)诊断故障。 - 从
references/failure_fix_playbook.md应用匹配的修复:- 小范围局部故障:通过
--previous-interaction-id <id>就地编辑("<fix>。保持其他所有内容不变。")。 - 重大的解剖/构图错误:简化动作/摄像机并重新生成。
- 每个镜头的重试次数上限为 3 次。在
references/failure_fix_playbook.md中记录任何新发现的修复。
- 小范围局部故障:通过
阶段 5:1080p 最终渲染与可选的 2D 转 3D 升级
- 以
1080p重新渲染已批准的镜头(--resolution 1080p)。 - 可选的 2D 转 3D 升级: 使用
references/sheet_prompt_templates.md中的 3D 转换模板,通过-i <char>_2d.png将每个批准的 2D 设定表转换为风格化 3D 设定表。通过read_file检查,将style_bible更新为风格化 3D,然后重新运行已验证的shot_plan.json。
阶段 6:确定性 FFmpeg 组装
- 生成词级时间轴
.srt(gemini-api transcribe -i <audio_or_clip> --format srt)或从剧本时间轴导出。 - 将
.srt转换为安全区的.ass卡拉 OK 字幕(位于底部 35% 短片 UI 危险区域上方):python3 scripts/srt_to_ass.py <input.srt> <project_dir>/audio/captions.ass - 运行探测 -> 调整 -> 拼接 -> 闪避 -> 烧录字幕 -> 2 遍
-14 LUFS组装脚本:bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [voiceover.wav] [bgm.wav] - 在交付前验证
final_short.mp4的尺寸(1080x1920)、时长、音频响度(-14 LUFS)和视觉帧检查。