AI视频短片 — 叙述性关键帧 + 图像转视频 是做什么的?
用生成式管线替换 three.js 渲染器。保留了 ../SKILL.md 的严谨性:事实先行、单词时间作为唯一时钟、一个锁定风格、用测量而非形容词、以及必须通过才能进入下一步的门控。
已证明的标准:~/Videos/ramayana-part1/part1-startframe.jpg(关键帧)和 ramayana-part1-v1.mp4(片段)。高端2D印度神话漫画书风格插画,浓黑墨线,温暖金色主调,720x1280。
详情位于:
PLAN.md— 阶段、门控、风险、未决决策PIPELINE.md— 阶段契约、确切命令、状态机SHOT-PLANNING.md— 时间到镜头的算法STYLE-LOCK.md— 锁定的风格块、角色表、调色板目标PROMPTS.md— 提示词代数、运动分类、审核阶梯AUDIO.md— 生成的拉格曲 + 合成的SFX、电平、闪避QA.md— 门控检查、阈值、缺陷分类../references/mythic/— 测量好的风格标准:起始帧、工作片段、通过的提示词、调色板数字../templates/mythic/— 一次性氛围生成器和动态生命传递tools/CONTRACTS.md— 此工作流假定的十三个CLImissions/garuda-jatayu.md— 试点项目:逐字脚本、演员表、视觉规则、验收标准
硬性规则
- 叙述是时钟。 每个剪辑都源于真实单词的时间戳。在
timeline.json存在之前,不发明任何镜头边界。 - 逐字脚本。
<project>/script-tagged.txt与用户的脚本字节完全一致。script-spoken.txt仅移除了[...]标签。在G0门控中运行哈希检查。 - 每个镜头两个提示词,绝不少一个。
keyframePrompt描述静态画面。videoPrompt描述从该静态画面开始的5秒运动。将关键帧提示词复用为视频提示词是最常见的质量问题(会产生无生命、飘移的片段)。 - 一个锁定风格。 风格块 + 角色表是
style-lock.json中的常量。提示词是从它们中组装出来的,而非手写。 - 永远不要将片段拉伸超过1.12倍。 如果一个节拍需要更多时间,则规划另一个镜头或扩展(+4秒)。拉伸是第一次运行中最大的妥协。
- 未经审核的关键帧不能进入视频。 关键帧必须先通过联系表审核和文本伪影检查。视频生成是昂贵阶段。
- 可恢复执行。 每个阶段都写入
state/<stage>.json并带有输入哈希。重新运行是幂等的。如果运行在第6个镜头(共28个)时中止,必须从第6个镜头重新开始。 - 立即下载生成的媒体。 vibes CDN URL会过期。
- 音乐和音效是生成的,而非授权。 本地拉格引擎用于配乐,本地合成器用于效果,可选的配额限制的 ElevenLabs 英雄录制。电平:语音 -16,音乐 -24(闪避 -3),音效 -18。保持隐藏字幕关闭。
- 报告妥协,绝不隐瞒。 每个被免除的门控都必须写入最终报告和
README.md中。
管线
script-tagged.txt
│ S0 解析 + 哈希 + 节拍映射
▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
│ S2 时间线 + 暂停计划
▼
timeline.json
│ S3 镜头规划
▼
shots.json
┌────────────────┴────────────────┐
S4 提示词组装 S5 关键帧 (Gemini)
▼ ▼
prompts/*.json keyframes/*.jpg
│ S6 片段 (vibes.ai)
▼
clips/*.mp4
│
timeline.json + shots.json ──► S7 声音 ────┤
提示 -> 音乐 + 音效 -> 混音 │ S8 组装 (ffmpeg)
▼
final.mp4 + QA
并行性:S1 分段 3 并发(服务限制)。S5 4 并发。S6 3 并发。script.json 存在后 S1/S2 和 S4 可以重叠。S7 只需要 timeline.json + shots.json,因此音乐和音效在 S6 仍在运行时就可以渲染;只有最终混音和 S8 需要等待最后一个片段。
阶段命令
名称是 tools/CONTRACTS.md 中的契约;按所示实现或调用它们。
PROJ=~/Videos/garuda-jatayu
# S0 — 解析脚本,保持哈希,构建节拍映射
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"
# S1 — 按段合成语音 (eleven_v4 + 内联音频标签)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
--url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
--model eleven_v4 --tags inline --concurrency 3
# S2 — 测量音频,插入计划暂停,构建主时钟
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
-o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"
# S3 — 从单词边界推导镜头(绝不从猜测)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/shots.json"
# S4 — 为每个镜头组装两个提示词
python tools/compose_prompts.py "$PROJ/shots.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/prompts"
# S5 — 关键帧,基于角色表和位置图版
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
--sheet "$PROJ/style/character-sheet.png" --concurrency 4
# S6 — 片段,3 并发,可恢复,内置审核阶梯
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
--out "$PROJ/clips" --concurrency 3
# S7 — 声音:提示表、配乐、音效、混音
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
--music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"
# S8 — EDL,交叉淡入淡出/剪切图,与混音混合
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
--clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"
# 门控
python tools/qa.py "$PROJ" --gate all
门控(无门控则不进入下一步)
| 门控 | 检查内容 | 阻止的阶段 |
|---|---|---|
| G0 脚本 | 逐字哈希,每个句子都有节拍 + 演员 + 位置 | S1 |
| G1 时间 | 单词单调性、覆盖范围、拼接时长 == 时间线结束 ±100 ms | S3 |
| G2 故事板 | 每个分句都被覆盖,时长在 [4.0, 5.6] s 内,在单词结尾处剪切 | S5 |
| G3 关键帧 | 720x1280,风格一致,无文本伪影,角色数量正确 | S6 |
| G4 片段 | 720x1280/24 fps/125 f,漂移在范围内,存在运动 | S7 |
| G5 组装 | 时长 ±0.3 s,交叉淡入淡出偏移,无黑帧/冻结连接 | 交付 |
| G6 最终 | 720x1280,24 fps,AAC 存在,-16 LUFS ±1,响度真峰值 <= -1.0 dBTP | 交付 |
| G6b 音频 | 语音-背景边距 >= 6 LU(在说话窗口上),闪避 2.5-3.5 dB,提示边缘干净,分轨总和等于混音 | 交付 |
G3 和 G4 的视觉部分每批需要一次视觉审核。其他所有内容都可以通过机器检查。
故障应对手册
| 症状 | 原因 | 修复 |
|---|---|---|
| TTS 503 / 求解器离线 | 验证码通道宕机 | curl 127.0.0.1:8000/health,重启通道,然后重试 |
CONTENT_POLICY 提交时 | 审核词汇 | 相同提示词两次,然后中立化词汇(PROMPTS.md),然后缩短 |
| 片段漂移/人物站起 | 无姿态锁定句子 | 添加“保持其姿态和位置与第一帧一致” |
| 片段是静态图像 | 运动段缺失或太弱 | 一个显式摄像头段落 + 一个次要运动段落 |
| 角色每帧不同 | 无参考条件 | 通过 files=[...] 传递角色表 |
| Gemini 401 | cookie过期 | 从 Helium CDP 重新提取 __Secure-1PSID + __Secure-1PSIDTS |
| vibes 401 | 缓存会话过期 | 删除 ~/.vibes-session.json,让 autoSession() 重新登录 |
| 输出尺寸错误 | 起始帧不是 720x1280 | 使用 ImageOps.fit 重建帧 |
| 剪辑落在节拍外 | 镜头时间被虚构 | 从 timeline.json 重新运行 S3 |
| 运行在批处理中间失败 | 无状态 | 预期:重新运行相同命令,它会恢复 |
SFX 预览返回 quota_exceeded | 匿名 ElevenLabs 预览配额耗尽(约2次请求) | 预期:本地合成器始终渲染每个提示;仅在配额新时冻结英雄录制 |
交付物
<project>/
final.mp4 720x1280, 24 fps, H.264/AAC, -16 LUFS
README.md 管线 + 确切命令 + 妥协
script-tagged.txt 逐字输入
script-spoken.txt 仅口语文本
script.json 解析的段、节拍、演员、位置
timing.json 每段单词
timeline.json 包括暂停的主时钟
shots.json 镜头计划(EDL)
style-lock.json 风格块 + 角色表 + 图版
style/ character-sheet.png, plates/*.png
prompts/ <shot>.keyframe.txt, <shot>.video.txt
keyframes/ <shot>.jpg + manifest.json
clips/ <shot>.mp4 + <shot>.generation.json
score/ cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
state/ <stage>.json
qa/ 门控报告, 联系表
开始新视频前请参阅 PLAN.md:它记录了已解决的决策(语音、情感标签、镜头节奏、声音、隐藏字幕)以及强制执行这些决策的阶段。