Communitygithub.com

AI视频短片 — 叙述性关键帧 + 图像转视频

指导AI代理如何规划、构建或剪辑“AI视频短片”,确保最终产出为完整的视频成品。流程涵盖AI视频短片制作——叙述性关键帧 + 图像转视频、硬性规则、管线。当新任务需要此项技能时使用。

AI视频短片 — 叙述性关键帧 + 图像转视频 是什么?

该技能定义了一套严格的生成管线,用于制作高质量的AI视频短片,核心原则是将叙述(旁白)作为唯一的时间基准,所有镜头剪辑都基于真实单词的时间戳,而非猜测。它规定了硬性规则,例如每个镜头必须有两个提示词(一个用于关键帧,另一个用于视频运动)、统一的视觉风格锁定、禁止过度拉伸片段、以及可恢复的执行流程。技能支持多种平台(如ElevenLabs用于语音合成、Gemini用于关键帧生成、vibes.ai用于视频片段),并提供了详细的阶段命令和门控检查(G0-G6),确保每个阶段产出合格后才进入下一阶段。最终交付物包括最终视频、完整的项目文件结构以及质量报告。

兼容平台✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/akashdeep000/claude-animated-shorts/tree/HEAD/ai-video-short

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

AI视频短片 — 叙述性关键帧 + 图像转视频 是做什么的?

用生成式管线替换 three.js 渲染器。保留了 ../SKILL.md 的严谨性:事实先行、单词时间作为唯一时钟、一个锁定风格、用测量而非形容词、以及必须通过才能进入下一步的门控。

已证明的标准:~/Videos/ramayana-part1/part1-startframe.jpg(关键帧)和 ramayana-part1-v1.mp4(片段)。高端2D印度神话漫画书风格插画,浓黑墨线,温暖金色主调,720x1280。

详情位于:

  • PLAN.md — 阶段、门控、风险、未决决策
  • PIPELINE.md — 阶段契约、确切命令、状态机
  • SHOT-PLANNING.md — 时间到镜头的算法
  • STYLE-LOCK.md — 锁定的风格块、角色表、调色板目标
  • PROMPTS.md — 提示词代数、运动分类、审核阶梯
  • AUDIO.md — 生成的拉格曲 + 合成的SFX、电平、闪避
  • QA.md — 门控检查、阈值、缺陷分类
  • ../references/mythic/ — 测量好的风格标准:起始帧、工作片段、通过的提示词、调色板数字
  • ../templates/mythic/ — 一次性氛围生成器和动态生命传递
  • tools/CONTRACTS.md — 此工作流假定的十三个CLI
  • missions/garuda-jatayu.md — 试点项目:逐字脚本、演员表、视觉规则、验收标准

硬性规则

  1. 叙述是时钟。 每个剪辑都源于真实单词的时间戳。在 timeline.json 存在之前,不发明任何镜头边界。
  2. 逐字脚本。 <project>/script-tagged.txt 与用户的脚本字节完全一致。script-spoken.txt 仅移除了 [...] 标签。在G0门控中运行哈希检查。
  3. 每个镜头两个提示词,绝不少一个。 keyframePrompt 描述静态画面。videoPrompt 描述从该静态画面开始的5秒运动。将关键帧提示词复用为视频提示词是最常见的质量问题(会产生无生命、飘移的片段)。
  4. 一个锁定风格。 风格块 + 角色表是 style-lock.json 中的常量。提示词是从它们中组装出来的,而非手写。
  5. 永远不要将片段拉伸超过1.12倍。 如果一个节拍需要更多时间,则规划另一个镜头或扩展(+4秒)。拉伸是第一次运行中最大的妥协。
  6. 未经审核的关键帧不能进入视频。 关键帧必须先通过联系表审核和文本伪影检查。视频生成是昂贵阶段。
  7. 可恢复执行。 每个阶段都写入 state/<stage>.json 并带有输入哈希。重新运行是幂等的。如果运行在第6个镜头(共28个)时中止,必须从第6个镜头重新开始。
  8. 立即下载生成的媒体。 vibes CDN URL会过期。
  9. 音乐和音效是生成的,而非授权。 本地拉格引擎用于配乐,本地合成器用于效果,可选的配额限制的 ElevenLabs 英雄录制。电平:语音 -16,音乐 -24(闪避 -3),音效 -18。保持隐藏字幕关闭。
  10. 报告妥协,绝不隐瞒。 每个被免除的门控都必须写入最终报告和 README.md 中。

管线

script-tagged.txt
   │ S0 解析 + 哈希 + 节拍映射
   ▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
                                        │ S2 时间线 + 暂停计划
                                        ▼
                                   timeline.json
                                        │ S3 镜头规划
                                        ▼
                                    shots.json
                       ┌────────────────┴────────────────┐
                  S4 提示词组装               S5 关键帧 (Gemini)
                       ▼                                ▼
                  prompts/*.json                   keyframes/*.jpg
                                                        │ S6 片段 (vibes.ai)
                                                        ▼
                                                   clips/*.mp4
                                                        │
              timeline.json + shots.json ──► S7 声音 ────┤
                   提示 -> 音乐 + 音效 -> 混音          │ S8 组装 (ffmpeg)
                                                        ▼
                                                   final.mp4 + QA

并行性:S1 分段 3 并发(服务限制)。S5 4 并发。S6 3 并发。script.json 存在后 S1/S2 和 S4 可以重叠。S7 只需要 timeline.json + shots.json,因此音乐和音效在 S6 仍在运行时就可以渲染;只有最终混音和 S8 需要等待最后一个片段。

阶段命令

名称是 tools/CONTRACTS.md 中的契约;按所示实现或调用它们。

PROJ=~/Videos/garuda-jatayu

# S0 — 解析脚本,保持哈希,构建节拍映射
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"

# S1 — 按段合成语音 (eleven_v4 + 内联音频标签)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
  --url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
  --model eleven_v4 --tags inline --concurrency 3

# S2 — 测量音频,插入计划暂停,构建主时钟
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
  -o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"

# S3 — 从单词边界推导镜头(绝不从猜测)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/shots.json"

# S4 — 为每个镜头组装两个提示词
python tools/compose_prompts.py "$PROJ/shots.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/prompts"

# S5 — 关键帧,基于角色表和位置图版
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
  --sheet "$PROJ/style/character-sheet.png" --concurrency 4

# S6 — 片段,3 并发,可恢复,内置审核阶梯
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
  --out "$PROJ/clips" --concurrency 3

# S7 — 声音:提示表、配乐、音效、混音
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
  --music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"

# S8 — EDL,交叉淡入淡出/剪切图,与混音混合
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
  --clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"

# 门控
python tools/qa.py "$PROJ" --gate all

门控(无门控则不进入下一步)

门控检查内容阻止的阶段
G0 脚本逐字哈希,每个句子都有节拍 + 演员 + 位置S1
G1 时间单词单调性、覆盖范围、拼接时长 == 时间线结束 ±100 msS3
G2 故事板每个分句都被覆盖,时长在 [4.0, 5.6] s 内,在单词结尾处剪切S5
G3 关键帧720x1280,风格一致,无文本伪影,角色数量正确S6
G4 片段720x1280/24 fps/125 f,漂移在范围内,存在运动S7
G5 组装时长 ±0.3 s,交叉淡入淡出偏移,无黑帧/冻结连接交付
G6 最终720x1280,24 fps,AAC 存在,-16 LUFS ±1,响度真峰值 <= -1.0 dBTP交付
G6b 音频语音-背景边距 >= 6 LU(在说话窗口上),闪避 2.5-3.5 dB,提示边缘干净,分轨总和等于混音交付

G3 和 G4 的视觉部分每批需要一次视觉审核。其他所有内容都可以通过机器检查。

故障应对手册

症状原因修复
TTS 503 / 求解器离线验证码通道宕机curl 127.0.0.1:8000/health,重启通道,然后重试
CONTENT_POLICY 提交时审核词汇相同提示词两次,然后中立化词汇(PROMPTS.md),然后缩短
片段漂移/人物站起无姿态锁定句子添加“保持其姿态和位置与第一帧一致”
片段是静态图像运动段缺失或太弱一个显式摄像头段落 + 一个次要运动段落
角色每帧不同无参考条件通过 files=[...] 传递角色表
Gemini 401cookie过期从 Helium CDP 重新提取 __Secure-1PSID + __Secure-1PSIDTS
vibes 401缓存会话过期删除 ~/.vibes-session.json,让 autoSession() 重新登录
输出尺寸错误起始帧不是 720x1280使用 ImageOps.fit 重建帧
剪辑落在节拍外镜头时间被虚构从 timeline.json 重新运行 S3
运行在批处理中间失败无状态预期:重新运行相同命令,它会恢复
SFX 预览返回 quota_exceeded匿名 ElevenLabs 预览配额耗尽(约2次请求)预期:本地合成器始终渲染每个提示;仅在配额新时冻结英雄录制

交付物

<project>/
  final.mp4             720x1280, 24 fps, H.264/AAC, -16 LUFS
  README.md             管线 + 确切命令 + 妥协
  script-tagged.txt     逐字输入
  script-spoken.txt     仅口语文本
  script.json           解析的段、节拍、演员、位置
  timing.json           每段单词
  timeline.json         包括暂停的主时钟
  shots.json            镜头计划(EDL)
  style-lock.json       风格块 + 角色表 + 图版
  style/                 character-sheet.png, plates/*.png
  prompts/              <shot>.keyframe.txt, <shot>.video.txt
  keyframes/            <shot>.jpg + manifest.json
  clips/                <shot>.mp4 + <shot>.generation.json
  score/                cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
  state/                <stage>.json
  qa/                   门控报告, 联系表

开始新视频前请参阅 PLAN.md:它记录了已解决的决策(语音、情感标签、镜头节奏、声音、隐藏字幕)以及强制执行这些决策的阶段。

相关技能