Communitygithub.com

viral-animated-shorts

端到端的病毒式2D火柴人3D效果与风格化3D动画短片生产管线(9:16,30-55秒),使用 Gemini Omni 1.2 Flash、三视图角色设定表、基于多帧 VLM 的法证级质量检查以及确定性 FFmpeg 合成。

viral-animated-shorts 是什么?

这是一个完整的动画短片生产管线,专为在社交媒体平台(如 YouTube Shorts、Reels、TikTok)上发布的病毒式2D火柴人3D效果或风格化3D动画而设计。它完全运行在 Gemini 媒体栈和 FFmpeg 上,无需付费第三方包装器或 Blender。该技能涵盖从剧本创作、风格圣经和片头钩子检查,到生成不可变的角色三视图设定表、低成本 360p 草稿、通过上下文感知的法证级 VLM 进行最多 3 次重试的质量保证,以及最终 1080p 渲染和确定性 FFmpeg 合成的完整六阶段工作流程。它支持可选的 2D 转 3D 升级,并通过结构化的项目目录(包括 shot_plan.json、设定表、草稿、质量保证文件和最终成片)强制执行严格的资产组织。通过使用 gemini-api CLI 或 Python google-genai SDK 与 Gemini Omni 1.2 Flash API 交互,并依赖 ffmpeg、ffprobe 和 python3 进行组装和字幕处理,该工具可确保可重现、高质量的输出。

兼容平台~Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/nikeshthapa255/Video-creator-skills/tree/HEAD/viral-animated-shorts

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

病毒式动画短片管线

在 Gemini 媒体栈和 FFmpeg 上原生制作 9:16 动画短片(2D 火柴人 3D 效果或风格化 3D),无需付费第三方包装器或 Blender。

前提条件检查

在运行实时视频生成或组装之前,请验证本地依赖项(测试 --version,而不仅仅是 which,因为 macOS /usr/bin/python3 可能是未安装的 Xcode CLT 存根):

  • 视频/音频 API: gemini-api whoami(首选)或 Python google-genai SDK,并设置 GEMINI_API_KEY(请参阅 gemini-omni-flash-api 和 gemini-api-cli 技能)。
  • 角色设定表: gemini-api image (gemini-nano-banana-2.1) 或内置的 image-generator 子代理。
  • 组装和帧采样: ffmpeg -version、ffprobe -version 和 python3 --version(用于字幕转换)。

如果缺少 gemini-api 或 ffmpeg,则实时完成阶段 1-2(使用 image-generator 生成设定表),生成 jobs.json 和 .ass 字幕,并报告剩余实时渲染/组装步骤的确切安装命令。

六阶段工作流程

将所有项目工件存储在专用的 <project_dir>/ 内(例如,shorts/<slug>/): shot_plan.json、sheets/、drafts_360p/、qa/、finals_1080p/、audio/、final_short.mp4。

阶段 1:剧本、风格圣经和片头钩子检查

  1. 起草一个紧凑的剧本:30-45 秒(2-4 个场景)用于喜剧小品,或 130-150 个单词(45-55 秒)用于解说视频。不要有开场白或问候语。
  2. 编译 <project_dir>/shot_plan.json,匹配 references/shot_plan_schema.json:
    • 锁定在每个场景提示中重用的逐字 style_bible 字符串。
    • 定义每个角色,其基础设计中不包含任何持道具。
    • 将场景分解为 3-15 秒的 Omni 片段,带有 [0-3s] 节拍时间码和平均镜头长度 1.5-2.5 秒。
    • 将 audio_mode 设置为 native_omni(喜剧对话/SFX)或 tts_plus_bgm(叙述解说)。
    • 编写最后一行,使其在句法上循环回节拍 1。
  3. 片头钩子检查(渲染前必需): 根据 references/qa_rubric.md(片头钩子检查部分)验证节拍 1(0-3s)。在节拍 1 具有帧 0 视觉对比度、即时运动以及开放式语言前提之前,不要生成视频。

阶段 2:不可变的三视图设定表

  1. 使用 references/sheet_prompt_templates.md 中的模板,为每个角色构建一个 16:9 的三视图设定表(正面 | 四分之三侧面 | 背面)。
    • 强制使用中性浅灰色背景、平坦均匀照明、中性表情,并且没有持道具(道具会导致镜头间手部变形)。
  2. 通过 gemini-api image "<prompt>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<char>_2d.png 生成(或委托给 image-generator 并将输出的 .jpg/.png 复制/转换到 <project_dir>/sheets/)。
  3. 使用 read_file 目视检查每张设定表。如果各面板在比例、服装或线条粗细上不一致,则重新生成。
  4. 使用 gemini-api 时,一次上传批准的设定表(gemini-api files upload <sheet> --wait),以便在所有场景中重用 files/<id> URI。

阶段 3:廉价的 360p 草稿

  1. 通过 gemini-api video 或 generate_video.py --batch jobs_360p.json,使用 gemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p)生成 9:16 的 360p 草稿。jobs_360p.json 中的每个项使用:
    {"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"}
    
  2. 将不可变的三视图设定表(-i / --image,最多 6 张图像)传递到每个镜头中,并按上传顺序通过自然语言绑定每个角色(切勿使用 <IMAGE_REF_N> 标签)。
  3. 包含逐字的 style_bible、明确的负面约束(无屏幕文字、无水印、空白标志)以及单镜头或时间码节拍。
  4. 对于 2 角色镜头,在空间上分隔角色(左/右)或使用正反打镜头,以防止属性混合。
  5. 对于直接连续剪辑,提取场景 N 的最后一个干净帧作为辅助锚点,同时保留规范的设定表作为主要锚点。

阶段 4:上下文感知的法证级 VLM 质量检查(最多 2-3 次重试)

  1. 从每个草稿剪辑中采样帧(开始、中间、动作峰值、结束)以及前一个镜头的结束帧:
    bash scripts/extract_qa_frames.sh <clip.mp4> <project_dir>/qa/<shot_id> [prev_clip.mp4]
    
  2. 使用 references/qa_rubric.md 运行 gemini-api analyze(或通过 read_file 进行目视检查),传递设定表、前一个结束帧和采样帧。
  3. 通过确切的帧索引和故障代码(HOOK_WEAK、EXTRA_LIMB、STYLE_DRIFT、TEXT_WARP、AUDIO_DESYNC)诊断故障。
  4. 从 references/failure_fix_playbook.md 应用匹配的修复:
    • 小范围局部故障:通过 --previous-interaction-id <id> 就地编辑("<fix>。保持其他所有内容不变。")。
    • 重大的解剖/构图错误:简化动作/摄像机并重新生成。
    • 每个镜头的重试次数上限为 3 次。在 references/failure_fix_playbook.md 中记录任何新发现的修复。

阶段 5:1080p 最终渲染与可选的 2D 转 3D 升级

  1. 以 1080p 重新渲染已批准的镜头(--resolution 1080p)。
  2. 可选的 2D 转 3D 升级: 使用 references/sheet_prompt_templates.md 中的 3D 转换模板,通过 -i <char>_2d.png 将每个批准的 2D 设定表转换为风格化 3D 设定表。通过 read_file 检查,将 style_bible 更新为风格化 3D,然后重新运行已验证的 shot_plan.json。

阶段 6:确定性 FFmpeg 组装

  1. 生成词级时间轴 .srt(gemini-api transcribe -i <audio_or_clip> --format srt)或从剧本时间轴导出。
  2. 将 .srt 转换为安全区的 .ass 卡拉 OK 字幕(位于底部 35% 短片 UI 危险区域上方):
    python3 scripts/srt_to_ass.py <input.srt> <project_dir>/audio/captions.ass
    
  3. 运行探测 -> 调整 -> 拼接 -> 闪避 -> 烧录字幕 -> 2 遍 -14 LUFS 组装脚本:
    bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [voiceover.wav] [bgm.wav]
    
  4. 在交付前验证 final_short.mp4 的尺寸(1080x1920)、时长、音频响度(-14 LUFS)和视觉帧检查。

相关技能