Communitygithub.com

视频生成技能集

掌握适用于 Remotion 的全能视频导演与生成器。包含两大视觉引擎:1) 角色故事与戏剧引擎(程序化 2D 扁平卡通角色、对话气泡、房间背景、口型同步、心理/教育叙事),以及 2) 动态运动图形与推广引擎(商业广告、SaaS/电商讲解、点阵网格、手机模型、卡片机制、带有霓虹绿高亮的深色字幕药丸)。具备动态脚本驱动的素材合成(绝不重复使用无关图标;自动为每个独特主题设计自定义 SVG 矢量组件)、音频/SRT 同步或 Cartesia Sonic TTS、自检视觉检查以及严格的两点审批工作流程。

视频生成技能集 是什么?

这是一个用于 Remotion 的自动化视频生成技能,专注于 9:16 竖屏短视频(YouTube Shorts, TikTok, Instagram Reels, Facebook Ads)。该技能在单一统一项目下封装了两个不同的视觉引擎:模式 1(角色故事引擎)用于使用程序化 2D 扁平角色、对话气泡、口型同步和动态场景背景构建角色驱动的叙事。模式 2(动态推广引擎)用于创建具有点阵纹理、品牌标题、手机模型和深色字幕药丸效果的商业广告、SaaS 演示和电商推广。 该技能严格遵守数据驱动的通用架构,所有脚本特定的更改(角色外观、对话、动作、道具)仅通过单个输入 JSON 文件配置。管道包括脚本分析、TTS 音频生成、时间线编译和 Remotion 渲染。它包含严格的规则,例如选择性字幕(避免与气泡重复)、智能口型同步(仅活跃说话者)、时间校准的角色颤抖限制(最多 1.2 秒)以及严格 4-10 秒的场景粒度。对于 2 个以上的角色,支持动态角色投放和背景人群层,而一个语义回退系统可为未列出的场景类型动态生成背景。

兼容平台✓Claude Code✓Codex CLI✓Cursor✓Gemini CLI
npx skills add https://github.com/nsshan98/video-generation-skills/tree/HEAD

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

通用双引擎视频导演与生成器 (v4.0)

专业级自动化视频生成技能,基于 Remotion,专为 9:16 竖屏短视频(YouTube Shorts, TikTok, Instagram Reels, Facebook Ads)设计。在单一统一项目下封装了两个不同的视觉引擎:

                                  ┌────────────────────────┐
                                  │  用户脚本或音频        │
                                  └───────────┬────────────┘
                                              │
                      ┌───────────────────────┴───────────────────────┐
                      ▼                                               ▼
         [ 模式 1: 角色故事 ]                  [ 模式 2: 动态推广 ]
      - 程序化 2D 扁平角色                       - 2D 扁平动态运动图形
      - 对话与思想标注气泡                       - 固定品牌标题与角标水印
      - 100% 全屏房间与姿态                      - 点阵浮动画布
      - 选择性字幕(无重复)                     - 深色底部字幕药丸 + 霓虹绿
      - 心理与生活叙事                           - 脚本驱动的定制矢量资产

1. 引擎模式选择 (Dual-Engine Mode Selection)

用户仅需安装或使用一个技能。系统将根据脚本类型或用户指令自动激活正确的引擎:

模式触发关键词脚本类型视觉隐喻与风格
模式 1: 角色故事引擎story, cartoon, drama, character, golpo, গল্প, কার্টুন角色驱动的对话、心理冲突、教育故事、播客叙事程序化 2D 扁平角色、口型同步、对话气泡、全屏卧室/办公室房间背景
模式 2: 动态运动图形与推广引擎promo, ad, commercial, saas, kinetic, explainer, বিজ্ঞাপন, প্রমো产品广告、SaaS/软件演示、电商推广、商业策略点阵纹理、品牌标题、角落水印、手机模型、卡片机制、深色底部字幕药丸

[!TIP] 如果用户未指定模式,当脚本包含可见角色或对话时,将自动选择模式 1 (故事);当脚本涉及商业问题/产品解决方案时,将自动选择模式 2 (推广),并在确认表格中注明。


2. ⚠️ 极其重要的规则:100% 数据驱动的通用技能架构 (Universal Data-Driven Architecture)

[!CAUTION] 严格禁止为每个新脚本创建新的 React 组件、代码文件、单独文件夹或一次性 .mjs 脚本! 这是一个全局通用技能,任何用户均可安装并用于任何主题的脚本。 所有特定于脚本的更改(角色外观、服装、背景主题、对话、动作节拍、信息图和选择性卡片)只能通过 1 个输入 JSON 文件进行配置。

通用视频生成管道(仅需 2 个命令):

  1. 从脚本自动合成并生成输入 JSON(AI 导演分析器):
    • 自动分析脚本内容、身体活动、对象/道具、情感和对话,以创建动态故事板:
    python3 scripts/analyze-script-director.py --script=scripts/<故事名称>.txt --out=scripts/<故事名称>-input.json
    
    • 或者,参考 examples/sample-story-input.json,根据场景手动创建 scripts/<故事名称>-input.json。
  2. 通用音频与时间合成:
    node scripts/tts-engine.mjs --input=scripts/<故事名称>-input.json
    
    • 这将自动使用 Cartesia 或选定的 TTS 为每个场景生成语音,并将精确的音频秒/帧时间保存到输入 JSON 中。
  3. 通用时间线编译:
    node scripts/build-story-timeline.mjs --input=scripts/<故事名称>-input.json
    
    • 这将为 Remotion 生成准备好的 template/src/timeline.json。
  4. 预览检查与完整渲染:
    cd template && npx remotion render src/index.ts Main ./out/<视频名称>.mp4 --concurrency=4
    

3. 模式 1:角色故事引擎规则 (Mode 1 Guidelines)

  1. 角色塑造、选角与超过 3 个角色的舞台编排 (Dynamic Character Casting & Staging):
    • 根据脚本选角:确定脚本需要多少角色,并为每个角色创建不同的身份。
    • 面部独特性:如果有多个角色,绝不能克隆相同的面孔/眼镜。必须在年龄、发型和服装上存在明显差异。
    • 眼镜使用:只有老年角色或特定职业的角色才应佩戴眼镜;严禁为普通顾客或员工随意添加圆框眼镜。
    • 服装与身份:店主(旁遮普服/库尔塔)、销售员工(制服/Polo 衫)、顾客(休闲 T 恤/连帽衫)。
    • 实心发际线帽:头顶应完全被覆盖(不能有空白的月牙形间隙)。
    • 缩放与取景(1、2 或 3 个角色):
      • 1 个角色:scale: 1.85,居中 (center) 或靠左/靠右。
      • 2 个角色:scale: 1.75,左右分布 (left: 80, right: 80, bottom: 160)。
      • 3 个角色 (tertiaryCharacter):在 9:16 画面中放置 3 人时,为确保精确构图,使用 scale: 1.55。次要角色靠左 (left: 20),第三角色居中 (center),主要角色靠右 (right: 20, flip: true)。
    • 背景人群层 (crowd):
      • 如果商店有顾客或办公室有团队,请添加 crowd: "shoppers" | "office_team" | "village_crowd" | "classroom_students"。人群将以较小比例 (scale: 1.1 - 1.15),位于角色后方 (zIndex: 12),靠底部 (bottom: 240-260),带轻微模糊 (blur: 2px),以营造自然的景深效果。
  2. 环境与上下文分析 (Dynamic Environment & Semantic Procedural Fallback):
    • 根据环境使用 26 个以上的预制背景主题:
      • 商店:clothing_store, electronics_store, pharmacy, grocery_store
      • 家庭与聚会:living_room, home_study, tea_stall, cafe, wedding_hall
      • 办公室与机构:corporate_office, hospital_clinic, police_station, classroom, deep_library
      • 乡村与户外:village_bazaar, village_sunset, street_outdoor, bus_interior
      • 情绪与冲突:dark_conflict, dramatic_red, blue_melancholy, golden_sunrise
    • 智能语义程序化房间生成器 (No Blind Office Fallback):
      • 如果遇到全新或未列出的主题(例如 bakery, gym, bank, courtroom, kitchen),引擎不会盲目地使用办公室;而是会解码主题名称,并自动生成相关的轮廓、标牌和室内颜色向量。
    • 每个场景从开始到结束都应 100% 全屏 (width: 100%, height: 100%)。
  3. 相机抖动与角色颤抖规则 (Tone-Calibrated Screen Shake & Character Tremble - STRICT MAX 1.0-1.2 SECONDS):
    • ⚠️ 禁止持续抖动或角色颤抖:在任何情况下,都不能在单个场景中持续抖动相机或让角色颤抖 10-20 秒。这会极度引起观众反感。
    • 角色颤抖限制 (trembleX):当角色感到恐惧、愤怒或震惊时,颤抖最多持续 1.0 到 1.2 秒(30-36 帧),然后平滑衰减至零并恢复正常姿态。
    • 音调检查:在普通对话、正常争论、顾客交谈或叙述中,屏幕和角色应完全静止 (screenShake: false)。
    • 突然震动限制:仅当发生极度强烈的突然冲击或震动时,才允许最多 1.0 到 1.2 秒(30-36 帧) 的短暂抖动,随后应平滑衰减,相机恢复静止。
  4. 语音与思想气泡 (SpeechCalloutBubble):
    • 垂直位置 top: 650,确保气泡的尾部直接指向说话角色的头部(左侧 left: 180,右侧 right: 180)。
    • 说话者名称标签:浮动在气泡上方 (zIndex: 60, padding: "5px 20px", border: "2.5px solid #ffffff")。
  5. ⚠️ 选择性字幕与精确语音同步字幕 (Selective Subtitles & Voice-Matched Karaoke Pill):
    • 当屏幕上显示语音气泡或全屏中心卡片时,下方不能出现独立字幕(零重复)。
    • 仅当上方没有气泡或卡片时,才会根据旁白的实际语音文本,在屏幕底部动态显示由 3-5 个单词组成的精炼短语字幕。
    • 字幕绝不能拉伸为单行静态摘要;屏幕上显示的内容必须与音频中实际说出的单词逐短语实时匹配。
    • 视觉效果:
      • 每个短语出现时,会以一个深色玻璃胶囊药丸的形式呈现,并带有平滑的弹簧弹跳 (spring 缩放) 动画。
      • 当前正在说出的单词:霓虹绿 (#22C55E) 发光文本 + 背景药丸高亮 + scale(1.08) 敲击效果。
      • 高亮关键词:鲜艳的琥珀色/金色徽章 (#F59E0B ➔ #EA580C)。
      • 短语过渡期间不能出现空白帧或闪烁;必须从前一个短语无缝过渡到下一个。
  6. ⚠️ 口型同步与活跃说话者规则 (Selective Speaker Lip-Sync Rule):
    • 当屏幕上有多人时,只有语音气泡所指示的说话者 (speechBubble.speakerPosition) 的嘴部才会活动 (isSpeaking: true)。
    • 其他听众或聆听角色的嘴部应保持静止闭合状态 (isSpeaking: false -> 闭合的休息线)。两个人的嘴部绝不能同时活动。
  7. ⚠️ 旁白与对话时间规则 (Narrator vs Dialogue Timing Rule):
    • 在任何场景中,如果旁白或叙述者正在以第三人称叙述事件,则屏幕上任何角色的嘴部都不能活动 (isSpeaking: false),也不应出现语音气泡。
    • 语音气泡仅当角色以第一人称进行对话时,在指定的帧中 (speechBubbles: [{ start, duration }]) 出现,并且只有在该特定时间段内其嘴部才能活动;对话结束后气泡消失,嘴部恢复闭合状态。
  8. ⚠️ 角色身份与对话完整性 (Speaker Identity & Role Integrity):
    • 一个角色的对话绝不能由另一个服装身份的角色说出(例如:员工的台词从顾客口中说出是严重的错误)。
    • 如果场景中对话的角色发生变化(例如,从店主/员工变为顾客的进入):必须将场景分割成更小的镜头(Camera Cut),以确保屏幕上出现的是穿着正确服装、正在说话的那个角色。
  9. ⚠️ 身体活动与即时动作节拍 (At-A-Glance Timed Action Beats):
    • 不能让角色像机器人一样伸直手臂站着一动不动,也不能将任何动作在整个场景中冻结 10-15 秒。
    • 动作和道具应仅在相关对话期间快速闪现(2.0 到 3.5 秒) (characterPoses / secondaryPoses):
      • 检查账本 (checking_khata):说到账本或账目时,双手捧起红色账本观看,眼睛向下看;对话结束后放下账本,恢复正常姿态。
      • 搜索库存 (searching_inventory):说到搜索对话时,向货架方向伸手,出现放大镜和空货架标签;话说完后放下手,正常说话。
      • 拿起样品衬衫 (holding_shirt):顾客要求衬衫的瞬间,举起挂有衬衫的衣架 2-3 秒,然后放下手臂等待。
      • 不耐烦地等待 (arms_crossed):双臂交叉于胸前站立。
  10. ⚠️ 短视频节奏与卡片停留限制 (Max 12-18s Card/Scene Retention Rule):
    • 在 TikTok、YouTube Shorts 或 Reels 中,绝不能将单个静态运动图形或信息图卡片固定显示 20-40 秒。这会导致极高的观众流失率(Audience Drop-off / Retention Killer)。
    • 长段叙述或解释性文本(如故事的寓意与结尾)必须自动分割成更小的视觉节拍:
      1. 角色情感解决 / 自我领悟动画场景 (12-15 秒):展示主角情感与无声结局。
      2. 核心寓意对比卡片 (15-18 秒):展示可以快速阅读的关键点对比。
      3. 观众互动与关注 CTA 卡片 (10-12 秒):直接邀请观众评论和关注。
    • 每个场景和卡片必须在 8 到 18 秒内切换,以提供新的视觉刺激。
  11. ⚠️ 根据活动的视觉映射与道具 (Activity-Driven Visual Storytelling & Literal Narrative Mapping):
    • 当脚本或画外音提及特定身体活动时(例如:“眼睛没离开电脑地说”、“坐在桌前工作”、“老板叫来”、“递交辞职信”、“抗议”):
      • 场景中必须能看到该活动和相应的道具 (prop: "office_desk_computer" | "executive_desk" | "ceo_office_desk" | "resignation_letters" 以及角色姿势 using_computer | sitting_desk | pointing | reading_document | celebrating)。
      • 不能让角色像机器人一样站在空房间里;如果描述中提到电脑或办公桌,必须展现坐在桌前面对显示器工作的视角。
  12. ⚠️ 场景分割与频繁场景变换 (Strict 4-10s Scene Granularity & Dynamic Perspective Rule):
    • 在整个故事中,绝不能将单个背景或画面连续保持 20-30 秒。随着画外音中主题或情绪的变化,视觉场景也必须进行切换(Scene Cut)。
    • 每个场景最长持续 4 到 10 秒。
    • 当描述中提到时间变化、职位转变或地点移动时(例如:普通员工 ➔ 抗议 ➔ 闲聊 ➔ 经理晋升 ➔ 警告通知 ➔ 同事的恐惧 ➔ 与苏曼的冲突 ➔ 集体辞职 ➔ 老板办公室 ➔ 独自感悟),必须为每个环节提供独立的视觉场景、画面和视角。
  13. ⚠️ 通用动作、对象与座位矩阵 (Universal Semantic Action-to-Prop & Seating Matrix):
    • 无论脚本中提及什么主题或环境,都不能让角色盲目站立;必须根据以下矩阵自动提供道具和座位: | 场景与上下文 | 自动道具 (prop) | 座位位置 | |---|---|---| | 办公室/办公桌工作 | office_desk_computer, desk_books, note_pad | sitting_at_desk,底部 bottom: 240-265 | | 会议室/会议 | meeting_table, conference_chair, laptop | sitting_at_table,底部 bottom: 210-230 | | 咖啡馆/茶馆 | cafe_table, teacup, cake_plate | sitting_at_cafe_table,底部 bottom: 190-210 | | 商店/柜台后 | cash_register, price_tag, counter | standing_behind_counter,底部 bottom: 280-300 | | 家庭/沙发 | sofa, cushion, remote_control | sitting_on_sofa,底部 bottom: 180-200 | | 泥土地板/户外活动 | Jhuri, paddy, bamboo_basket | sitting_on_floor,底部 bottom: 220-240 | | 站立对话 | pan, hand_gesture | standing,底部 bottom: 150-170 | | 学校/教室 | school_bench, blackboard, book | sitting_at_bench,底部 bottom: 240-260 |

(有关模式 2 规则和完整的工作流程细节,请参阅完整的技能文档。)

相关技能