通用双引擎视频导演与生成器 (v4.0)
专业级自动化视频生成技能,基于 Remotion,专为 9:16 竖屏短视频(YouTube Shorts, TikTok, Instagram Reels, Facebook Ads)设计。在单一统一项目下封装了两个不同的视觉引擎:
┌────────────────────────┐
│ 用户脚本或音频 │
└───────────┬────────────┘
│
┌───────────────────────┴───────────────────────┐
▼ ▼
[ 模式 1: 角色故事 ] [ 模式 2: 动态推广 ]
- 程序化 2D 扁平角色 - 2D 扁平动态运动图形
- 对话与思想标注气泡 - 固定品牌标题与角标水印
- 100% 全屏房间与姿态 - 点阵浮动画布
- 选择性字幕(无重复) - 深色底部字幕药丸 + 霓虹绿
- 心理与生活叙事 - 脚本驱动的定制矢量资产
1. 引擎模式选择 (Dual-Engine Mode Selection)
用户仅需安装或使用一个技能。系统将根据脚本类型或用户指令自动激活正确的引擎:
| 模式 | 触发关键词 | 脚本类型 | 视觉隐喻与风格 |
|---|---|---|---|
| 模式 1: 角色故事引擎 | story, cartoon, drama, character, golpo, গল্প, কার্টুন | 角色驱动的对话、心理冲突、教育故事、播客叙事 | 程序化 2D 扁平角色、口型同步、对话气泡、全屏卧室/办公室房间背景 |
| 模式 2: 动态运动图形与推广引擎 | promo, ad, commercial, saas, kinetic, explainer, বিজ্ঞাপন, প্রমো | 产品广告、SaaS/软件演示、电商推广、商业策略 | 点阵纹理、品牌标题、角落水印、手机模型、卡片机制、深色底部字幕药丸 |
[!TIP] 如果用户未指定模式,当脚本包含可见角色或对话时,将自动选择模式 1 (故事);当脚本涉及商业问题/产品解决方案时,将自动选择模式 2 (推广),并在确认表格中注明。
2. ⚠️ 极其重要的规则:100% 数据驱动的通用技能架构 (Universal Data-Driven Architecture)
[!CAUTION] 严格禁止为每个新脚本创建新的 React 组件、代码文件、单独文件夹或一次性
.mjs脚本! 这是一个全局通用技能,任何用户均可安装并用于任何主题的脚本。 所有特定于脚本的更改(角色外观、服装、背景主题、对话、动作节拍、信息图和选择性卡片)只能通过 1 个输入 JSON 文件进行配置。
通用视频生成管道(仅需 2 个命令):
- 从脚本自动合成并生成输入 JSON(AI 导演分析器):
- 自动分析脚本内容、身体活动、对象/道具、情感和对话,以创建动态故事板:
python3 scripts/analyze-script-director.py --script=scripts/<故事名称>.txt --out=scripts/<故事名称>-input.json- 或者,参考
examples/sample-story-input.json,根据场景手动创建scripts/<故事名称>-input.json。
- 通用音频与时间合成:
node scripts/tts-engine.mjs --input=scripts/<故事名称>-input.json- 这将自动使用 Cartesia 或选定的 TTS 为每个场景生成语音,并将精确的音频秒/帧时间保存到输入 JSON 中。
- 通用时间线编译:
node scripts/build-story-timeline.mjs --input=scripts/<故事名称>-input.json- 这将为 Remotion 生成准备好的
template/src/timeline.json。
- 这将为 Remotion 生成准备好的
- 预览检查与完整渲染:
cd template && npx remotion render src/index.ts Main ./out/<视频名称>.mp4 --concurrency=4
3. 模式 1:角色故事引擎规则 (Mode 1 Guidelines)
- 角色塑造、选角与超过 3 个角色的舞台编排 (Dynamic Character Casting & Staging):
- 根据脚本选角:确定脚本需要多少角色,并为每个角色创建不同的身份。
- 面部独特性:如果有多个角色,绝不能克隆相同的面孔/眼镜。必须在年龄、发型和服装上存在明显差异。
- 眼镜使用:只有老年角色或特定职业的角色才应佩戴眼镜;严禁为普通顾客或员工随意添加圆框眼镜。
- 服装与身份:店主(旁遮普服/库尔塔)、销售员工(制服/Polo 衫)、顾客(休闲 T 恤/连帽衫)。
- 实心发际线帽:头顶应完全被覆盖(不能有空白的月牙形间隙)。
- 缩放与取景(1、2 或 3 个角色):
- 1 个角色:
scale: 1.85,居中 (center) 或靠左/靠右。 - 2 个角色:
scale: 1.75,左右分布 (left: 80,right: 80,bottom: 160)。 - 3 个角色 (
tertiaryCharacter):在 9:16 画面中放置 3 人时,为确保精确构图,使用scale: 1.55。次要角色靠左 (left: 20),第三角色居中 (center),主要角色靠右 (right: 20,flip: true)。
- 1 个角色:
- 背景人群层 (
crowd):- 如果商店有顾客或办公室有团队,请添加
crowd: "shoppers"|"office_team"|"village_crowd"|"classroom_students"。人群将以较小比例 (scale: 1.1 - 1.15),位于角色后方 (zIndex: 12),靠底部 (bottom: 240-260),带轻微模糊 (blur: 2px),以营造自然的景深效果。
- 如果商店有顾客或办公室有团队,请添加
- 环境与上下文分析 (Dynamic Environment & Semantic Procedural Fallback):
- 根据环境使用 26 个以上的预制背景主题:
- 商店:
clothing_store,electronics_store,pharmacy,grocery_store - 家庭与聚会:
living_room,home_study,tea_stall,cafe,wedding_hall - 办公室与机构:
corporate_office,hospital_clinic,police_station,classroom,deep_library - 乡村与户外:
village_bazaar,village_sunset,street_outdoor,bus_interior - 情绪与冲突:
dark_conflict,dramatic_red,blue_melancholy,golden_sunrise
- 商店:
- 智能语义程序化房间生成器 (No Blind Office Fallback):
- 如果遇到全新或未列出的主题(例如
bakery,gym,bank,courtroom,kitchen),引擎不会盲目地使用办公室;而是会解码主题名称,并自动生成相关的轮廓、标牌和室内颜色向量。
- 如果遇到全新或未列出的主题(例如
- 每个场景从开始到结束都应 100% 全屏 (
width: 100%, height: 100%)。
- 根据环境使用 26 个以上的预制背景主题:
- 相机抖动与角色颤抖规则 (Tone-Calibrated Screen Shake & Character Tremble - STRICT MAX 1.0-1.2 SECONDS):
- ⚠️ 禁止持续抖动或角色颤抖:在任何情况下,都不能在单个场景中持续抖动相机或让角色颤抖 10-20 秒。这会极度引起观众反感。
- 角色颤抖限制 (
trembleX):当角色感到恐惧、愤怒或震惊时,颤抖最多持续 1.0 到 1.2 秒(30-36 帧),然后平滑衰减至零并恢复正常姿态。 - 音调检查:在普通对话、正常争论、顾客交谈或叙述中,屏幕和角色应完全静止 (
screenShake: false)。 - 突然震动限制:仅当发生极度强烈的突然冲击或震动时,才允许最多 1.0 到 1.2 秒(30-36 帧) 的短暂抖动,随后应平滑衰减,相机恢复静止。
- 语音与思想气泡 (
SpeechCalloutBubble):- 垂直位置
top: 650,确保气泡的尾部直接指向说话角色的头部(左侧left: 180,右侧right: 180)。 - 说话者名称标签:浮动在气泡上方 (
zIndex: 60,padding: "5px 20px",border: "2.5px solid #ffffff")。
- 垂直位置
- ⚠️ 选择性字幕与精确语音同步字幕 (Selective Subtitles & Voice-Matched Karaoke Pill):
- 当屏幕上显示语音气泡或全屏中心卡片时,下方不能出现独立字幕(零重复)。
- 仅当上方没有气泡或卡片时,才会根据旁白的实际语音文本,在屏幕底部动态显示由 3-5 个单词组成的精炼短语字幕。
- 字幕绝不能拉伸为单行静态摘要;屏幕上显示的内容必须与音频中实际说出的单词逐短语实时匹配。
- 视觉效果:
- 每个短语出现时,会以一个深色玻璃胶囊药丸的形式呈现,并带有平滑的弹簧弹跳 (
spring缩放) 动画。 - 当前正在说出的单词:霓虹绿 (
#22C55E) 发光文本 + 背景药丸高亮 +scale(1.08)敲击效果。 - 高亮关键词:鲜艳的琥珀色/金色徽章 (
#F59E0B➔#EA580C)。 - 短语过渡期间不能出现空白帧或闪烁;必须从前一个短语无缝过渡到下一个。
- 每个短语出现时,会以一个深色玻璃胶囊药丸的形式呈现,并带有平滑的弹簧弹跳 (
- ⚠️ 口型同步与活跃说话者规则 (Selective Speaker Lip-Sync Rule):
- 当屏幕上有多人时,只有语音气泡所指示的说话者 (
speechBubble.speakerPosition) 的嘴部才会活动 (isSpeaking: true)。 - 其他听众或聆听角色的嘴部应保持静止闭合状态 (
isSpeaking: false-> 闭合的休息线)。两个人的嘴部绝不能同时活动。
- 当屏幕上有多人时,只有语音气泡所指示的说话者 (
- ⚠️ 旁白与对话时间规则 (Narrator vs Dialogue Timing Rule):
- 在任何场景中,如果旁白或叙述者正在以第三人称叙述事件,则屏幕上任何角色的嘴部都不能活动 (
isSpeaking: false),也不应出现语音气泡。 - 语音气泡仅当角色以第一人称进行对话时,在指定的帧中 (
speechBubbles: [{ start, duration }]) 出现,并且只有在该特定时间段内其嘴部才能活动;对话结束后气泡消失,嘴部恢复闭合状态。
- 在任何场景中,如果旁白或叙述者正在以第三人称叙述事件,则屏幕上任何角色的嘴部都不能活动 (
- ⚠️ 角色身份与对话完整性 (Speaker Identity & Role Integrity):
- 一个角色的对话绝不能由另一个服装身份的角色说出(例如:员工的台词从顾客口中说出是严重的错误)。
- 如果场景中对话的角色发生变化(例如,从店主/员工变为顾客的进入):必须将场景分割成更小的镜头(Camera Cut),以确保屏幕上出现的是穿着正确服装、正在说话的那个角色。
- ⚠️ 身体活动与即时动作节拍 (At-A-Glance Timed Action Beats):
- 不能让角色像机器人一样伸直手臂站着一动不动,也不能将任何动作在整个场景中冻结 10-15 秒。
- 动作和道具应仅在相关对话期间快速闪现(2.0 到 3.5 秒) (
characterPoses/secondaryPoses):- 检查账本 (
checking_khata):说到账本或账目时,双手捧起红色账本观看,眼睛向下看;对话结束后放下账本,恢复正常姿态。 - 搜索库存 (
searching_inventory):说到搜索对话时,向货架方向伸手,出现放大镜和空货架标签;话说完后放下手,正常说话。 - 拿起样品衬衫 (
holding_shirt):顾客要求衬衫的瞬间,举起挂有衬衫的衣架 2-3 秒,然后放下手臂等待。 - 不耐烦地等待 (
arms_crossed):双臂交叉于胸前站立。
- 检查账本 (
- ⚠️ 短视频节奏与卡片停留限制 (Max 12-18s Card/Scene Retention Rule):
- 在 TikTok、YouTube Shorts 或 Reels 中,绝不能将单个静态运动图形或信息图卡片固定显示 20-40 秒。这会导致极高的观众流失率(Audience Drop-off / Retention Killer)。
- 长段叙述或解释性文本(如故事的寓意与结尾)必须自动分割成更小的视觉节拍:
- 角色情感解决 / 自我领悟动画场景 (12-15 秒):展示主角情感与无声结局。
- 核心寓意对比卡片 (15-18 秒):展示可以快速阅读的关键点对比。
- 观众互动与关注 CTA 卡片 (10-12 秒):直接邀请观众评论和关注。
- 每个场景和卡片必须在 8 到 18 秒内切换,以提供新的视觉刺激。
- ⚠️ 根据活动的视觉映射与道具 (Activity-Driven Visual Storytelling & Literal Narrative Mapping):
- 当脚本或画外音提及特定身体活动时(例如:“眼睛没离开电脑地说”、“坐在桌前工作”、“老板叫来”、“递交辞职信”、“抗议”):
- 场景中必须能看到该活动和相应的道具 (
prop: "office_desk_computer"|"executive_desk"|"ceo_office_desk"|"resignation_letters"以及角色姿势using_computer|sitting_desk|pointing|reading_document|celebrating)。 - 不能让角色像机器人一样站在空房间里;如果描述中提到电脑或办公桌,必须展现坐在桌前面对显示器工作的视角。
- 场景中必须能看到该活动和相应的道具 (
- 当脚本或画外音提及特定身体活动时(例如:“眼睛没离开电脑地说”、“坐在桌前工作”、“老板叫来”、“递交辞职信”、“抗议”):
- ⚠️ 场景分割与频繁场景变换 (Strict 4-10s Scene Granularity & Dynamic Perspective Rule):
- 在整个故事中,绝不能将单个背景或画面连续保持 20-30 秒。随着画外音中主题或情绪的变化,视觉场景也必须进行切换(Scene Cut)。
- 每个场景最长持续 4 到 10 秒。
- 当描述中提到时间变化、职位转变或地点移动时(例如:普通员工 ➔ 抗议 ➔ 闲聊 ➔ 经理晋升 ➔ 警告通知 ➔ 同事的恐惧 ➔ 与苏曼的冲突 ➔ 集体辞职 ➔ 老板办公室 ➔ 独自感悟),必须为每个环节提供独立的视觉场景、画面和视角。
- ⚠️ 通用动作、对象与座位矩阵 (Universal Semantic Action-to-Prop & Seating Matrix):
- 无论脚本中提及什么主题或环境,都不能让角色盲目站立;必须根据以下矩阵自动提供道具和座位:
| 场景与上下文 | 自动道具 (
prop) | 座位位置 | |---|---|---| |办公室/办公桌工作|office_desk_computer,desk_books,note_pad|sitting_at_desk,底部bottom: 240-265| |会议室/会议|meeting_table,conference_chair,laptop|sitting_at_table,底部bottom: 210-230| |咖啡馆/茶馆|cafe_table,teacup,cake_plate|sitting_at_cafe_table,底部bottom: 190-210| |商店/柜台后|cash_register,price_tag,counter|standing_behind_counter,底部bottom: 280-300| |家庭/沙发|sofa,cushion,remote_control|sitting_on_sofa,底部bottom: 180-200| |泥土地板/户外活动|Jhuri,paddy,bamboo_basket|sitting_on_floor,底部bottom: 220-240| |站立对话|pan,hand_gesture|standing,底部bottom: 150-170| |学校/教室|school_bench,blackboard,book|sitting_at_bench,底部bottom: 240-260|
- 无论脚本中提及什么主题或环境,都不能让角色盲目站立;必须根据以下矩阵自动提供道具和座位:
| 场景与上下文 | 自动道具 (
(有关模式 2 规则和完整的工作流程细节,请参阅完整的技能文档。)