Render Rigged 3D — 完整技能与用户指令工作流
1. 用户如何提供指令(用户的工作流程方法)
每当用户开始一个新的视频重建任务时,他们都会遵循以下精确的工作流程:
- 主工作区中的新项目文件夹(
C:\Users\WayWe Work-Station\Downloads\Mate\<Project Folder>\):- 用户在主工作区文件夹内创建一个以视频主题命名的新文件夹(例如:
"Train Video"、"Job Culture of japan"、"Railroad Video"、"The Window That Breaks Japan's Gambling Law"、"80 Victories in a Plane Nobody Could See")。
- 用户在主工作区文件夹内创建一个以视频主题命名的新文件夹(例如:
- 项目文件夹中的参考视频 + 画外音:
- 在该项目文件夹内,用户放置:
- 一个参考视频(例如,
"Example video 1.mp4"、"Jap vid.mp4"、"My video 0.mp4"、"My video 2.mp4")。 - 一个画外音音频文件,直接放置在项目文件夹内,或放在一个画外音子文件夹(
"VoiceOver"、"VoiceOver 01"、"VoiceOver 02")中,命名为例如"Voiceover.mp3"或"Audio.mp3"。
- 一个参考视频(例如,
- 在该项目文件夹内,用户放置:
- 用户的提示模式:
- 用户要求你:
- 逐帧读取并分析参考视频(
Frame 0到Frame N-1),严格按时间顺序,不跳过或采样帧,检查每一帧以了解:- 精确帧号和时间戳(
frame / fps) - 摄像机位置、角度、移动(
dx, dy、缩放、倾斜、滚动)以及镜头构图 - 每个可见的人物、位置、移动、面部表情、身体姿势、手/手指以及服装/配饰
- 物体、车辆、背景/环境、光照、阴影、文字/标志/标识以及视觉效果
- 帧间比较(哪些变了、哪些没变、移动的方向/幅度、新增/消失的物体、变形、闪烁或生成伪影)
- 精确帧号和时间戳(
- 使用用户的画外音文件,100%从零开始重建完全相同的视频,匹配精确的视觉、高度吸引观众注意力的动画、角色绑定/运动、摄像机编排和清晰的视觉解释——以锁定的18关节3D骨架绑定程序化动画风格渲染,零字幕,并且100%从零开始制作音效和音乐音轨。
- 逐帧读取并分析参考视频(
- 用户要求你:
2. 视觉参考与渲染3D联系表(screenshots/)
A. 火车视频 — 18关节3D绑定重制与宏观热物理(train_rigged_3d_sheet_01..03.jpg)



B. 日本职场文化 — 18关节3D绑定企业动画(japan_rigged_3d_sheet_01..03.jpg)



3. 锁定的18关节3D骨架绑定动画架构
使用Render Rigged 3D创建的所有视频必须使用100%从零开始的3D程序化引擎(PyCairo + NumPy + FFmpeg,分辨率为1080×1920,30.00 fps),零2D简笔人物画捷径和零多边形故障:
A. 无故障3D摄像机与多边形管线(Camera3D、clip_and_project_poly、draw_box_3d)
- 真正的3D透视摄像机(
Camera3D):- 支持世界空间
pos = (x, y, z)、target = (tx, ty, tz)、fov、荷兰角roll、有机手持晃动(math.sin(t * 2.5) * 4.0)、快速推拉镜头、横扫、摇臂俯仰以及高频震动摇晃。
- 支持世界空间
- Sutherland-Hodgman 3D近平面多边形裁剪(
NEAR_Z = 45.0):- 强制性防故障规则:永远不要通过简单地钳制
z_cam来投影越过摄像机的3D顶点。在透视除法之前,始终将每个3D多边形(clip_and_project_poly)针对摄像机近平面z_cam >= 45.0进行裁剪,这样长的轨道、地板、墙壁和桥梁就不会在屏幕上折叠或扭曲。
- 强制性防故障规则:永远不要通过简单地钳制
- 确定性3D朝外法线背面剔除:
- 强制性防闪烁规则:在
draw_box_3d中,永远不要按顶点平均深度对面进行排序(这会导致相邻面在摄像机移动时交换深度顺序并闪烁)。始终使用朝外法线背面剔除(np.dot(face_normal, cam.pos - face_center) > 0),并将长几何体(例如铁路轨道和轨枕)细分为从后到前的片段。
- 强制性防闪烁规则:在
B. 18关节3D铰接式角色绑定(draw_rigged_character_3d)
每个角色都使用18关节骨架层级在3D世界空间中进行动画:
- 躯干与头部链(5个关节):
pelvis->spine->chest->neck->head - 左臂与右臂链(8个关节):
clavicle_L/R->shoulder_L/R->elbow_L/R->wrist_L/R->hand_L/R - 左腿与右腿链(6个关节):
hip_L/R->knee_L/R->ankle_L/R->toe_L/R - 弯曲的3D铰接式肢体(
draw_curved_limb_3d):- 通过
(shoulder, elbow, wrist)和(hip, knee, ankle)的平滑三次贝塞尔曲线铰接肢体,并带有带阴影的3D球形手和3D鞋子。
- 通过
- 3D球形头部、帽子与面部绑定:
- 径向渐变3D带阴影的球形头部,具有透视缩短的眼睛、瞳孔、眉毛和嘴部表情(
neutral、grin、angry、rage、panic、worried、squint、closed_smile),这些表情根据(head_yaw, head_pitch, head_roll)在3D球体表面上旋转。 - 包括周期性眨眼、胸部呼吸(
math.sin(t * 4.5))、汗珠、特定角色的3D帽子/背心/西装(engineer、boss、tycoon、foreman、veteran、worker),以及特殊视觉状态(例如,purple_anger将头部过渡到紫罗兰色,并伴有从双耳喷出的3D白色蒸汽团)。
- 径向渐变3D带阴影的球形头部,具有透视缩短的眼睛、瞳孔、眉毛和嘴部表情(
- 不受遮挡的前方道具分层规则:
- 每当一个角色手持一个可读的前方道具(例如报纸、标志或文件)时,首先绘制3D上臂/下臂(使它们自然地藏在道具后面),其次在胸前绘制道具,第三绘制白色的3D球形手抓住左、右外边缘,这样手臂线条就永远不会穿过文字或插图。
C. 水晶般清晰的视觉叙事与宏观物理视图
- 画外音中描述的每个概念都必须通过清晰的3D场景布置、道具和专用微距镜头在屏幕上直观地解释:
- 宏观3D剖面图与仪表:在解释测量、物理或机制(例如铁轨热膨胀)时,构建一个专用的侧视3D宏观视图(
draw_macro_rail_joint_side_3d),其中包含3D工字钢剖面、螺栓连接的鱼尾板、一个夹住精确间隙的滑动金属游标卡尺、一个上升的水银温度计、一个翻页的日历(MAY->JUNE->JULY)、落入间隙的物理比较对象(银币 与 薄纸片),以及力/应力箭头(==><==)。 - 多子镜头视觉节奏:将较长的叙述句分解为不同的视觉子镜头(例如,子镜头A展示宏观机制 -> 子镜头B展示角色反应;或者子镜头A展示报纸头条 -> 子镜头B展示乘客走向
'ALL ABOARD!'),从而保持视觉节奏的高度活跃和吸引力。
- 宏观3D剖面图与仪表:在解释测量、物理或机制(例如铁轨热膨胀)时,构建一个专用的侧视3D宏观视图(
3. 逐步执行协议
每当在新项目文件夹上触发时:
步骤1:完整的顺序逐帧检查(Frame 0 到 Frame N-1)
- 在参考
.mp4视频上运行analyze_every_frame.py,按时间顺序检查从Frame 0到Frame N-1的每一帧,不跳过任何帧。 - 将完整的顺序逐帧报告保存到
<Project Folder>\Frame_By_Frame_Complete_Analysis_<N>_Frames.md。 - 将
6×4联系表.jpg网格(每秒一帧)和一个48kbps的.mp3音频预览提取到scratch/中,并使用read_file检查每个联系表和音频文件(永远不要对原始.mp4调用read_file)。
步骤2:综合100%从零开始、与用户画外音同步的音频音轨
- 测量用户画外音文件(
Voiceover.mp3/Audio.mp3)的精确时长(VO_DURATION),并将其转换为<Project Folder>\中的44.1 kHz16位立体声Voiceover.wav和Voiceover.mp3。 - 使用
NumPy+SciPy(scipy.signal.butter)编写并运行build_<project>_audio_stems.py,以合成:SFX.wav和SFX.mp3:100%从零开始的物理建模拟音,与每个视觉动作同步(例如,钢锯声、蒸汽噗噗声、汽笛多普勒效应、金属叮当声、硬币/纸张落下声、热应力呻吟声、撞击声、爆炸声)。Music.wav和Music.mp3:100%从零开始的多幕电影/氛围配乐,与情感弧线相匹配。Full_Mixed_Audio.wav和Full_Mixed_Audio.mp3:结合Voiceover + SFX + Music的主混音,带有自动包络闪避,使画外音保持水晶般清晰。
步骤3:构建并预览验证18关节3D绑定渲染脚本
- 编写
render_<project>_rigged_3d_from_scratch.py,将每个参考镜头和视觉解释映射到精确的VO_DURATION(TOTAL_FRAMES = int(math.ceil(VO_DURATION * 30)))上。 - 强制性渲染前视觉检查(
preview模式):- 运行
python render_<project>_rigged_3d_from_scratch.py preview以生成3个联系表(sheet_01.jpg、sheet_02.jpg、sheet_03.jpg,均匀分布在0.0s .. VO_DURATION上的72个图块)。 - 通过
read_file检查所有3个联系表,以验证:- 零3D多边形扭曲或盒面闪烁
- 零道具/肢体重叠(手在报纸/标志的外边缘,帽子/伞正确分层)
- 每个故事节拍和物理机制在视觉上都清晰
- 零画外音字幕
- 运行
步骤4:渲染完整的30 FPS 1080×1920视频并验证交付物
- 运行
python render_<project>_rigged_3d_from_scratch.py,以1080×1920(30.00 fps)渲染所有TOTAL_FRAMES帧,并与Full_Mixed_Audio.wav进行复用。 - 验证
<Project Folder>\包含所有必需的交付物:Final_Video_No_Captions.mp4(完整混合音频,零字幕)Pure_3D_Procedural_From_Scratch_No_Captions.mp4(纯3D绑定渲染副本)Video_Only_No_Captions_Muted.mp4(干净的静音视频母版)Frame_By_Frame_Complete_Analysis_<N>_Frames.mdVoiceover.wav和Voiceover.mp3SFX.wav和SFX.mp3Music.wav和Music.mp3Full_Mixed_Audio.wav和Full_Mixed_Audio.mp3scripts/包含完整的Python生成器脚本。





