沉浸式空间视频制作
本技能适用于环绕或部分环绕观众的被动视频交付物:单目360度、立体360度、VR180、空间视频、穹顶/宽视场视频以及头戴设备优先的沉浸式影片。它帮助AI代理做出制作决策、编写拍摄和后期制作计划、审查输出,并排除交付失败问题,而无需依赖任何特定相机供应商、头戴设备或生成器。
请勿将此技能用于交互式XR应用、OpenXR/WebXR应用设计、体积场景生成、高斯泼溅/世界模型导航、实时游戏引擎构建,或普通的平面16:9/9:16剪辑,除非请求的输出明确需要球形、立体、空间、宽视场或头戴设备交付。
证据地图
以下记录的事实使用了这些来源,除非内联指定了来源日期,否则已验证至 2026-07-11:
- Apple Human Interface Guidelines, "Immersive experiences," https://developer.apple.com/design/human-interface-guidelines/immersive-experiences。访问路径:Apple Developer > Design > Human Interface Guidelines > Immersive experiences。支持本技能中关于 visionOS 透视、沉浸样式、1.5米边界、移动、权限、注意力提示和过渡舒适度的声明。
- Apple Human Interface Guidelines, "Playing video," https://developer.apple.com/design/human-interface-guidelines/playing-video。访问路径:Apple Developer > Design > Human Interface Guidelines > Playing video。支持本技能中关于系统视频播放器、原始宽高比、字幕/传输控制、visionOS 舒适度、自动全沉浸警告、缩略图轨道和 RealityKit 隐蔽字幕的声明。
- Apple Developer Documentation, "Reading stereoscopic 3D video files," https://developer.apple.com/documentation/avfoundation/media_reading_and_writing/reading_stereoscopic_3d_video_files。访问路径:Apple Developer > Documentation > AVFoundation > Media reading and writing > Reading stereoscopic 3D video files。仅用于支持 Apple 记录了 AVFoundation 读取立体视频文件工作流程这一声明。
- Apple Developer Documentation, "Writing spatial video," https://developer.apple.com/documentation/avfoundation/media_reading_and_writing/writing_spatial_video。访问路径:Apple Developer > Documentation > AVFoundation > Media reading and writing > Writing spatial video。仅用于支持 Apple 记录了 AVFoundation 写入空间视频工作流程这一声明。
- YouTube Help: Upload 180- or 360-degree videos; Use spatial audio in 360-degree and VR videos。
- Google Spatial Media Spherical Video V2 RFC and Spatial Audio RFC, plus Spatial Media Metadata Injector v2.1 release notes。
- Khronos OpenXR and W3C WebXR specifications for boundary definition only: they describe interactive XR runtimes, not passive video production deliverables。
- 专业制作启发式方法被标记为启发式,因为舒适度阈值因头戴设备光学系统、观众敏感度、屏幕比例和播放应用而异。
代理必须首先决定的事项
首先询问观众需要什么类型的临场感,然后选择能够实现该目标的最小沉浸式格式。
| 格式 | 何时使用 | 何时避免 | 制作影响 |
|---|---|---|---|
| 单目 360度 | 场地、活动、新闻、建筑、纪录片背景或位置调查,其中环顾四周比深度更重要 | 近距离人类表演、亲密感、手臂可触及的物体、剧烈运动 | 更简单的拍摄设备和拼接;深度/比例感较弱;由于一切可见,后期处理设备不理想 |
| 立体 360度 | 观众应在整个球体中感知深度 | 靠近拍摄设备的快速动作、多次接缝穿越、预算低、大量特效、观众可能在平面屏幕上观看 | 最难的拼接;接缝和极点周围的深度不匹配可能令人不适;需要在头戴设备上进行质量检查 |
| VR180 立体 | 表演、教育、旅行、体育、产品演示或具有自然前舞台的故事内容 | 观众必须检查身后或理解整个环境 | 更强的立体质量和更容易的方向引导;工作人员可以在摄像机后方工作;注意力保持在前方 |
| Apple 风格空间视频 | 个人回忆、亲密纪录片、物体级时刻、头戴设备/照片库观看 | 需要完整的180/360度环境或平台中立球形回放 | 视为具有受限视场的立体视频;保留原生元数据并在目标 Apple 回放路径中进行测试 |
| 穹顶或宽视场沉浸式 | 天文馆、装置、模拟器或场地投影 | 头戴设备分发是主要形式 | 需要场地映射、安全地平线和回放系统测试,而非通用 YouTube 元数据 |
| 平面辅助剪辑 | 营销、无障碍、社交预告片、编辑审查、没有头戴设备的利益相关者 | 它是以沉浸式为首要任务的唯一交付物 | 从球形主版本重新构图;不要在没有注意力设计的情况下随意裁剪随机视口 |
记录的事实:YouTube 支持在桌面浏览器以及许多 VR 头戴设备的 YouTube/YouTube VR 应用程序上上传和播放 180 度和 360 度球形视频;YouTube 空间音频支持一阶高保真立体声以及带有头部锁定立体声的一阶高保真立体声。已验证至 2026-07-11,来源为 YouTube Help。
制作启发式:当故事有明确的前方时,优先选择 VR180 立体而非 360 立体,因为它能给观众更强的深度感,并为工作人员提供相机后方的安全操作区域。只有当观众确实需要转身环顾时才使用完整的 360 度。
拍摄规划
一个有用的沉浸式视频简介包括:
- 观众姿势:坐着、站着、仅在现实世界中行走,或场地就坐;
- 预期的观众能动性:环顾周围气氛、前舞台表演、引导式注意或检查;
- 平台优先级:Vision Pro、YouTube VR、Quest 浏览器/播放器、穹顶影院、博物馆播放器、原生应用、存档母版;
- 立体要求:单目、立体 180、立体 360、空间视频,或立体和单目回退版本;
- 音频要求:单声道/立体声、头部锁定立体声、FOA 高保真立体声、FOA 加头部锁定旁白/音乐,或平台特定的空间混音;
- 无障碍要求:字幕/隐藏式字幕、文字稿、音频描述、运动舒适度版本和平面回退版本;
- 权利边界:人物、私人财产、敏感位置几何、旁观者、标识、音乐和平台条款。
拍摄设备决策:
- 尽可能使用更少的镜头。每个镜头边界都是一个接缝,而接缝是视差、曝光、光晕和时间不匹配变得可见的地方。
- 对于 360 度单目,优先考虑动态范围、同步曝光和干净的镜头重叠。
- 对于立体 360 度,优先考虑同步快门、稳定的轴间几何、校准,以及让拍摄对象远离接缝区域。
- 对于 VR180 立体,优先考虑镜头清洁度、水平对齐的地平线、观众眼高放置,以及前舞台的布景计划。
- 对于空间视频,通过摄取和导出保留相机原生立体关系和元数据;除非有意制作辅助剪辑,否则避免导致将立体展平为 2D 的转码步骤。
- 对于动作镜头,更倾向于在稳定的世界内移动拍摄对象,而不是移动拍摄设备。当必须移动拍摄设备时,选择平滑路径、低加速度和可见的稳定地平线。
记录的事实:Apple HIG 表示人们应该能够选择何时开始播放视频,并且不应自动启动进入完全沉浸式视频;它还建议在播放期间保持人们能够看到周围环境,并避免在全沉浸环境中遮挡播放控件的虚拟内容。已验证至 2026-07-11。
制作启发式:将摄像机设置在或接近观众预期的眼高。无理由的高位、低位或倾斜放置可能会使观众感觉像是漂浮的观察者,而不是身临其境。
拼接、下方盲区、极点和接缝
将拼接质量视为故事和舒适度问题,而不仅仅是技术清理步骤。
拍摄前接缝策略:
- 在安排演员或动作之前,为所选设备绘制接缝图。
- 使面部、手部、文本、产品标签和近距离前景物体远离已知的接缝区域。
- 尽可能将接缝线放置在低细节、远处或静态区域。
- 控制照明,使相邻镜头在曝光或白平衡上保持一致。
- 场记板并同步所有相机和录音机;即使是小的时间偏移也可能破坏拼接和立体舒适度。
后期拼接审查:
- 在创意稳定之前检查地平线水平。
- 在擦拭时检查接缝,而不仅仅是在静止帧上。
- 检查高对比度线条、移动的肢体、反射物体、烟雾、水和人群。
- 仅当补丁比设备足迹更不分散注意力时才修补下方盲区。观看者脚下的模糊圆盘可能比扭曲的假地板更真实和舒适。
- 保持极点区域干净,因为等距柱状投影变形可能隐藏编辑视图中在头戴设备回放时变得明显的缺陷。
制作启发式:如果拍摄对象必须穿过接缝,则将穿越过程安排在远离设备且注意力较低的时刻。远处的接缝穿越通常可以接受;靠近面部的接缝穿越通常需要重拍或重新构图。
立体深度和舒适度
立体舒适度失败是让沉浸式视频无法使用的最快方式之一。尽早审查立体效果,最好在目标头戴设备上。
舒适度原则:
- 保持观众预期的前进方向稳定,除非有动机的揭示需要其他方式。
- 避免观众身体感觉不到的快速旋转运动、手持抖动和加速度。
- 避免强迫观众长时间将视线集中在非常近的物体上。
- 避免物体非常接近摄像机,除非整个作品都是围绕这种效果设计的并经过测试。
- 避免垂直视差、左右曝光不匹配、左右色彩不匹配、同步偏移和立体窗口违例。
- 对于 360 度立体,在接缝、天顶和下方盲区附近要格外小心,因为立体对应性可能在此处退化。
- 对于标题和字幕,将文本放置在舒适的表观距离,并使其相对于观看环境保持稳定。
Apple 记录的事实:visionOS 沉浸式体验使用透视功能让人们与物理环境保持联系;在渐进和全沉浸模式中,系统定义了约 1.5 米的边界,并在佩戴者接近或越过边界时增加透视/淡化体验。Apple 还建议避免在渐进或全沉浸模式中鼓励移动。已验证至 2026-07-11。
制作启发式:
- 除非交付物是故意为受监督的场地设计的,否则优先考虑坐姿或静止观看。
- 大部分时间将关键动作保持在观众自然前向视野内。允许观众在节拍之间探索,而不是在承载情节、安全或指令的节拍期间。
- 评估立体效果时,使用保守的观看者,而不是团队中最能容忍 VR 的人。
- 如果摄像机移动,请使路径在视觉上可预测,并为观众提供稳定的参考,例如地面、地平线、建筑或车辆框架。
布景和注意力引导
沉浸式视频不能假设编辑控制取景框,因此必须将方向引导融入舞台、音频、灯光和运动中。
通常有效的注意力提示:
- 演员视线方向和身体朝向;
- 从兴趣区域传来的声音;
- 目标区域内的亮度、色彩对比度或运动对比度;
- 引导视线的前景到背景运动;
- 从周边视觉缓慢进入的物体,足以被注意到;
- 球体其他地方暂时的安静或静止;
- 重复的空间地理,以便观众了解重要事情发生的位置。
避免依赖:
- 未经准备而移动观众面对方向的硬切;
- 隐藏在可能的前向视野之外的小细节;
- 字幕作为看向某处的唯一线索;
- 每个方向都有持续动作;
- 观众身后没有叙事理由的突然巨大声响。
制作启发式:在沉浸式故事剪辑中,将每个镜头视为舞台画面加一个邀请。观众应该知道看哪里,但不应因看向别处而受到惩罚。
稳定和运动
稳定必须保持方向真实性,同时减少不适感。
- 除非有风格化或物理上的理由证明倾斜合理,否则应使地平线水平。
- 在创意重新构图之前校正抖动。
- 避免过度偏航平滑,导致其滞后于移动平台,使世界感觉脱节。
- 如果行走镜头不可避免,请测试较短的剪辑、锁定前向视图或平面辅助剪辑是否更人性化。
- 在 360 度中,稳定可能暴露极点和下方盲区的空白或修补区域;在稳定之后进行检查,而不仅仅是在之前。
- 对于头戴设备回放,验证元数据和姿态在稳定和导出后是否仍然正确。
Apple 记录的事实:Apple HIG 建议在沉浸式风格之间进行平滑、可预测的过渡,并警告突然过渡可能令人迷失方向或不适。已验证至 2026-07-11。
空间和高保真立体声音频
音频通常比画面更能完成注意力引导工作。
有意地使用这些层:
- 高保真立体声底床:环境、人群、房间音调、氛围、叙事空间。
- 方向性对象或声像移动元素:注意力提示和可见声源。
- 头部锁定立体声:旁白、音乐、无障碍旁白或不应随观众旋转的类似 UI 的内容。
- 标准立体声回退:非头戴设备交付和平面辅助剪辑。
记录的事实:YouTube 接受一阶高保真立体声和带有头部锁定立体声的一阶高保真立体声,用于 360 度和 VR 视频。其上载指南建议创建具有空间音频的 360/VR 视频,运行最新的 Spatial Media 元数据工具,然后上载结果。已验证至 2026-07-11。
记录的事实:Google 的 Spatial Media 规范描述了元数据注入,以标记等距柱状投影和/或立体布局,并嵌入高保真立体声音频。已验证至 2026-07-11。
制作启发式:默认将目标交付中的高保真立体声床与头部锁定立体声以及标准立体声回退一起使用。仅当场景要求固定角度入耳音频时才使用纯 FOA 或双耳音频。