MPEG-I沉浸式音频

打造逼真的 XR 音效

扩展现实 (XR)——包括虚拟现实 (VR)、增强现实 (AR) 和混合现实在视觉效果方面取得了巨大进步。高分辨率显示屏、精准追踪和实时渲染技术创造了逼真的（虚拟）世界。但当音频效果不尽如人意时，沉浸感便会瞬间消失：例如，教堂里合唱团的声音不够饱满，拐角处传来鼓声却听不到，或者自己的声音听起来与周围环境格格不入。

标准化渲染，打造自然沉浸式音频

逼真的沉浸感需要声音能够自然地响应听者的位置、方向和移动。它还必须反映环境的几何形状、材质和声学特性。

MPEG-I沉浸式音频是一种标准化的 ISO/MPEG 渲染器，专为高质量的 VR 和 AR 音频而设计。它提供自然逼真的音频体验，以真实的空间音效与视觉效果相得益彰。无论您是在虚拟音乐厅漫步，还是在 VR 中观看现场体育赛事，MPEG-I都能确保声音始终保持连贯、沉浸感十足，并与环境完美契合。

从 3DoF 到完全空间自由

MPEG-I VR Scene - Six Degrees of Freedom — © Photo Fraunhofer IIS

以往的解决方案仅限于从单一观察点进行声学体验，仅允许头部在三个自由度 (3DoF) 内移动。MPEG-I通过支持完整的六个自由度 (6DoF) 改变了这一现状。VR 用户体验到的声学效果能够无缝响应位置的每一次变化：在房间中移动、改变与声源的距离，或走到物体后面，都会产生逼真的声学变化。在 AR 中，虚拟声源能够自然地融入真实空间——例如，在您的客厅中放置虚拟音乐家，享受一场定制的私人音乐会。

打造高度逼真的 6DoF 音频意味着模拟真实的声学物理特性：

• 声音绕过障碍物

• 声音在开放空间和混响空间中的传播

• 移动声源的多普勒效应

• 逼真的辐射模式和空间范围

从海浪拍打沙滩到穿梭于密集城市景观的交通噪音：MPEG-I 沉浸式音频技术在一个标准化的实时渲染框架内支持这些复杂的声学特性，确保它们能够在不同的终端用户设备上高效且一致地呈现。

Virtual basketball hall — © Photo Fraunhofer IIS

以下演示是 MPEG-I 沉浸式音频技术的简单示例。为了获得最佳体验，请使用耳机，例如，尽情享受喷泉飞溅的环绕声效及其空间范围。

从元数据到声音

借助 MPEG-I 沉浸式音频标准，真正沉浸式的 VR 和 AR 声音得以创建、传输并在各种设备上保持一致的体验。这使得沉浸式 VR 和 AR 内容能够作为下一代服务，通过现有渠道进行分发，从而为广大用户带来高质量的空间音频体验。

MPEG-I 将沉浸式音频的创建分为三个部分：

• 创作与编码：内容创作者定义声源、环境、几何形状和材质。

• 传输与存储：使用高效的 MHAS（MPEG-H 音频流）格式进行流媒体、广播或基于文件的传输。

• 解码与渲染：结合听众追踪和详细的声学元数据，实时重现逼真的、基于物理的声场。

扩展现实通信：MPEG-I 和 IVAS

IVAS 已被 3GPP 标准化为沉浸式空间通话的编解码器，支持实时通信，并包含空间元数据，例如音频对象的位置和方向以及听者头部追踪。MPEG-I 沉浸式音频 (IVAS) 与之互补，为 XR 端声音提供框架，使其能够自然地响应听者和音频对象的移动，并考虑距离和环境声学线索的影响。这使得在可行走的虚拟环境中创建逼真的 6DoF 音频体验成为可能。这两项技术结合使用互补的标准，将沉浸式语音通信和沉浸式媒体渲染连接起来，从而支持实时通话和交互式 XR 体验。这种组合有助于为未来的通信服务、娱乐和 XR 应用建立一个一致的沉浸式音频生态系统。

MPEG-I and IVAS VR Scene — © Photo Fraunhofer IIS

MPEG-I 和 MPEG-H 的统一沉浸式音频

MPEG-I and MPEG-H VR Scene — © Photo Fraunhofer IIS

MPEG-I 通过标准化 6DoF 元数据比特流格式、传输、解码和渲染，确保沉浸式内容在各个平台上保持互操作性、面向未来且易于观看。MPEG-I 沉浸式音频可以与 MPEG-H 音频无缝结合，实现高效的内容压缩，并支持声道、对象和高阶 Ambisonics (HOA) 的渲染。此外，用户本地音频（例如用户自己的声音）可以输入到渲染器，以支持在虚拟或增强环境中进行低延迟的实时对话。这使得服务提供商能够为用户提供真正激动人心且引人入胜的体验，无论是在娱乐、纪录片、教育还是体育领域。