为下一代虚拟现实音频带来端到端技术套件

应用于虚拟现实设备上的沉浸式音频解决方案

由Fraunhofer IIS研发的音频技术能够通过卓越的音频质量为人们带来真实的听觉享受。音频及媒体技术部门致力于实现这一愿景,并通过强大的创新力为广泛的市场提供服务,其中就包括迅速崛起的虚拟现实领域。

Fraunhofer音频解决方案能够为虚拟现实音频制作的各个环节提供技术支持,从初始的VR内容制作到最终音频内容在客户端的还放。

拾音捕获

3D audio capturing by Fraunhofer IIS
© Photo Fraunhofer IIS

越来越多的VR摄像头在市面上出现,他们能够拍摄令人满意的全景图像,但内置的麦克风却不能拾取真实的沉浸式声音。与此同时,外置的3D声音麦克风价格比较昂贵,并且需要对拍摄者进行特殊培训才能获得最佳拾音效果,另外,庞大的麦克风收音设备很容易在拍摄过程中入画,进而为内容的制作者带来困难和不便。Fraunhofer为3D声音的拾取带来了一个简单的解决方案,即能够应用于不同类型的内容或外部麦克风的精密麦克风信号处理算法。

制作

VR内容制作的另一个重要步骤是对拾取的音频进行混音和后期处理工作。由Fraunhofer IIS开发的Cingo Composer插件能够简化虚拟现实3D声音的混音方式,并支持声音对象、多声道以及高保真信号。该插件能够应用在主要的数字音频工作站中,例如Nuendo, Reaper以及 Pro Tools。

Fraunhofer Cingo4Unity插件能够在构建虚拟现实应用程序之前,在Unity游戏引擎上直接进行沉浸式声音的制作和监听。

传输

Fraunhofer Cingo/Virtual Reality
© Photo Kurt Fuchs/Fraunhofer IIS

MPEG-H Audio是下一代电视和VR设备的音频标准,能够为用户带来超越环绕声的听觉享受。 增加声音的高度信息能够在后期混音中营造沉浸式3D声音。MPEG-H比特流能够传递声道、音频对象以及基于场景的输入信号(例如:一阶或者高阶高保真立体声(FOA/HOA))。除了支持双耳立体声还放以外,MPEG-H Audio能够支持各种扬声器配置,从单声道到22.2声道。

了解更多MPEG-H Audio的信息

 

HE-AAC是Fraunhofer IIS联合开发的多声道音频编解码器,目前已经本地支持iOS, Android, Windows 和Mac OS操作系统,并免费提供给VR应用开发者使用。Hulu VR应用、LG 360 VR以及Samsung MilkVR 360视频上的内容已经采用HE-AAC编码,并能够为用户带来高质量的环绕声内容。此外,AAC 编解码器能够承载基于声道的音频元素和一阶高保真音频元素。

HE-AAC广泛应用于全球的广播电视和流媒体应用中,并成功配置于超过100亿台设备中。

了解更多HE-AAC的相关信息

还放

Fraunhofer Cingo experience
© Photo David Hartfiel/Fraunhofer IIS

后处理技术Fraunhofer Cingo是在VR设备和应用上实现沉浸式声音效果的核心技术。它能够对立体声、环绕声以及沉浸式声音进行渲染,并结合头部运动在耳机中进行还放。与此同时,Cingo还能够支持声音对象在任何围绕着用户的虚拟空间同步放置。

凭借独特且丰富的技术特性,Cingo收到了广大虚拟现实头戴式设备制造商的青睐。Samsung Gear VR选择了Cingo,LG紧随其后,为其LG 360 VR选择了Cingo技术。

此外,Cingo 已经成功应用于Google Nexus 家族系列产品以及OTT视频服务提供商中,例如Hulu VR应用。

了解更多Fraunhofer Cingo的信息