Fraunhofer upHear® 空间音频麦克风信号处理技术

概览

为了提升专业和消费级360度摄像头以及移动设备中内置麦克风的声音捕捉能力,Fraunhofer研发了空间音频信号处理算法。

Fraunhofer 沉浸式音频创新品牌upHear旗下的首个音频技术。

该算法能够实现将收录的音频信号自动实时转换成任何环绕声及沉浸声还放格式还放格式,例如FOA, HOA, 5.1声道, 以及7.1+4 个高度声道。同时,保留音频场景的真实听觉效果。

 

面临的挑战

虽然360度摄像头的性能在不断提升,但设备往往缺乏能够支持捕获整个空间声场的音频技术。用户只能收听单声道或立体声的声音效果,这本身就背离了沉浸式体验的初衷。

捕捉空间音频通常是采用复杂的麦克风阵列或者昂贵的ambisonics麦克风。两种方式都需要专业音频工程师来录制,同时确保麦克风不入画。此外,大多数外置麦克风无法满足复杂的录音环境需求,比如摄像头需要放置在狭小的空间内或者快速从一个场景切换到另一个场景。

直到现在,这些耗时且容易出错的空间音频录制工作也一般留给专业人士或者音频爱好者去处理。

 

优势

Fraunhofer空间音频麦克风信号处理技术,能够通过简单且稳定的方式为任何摄像头提供空间音频效果从而提升视频内容的沉浸感。

专业内容创造者

专业内容制作者能够借助Fraunhofer在音频领域的专业经验,录制高质量的、精准定位的3D音频,以及带有真实的自然场景氛围的环境音。在后期处理阶段,拾取的音频环境声能够与附加的声音元素结合,例如旁白和运动的音频对象。

用户

用户致力于寻找能够简单易用且带来高质量录音效果的设备。Fraunhofer空间音频麦克风信号处理技术能够集成于用户摄像头中,通过一个按钮便能够配合视频捕获沉浸式声音。

产品特性

对于制造商

  • 能够根据独特的摄像头或者手机设计优化空间音频捕捉
  • 能够在设备、应用程序以及后处理软件中运行
  • 为移动平台进行资源优化

对于用户

  • 输出的空间音频格式文件能够上传至YouTube和Facebook
  • 实时的音频输出,适合直接在设备上进行直播
  • 准确捕获包涵方向信息的声音并且准确烘托氛围

麦克风需求

麦克风需求

通常设备上所需的麦克风数量范围为:3(消费级产品)至8(专业级产品)个。下图所示配置仅为示例。

可用性

空间音频捕捉算法能够作为优化的音频资源库嵌入到以下平台中:

  • 桌面软件(Windows/Mac)
  • 移动应用(iOS/Android)
  • 嵌入式系统(例如,ARM Cortex)

支持对360度摄像头以及手机设备制造商的授权。

您对upHear®感兴趣?

想要了解设备中麦克风放置和空间音频相关解决方案: