Fraunhofer upHear^®空間オーディオ・マイクロホン処理

Fraunhofer upHearは、業務用および民生用の360度カメラやモバイル・デバイスの内蔵マイクロホンによるサウンド・キャプチャー能力を大幅に改善するために設計された空間オーディオ・キャプチャー・アルゴリズムです。

このアルゴリズムは、音響シーンの自然さを保ちながら、キャプチャーしたサウンドをFOA、HOA、5.1チャネル、7.1+4ハイトチャネルなどの主要サラウンドまたは没入型オーディオ再生フォーマットにリアルタイムで自動変換します。

課題

360度カメラの入手性や性能は向上している一方、空間全体を表現するサウンドのキャプチャーが可能なデバイスはまれで、多くの場合、没入型体験に向いていないモノ・ステレオ出力しか装備していません。

従来、空間オーディオのキャプチャーには複雑なマイクロホン・アレイや高価なアンビソニック・マイクロホンが必要でした。どちらも運用に音響技術の専門知識が要求されることに加え、マイクロホンがカメラの視界を遮らないようにしなければなりません。さらに、ほとんどの外部マイクロホン・ソリューションは、カメラを狭い空間に設置したり、シーンごとにカメラを素早く動かしたりする必要がある複雑な環境要件に対応することができません。

そうした問題から、空間オーディオ・キャプチャー作業はこれまで手間がかかる上、失敗が多く、プロやオーディオに詳しい人に任せるのが一般的でした。

利点

フラウンホーファーの空間オーディオ・マイクロホン処理技術は、カメラを操作できる人なら誰でも簡単かつ確実に空間オーディオでビデオ・コンテンツを強化することを可能にします。

プロのコンテンツ・クリエイター

フラウンホーファーが誇る音響の専門知識は、その場の雰囲気を伝える音像定位に優れた高品質の3Dオーディオと自然な環境音のキャプチャーに役立ち、プロのコンテンツ・クリエイターにも恩恵をもたらします。ポストプロダクションで、キャプチャーした音響シーンにボイスオーバーやダイナミック・オブジェクトなどのサウンド要素を加えることも可能です。

消費者

消費者は通常、使い勝手がよく、高品質の録音が可能な製品を探しています。フラウンホーファーの空間オーディオ・キャプチャー・テクノロジーを民生用カメラに組み込むことにより、ビデオに対応した没入型サウンド・キャプチャーがボタン1つで可能になります。

メーカー向けの特長

• 独特のカメラ・デザインまたはモバイル・デザインに最適化された空間オーディオ・キャプチャー
• デバイス、アプリ、またはポストプロダクション・ソフトウェアに実装可能
• モバイル・プラットフォームにリソースを最適化

消費者向けの特長

• エクスポートした空間オーディオ・フォーマットはYouTubeやFacebookにそのままアップロード可能
• デバイスからの直接のライブストリーミングに最適なリアルタイム・オーディオ出力
• 指向性音源と周囲環境音を正確にキャプチャー

フラウンホーファーの空間オーディオ・マイクロホン処理は、機器固有の筐体やマイクロホン構成に適応します。そのため製品設計に柔軟性をもたらし、最適なオーディオ録音を実現します。

通常、機器に必要なマイクロホン数は3個（民生用製品）から8個（業務用機器）です。下の図は構成例を示しています。

空間オーディオ・キャプチャー・アルゴリズムは、以下に最適化されたライブラリーとして提供することができます。

• デスクトップ・ソフトウェア（Windows/Mac）
• モバイル・アプリ（iOS/Android）
• 組み込みシステム（ARM Cortexなど）

360度カメラおよび携帯電話メーカーへのライセンス供与が可能です。