現代の消費者は、プロ仕様のデバイスであろうとなかろうと、録音の自然さと、没入感のあるサウンドまでをも期待しています。つまり、360度カメラなどのモバイル機器の内蔵マイクでさえ最高品質の音声キャプチャー能力が求められているということです。そこでフラウンホーファーは、空間オーディオ・キャプチャー・アルゴリズムによってupHear空間オーディオ・マイクロホン処理を開発しました。このソフトウェアは、空間サウンド処理を用いて、元の体験を再現するハイレゾ没入型空間サウンドを創り出します。
この実現には、主に3つの特長が関わっています。音声源、異なる楽器、有数の音響イベントなどの指向性音源が高精度に定位されること。同時に、スタジアムの背景環境やコンサートホールの反射音などの環境音も録音されること。さらに、高品質のサウンド処理によって、人工音がなくなること。この3点を合わせることで、超小型デバイスやマイクロホンの配置にも高性能のサウンドを実現します。
フラウンホーファーupHear空間オーディオ・マイクロホン処理は、没入型オーディオの新機軸、フラウンホーファーupHearブランドで初となるオーディオ技術です。このアルゴリズムは、取り込んだ音を一次アンビソニックス(FOA)や高次アンビソニックス(HOA)の5.1チャンネル、7.1+4チャンネルなどの主要サラウンドまたは没入型オーディオ再生フォーマットにリアルタイムで自動変換し、生の音響シーンをそのまま保ちます。
フラウンホーファーの空間オーディオ・マイクロホン処理技術は、空間オーディオによって、簡単で確実にビデオコンテンツを向上させることができます。
フラウンホーファーの音響技術は、プロのコンテンツクリエーターにとっても有益です。音像定位に優れた高品質の3Dオーディオと、その場の雰囲気を伝える自然環境音を簡単に取り込めます。撮影後の編集作業では、取り込んだ音響シーンに、ボイスオーバーやダイナミックオブジェクトなどのサウンド要素を組み合わせることができます。
消費者は、使いやすさと高品質の録音技術を兼ね備えたデバイスを求めています。この求めに応じて、家庭用カメラに、フラウンホーファーの空間オーディオ・キャプチャー技術が組み込まれており、ボタンひとつで、ビデオに対応した没入型サウンドキャプチャーが可能です。
フラウンホーファーが開発した空間オーディオ・マイクロホン処理技術は、家電メーカーに入力源と出力源の柔軟な選択の幅を提供しています。
典型的な特別注文のマイクロホン配置（主にスマートフォンやアクションカメラなどの機器）や、複数のマイク配置（マイクロホンの直線配列、円形配列、球面配列、Bフォーマットマイクロホンなど）にすることで、フラウンホーファーのアルゴリズムは、特殊なマイクロホン配置にも対応可能です。
また、upHear技術も予想される出力については柔軟であり、チャンネルベース・オーディオ（2.0, 5.1, 22.2など）やアンビソニックス(FOA, HOA)をはじめ、さまざまなフォーマットによる空間サウンド出力にも対応しています。さらに、マイクロホン配置が分からない場合、および利用できるマイクロホンがひとつしかない場合（当然いくらかの制限はあるにせよ）、オーディオ処理にも適用可能です。
Fraunhofer Institute for Integrated Circuits