Fraunhofer upHear空間オーディオ・マイクロホン処理

概要

現代の消費者は、プロ仕様のデバイスであろうとなかろうと、録音の自然さと、没入感のあるサウンドまでをも期待しています。つまり、360度カメラなどのモバイル機器の内蔵マイクでさえ最高品質の音声キャプチャー能力が求められているということです。そこでフラウンホーファーは、空間オーディオ・キャプチャー・アルゴリズムによってupHear空間オーディオ・マイクロホン処理を開発しました。このソフトウェアは、空間サウンド処理を用いて、元の体験を再現するハイレゾ没入型空間サウンドを創り出します。

この実現には、主に3つの特長が関わっています。音声源、異なる楽器、有数の音響イベントなどの指向性音源が高精度に定位されること。同時に、スタジアムの背景環境やコンサートホールの反射音などの環境音も録音されること。さらに、高品質のサウンド処理によって、人工音がなくなること。この3点を合わせることで、超小型デバイスやマイクロホンの配置にも高性能のサウンドを実現します。

フラウンホーファーupHear空間オーディオ・マイクロホン処理は、没入型オーディオの新機軸、フラウンホーファーupHearブランドで初となるオーディオ技術です。このアルゴリズムは、取り込んだ音を一次アンビソニックス(FOA)や高次アンビソニックス(HOA)の5.1チャンネル、7.1+4チャンネルなどの主要サラウンドまたは没入型オーディオ再生フォーマットにリアルタイムで自動変換し、生の音響シーンをそのまま保ちます。

機能

ノイズリダクション

ノイズリダクションは自動で行われ、背景の雑音を取り除き、通話品質とノイズリダクション性能のバランスを保ちます。

ビームフォーミング

信号適応ビームフォーミングは、最良品質の望ましいサウンドを抽出し、不要な干渉音を弱めます。

残響制御

高度な残響制御アルゴリズムは、室内の遠くの音声源を取り込む際に、残響音を減らし、通話の了解度を高めます。

音質補正 (EQ)

経験豊富なフラウンホーファーのサウンドエンジニアによる改良された音色と個々のサウンド調整が実現しています。

風騒音低減

風騒音低減機能は自動で風騒音を感知し、低減しながら、最適な通話品質を保ちます。

自動利得制御 (AGC) およびダイナミックレンジ制御 (DRC)

AGCとDRCにより、音源の距離に関係なく、異なる信号内容を最適な音量で出力します。

音響ズーム

音響ズーム技術は、リアルタイムで、（ズームインする場合には）特定の音源にフォーカスし、（ズームアウトする場合には）没入型空間サウンド印象を生成することができます。

オーディオのカスタマイズ化

アルゴリズムのカスタマイズ化とリアルタイムのチューニングオプションにより、聴衆やユーザーのニーズに応じ、ほとんどのサウンド処理領域を調整できます。

upHear製品グループ

upHearのマイクロホン処理技術は、upHear製品グループのさまざまなモデルで用いられています。詳しくはこちらをご覧ください。

upHear VQE

利点

フラウンホーファーの空間オーディオ・マイクロホン処理技術は、空間オーディオによって、簡単で確実にビデオコンテンツを向上させることができます。

プロのコンテンツクリエーター

フラウンホーファーの音響技術は、プロのコンテンツクリエーターにとっても有益です。音像定位に優れた高品質の3Dオーディオと、その場の雰囲気を伝える自然環境音を簡単に取り込めます。撮影後の編集作業では、取り込んだ音響シーンに、ボイスオーバーやダイナミックオブジェクトなどのサウンド要素を組み合わせることができます。

消費者

消費者は、使いやすさと高品質の録音技術を兼ね備えたデバイスを求めています。この求めに応じて、家庭用カメラに、フラウンホーファーの空間オーディオ・キャプチャー技術が組み込まれており、ボタンひとつで、ビデオに対応した没入型サウンドキャプチャーが可能です。

製造企業

フラウンホーファーが開発した空間オーディオ・マイクロホン処理技術は、家電メーカーに入力源と出力源の柔軟な選択の幅を提供しています。

典型的な特別注文のマイクロホン配置（主にスマートフォンやアクションカメラなどの機器）や、複数のマイク配置（マイクロホンの直線配列、円形配列、球面配列、Bフォーマットマイクロホンなど）にすることで、フラウンホーファーのアルゴリズムは、特殊なマイクロホン配置にも対応可能です。

また、upHear技術も予想される出力については柔軟であり、チャンネルベース・オーディオ（2.0, 5.1, 22.2など）やアンビソニックス(FOA, HOA)をはじめ、さまざまなフォーマットによる空間サウンド出力にも対応しています。さらに、マイクロホン配置が分からない場合、および利用できるマイクロホンがひとつしかない場合（当然いくらかの制限はあるにせよ）、オーディオ処理にも適用可能です。