Fraunhofer upHear®空間オーディオ・マイクロホン処理

概要

現代の消費者は、プロ仕様のデバイスであろうとなかろうと、録音の自然さと、没入感のあるサウンドまでをも期待しています。つまり、360度カメラなどのモバイル機器の内蔵マイクでさえ最高品質の音声キャプチャー能力が求められているということです。そこでフラウンホーファーは、空間オーディオ・キャプチャー・アルゴリズムによってupHear空間オーディオ・マイクロホン処理を開発しました。このソフトウェアは、空間サウンド処理を用いて、元の体験を再現するハイレゾ没入型空間サウンドを創り出します。

この実現には、主に3つの特長が関わっています。音声源、異なる楽器、有数の音響イベントなどの指向性音源が高精度に定位されること。同時に、スタジアムの背景環境やコンサートホールの反射音などの環境音も録音されること。さらに、高品質のサウンド処理によって、人工音がなくなること。この3点を合わせることで、超小型デバイスやマイクロホンの配置にも高性能のサウンドを実現します。

フラウンホーファーupHear空間オーディオ・マイクロホン処理は、没入型オーディオの新機軸、フラウンホーファーupHearブランドで初となるオーディオ技術です。このアルゴリズムは、取り込んだ音を一次アンビソニックス(FOA)や高次アンビソニックス(HOA)の5.1チャンネル、7.1+4チャンネルなどの主要サラウンドまたは没入型オーディオ再生フォーマットにリアルタイムで自動変換し、生の音響シーンをそのまま保ちます。

機能

ノイズリダクション

ノイズリダクションは自動で行われ、背景の雑音を取り除き、通話品質とノイズリダクション性能のバランスを保ちます。

ビームフォーミング

信号適応ビームフォーミングは、最良品質の望ましいサウンドを抽出し、不要な干渉音を弱めます。

残響制御

高度な残響制御アルゴリズムは、室内の遠くの音声源を取り込む際に、残響音を減らし、通話の了解度を高めます。

音質補正 (EQ)

経験豊富なフラウンホーファーのサウンドエンジニアによる改良された音色と個々のサウンド調整が実現しています。

風騒音低減

風騒音低減機能は自動で風騒音を感知し、低減しながら、最適な通話品質を保ちます。

自動利得制御 (AGC) およびダイナミックレンジ制御 (DRC)

AGCとDRCにより、音源の距離に関係なく、異なる信号内容を最適な音量で出力します。

音響ズーム

音響ズーム技術は、リアルタイムで、(ズームインする場合には)特定の音源にフォーカスし、(ズームアウトする場合には)没入型空間サウンド印象を生成することができます。

オーディオのカスタマイズ化

アルゴリズムのカスタマイズ化とリアルタイムのチューニングオプションにより、聴衆やユーザーのニーズに応じ、ほとんどのサウンド処理領域を調整できます。

upHear製品グループ

upHearのマイクロホン処理技術は、upHear製品グループのさまざまなモデルで用いられています。詳しくはこちらをご覧ください。

利点

フラウンホーファーの空間オーディオ・マイクロホン処理技術は、空間オーディオによって、簡単で確実にビデオコンテンツを向上させることができます。

 

プロのコンテンツクリエーター

フラウンホーファーの音響技術は、プロのコンテンツクリエーターにとっても有益です。音像定位に優れた高品質の3Dオーディオと、その場の雰囲気を伝える自然環境音を簡単に取り込めます。撮影後の編集作業では、取り込んだ音響シーンに、ボイスオーバーやダイナミックオブジェクトなどのサウンド要素を組み合わせることができます。

 

消費者

消費者は、使いやすさと高品質の録音技術を兼ね備えたデバイスを求めています。この求めに応じて、家庭用カメラに、フラウンホーファーの空間オーディオ・キャプチャー技術が組み込まれており、ボタンひとつで、ビデオに対応した没入型サウンドキャプチャーが可能です。

 

製造企業

フラウンホーファーが開発した空間オーディオ・マイクロホン処理技術は、家電メーカーに入力源と出力源の柔軟な選択の幅を提供しています。

典型的な特別注文のマイクロホン配置(主にスマートフォンやアクションカメラなどの機器)や、複数のマイク配置(マイクロホンの直線配列、円形配列、球面配列、Bフォーマットマイクロホンなど)にすることで、フラウンホーファーのアルゴリズムは、特殊なマイクロホン配置にも対応可能です。

また、upHear技術も予想される出力については柔軟であり、チャンネルベース・オーディオ(2.0, 5.1, 22.2など)やアンビソニックス(FOA, HOA)をはじめ、さまざまなフォーマットによる空間サウンド出力にも対応しています。さらに、マイクロホン配置が分からない場合、および利用できるマイクロホンがひとつしかない場合(当然いくらかの制限はあるにせよ)、オーディオ処理にも適用可能です。

アプリケーション

© Photo Monkey Business - stock.adobe.com

ソーシャルメディア用のコンテンツ

  • ソーシャルメディアのプラットフォーム上にオーディオ・ブログを録音
  • 比較的シンプルなマイクロホンの使用時や遠くの音声を録音するときでも、すぐれた通話品質と通話の了解度を確保
  • フラウンホーファーの処理技術を使えば、カメラやスマートフォンの内蔵マイクロホンは十分な音質を提供できるので、外付けマイクは不要

 

携帯電話による録画

  • 音響ズーム機能により、撮影時に記録したい音源にリアルタイムでフォーカスしつつ、周囲からの不要な干渉音は低減
  • ズームアウト機能により、没入型空間サウンドを取り込み可能
  • SAMP mono up-mixにより、どのスマートフォンでも高品質な没入型音楽が録音可能

コンサート録音

  • 小型デバイスでも、高品質な没入型空間サウンドを取り込む。
  • コンサート会場にいるかのような生の空間印象を再現
  • 音楽の明確な定位と臨場感のある没入型サウンドを実現(たとえば、聴衆の喝采、拍手、コンサートホールの残響音など)

 

スポーツイベント録音

  • 風騒音低減機能により、屋外スポーツイベントを取り込む
  • 没入型サウンドキャプチャー技術により、(スタジアムの雰囲気など)臨場感を再現
© Photo Евгений Вдовин - stock.adobe.com
© Photo pikselstock - stock.adobe.com

VRおよびARオーディオ

  • VRアプリケーション用没入型空間3Dサウンドの取り込み
  • マイクロホン配置をカスタマイズ化することで、撮影カメラ上ではマイクを非表示にでき、カメラの視野にはマイクは見えないが、ハイレゾ空間サウンドの取り込みが可能

 

通話録音

  • 高い了解度のある面談の録音
  • ビデオ会議システムのフロントエンド処理としても利用可
  • upHear SAMP 通話向上技術は、upHear VQEで使用。

詳しくは

upHearに興味がおありですか?

フラウンホーファーIISでは、機器のマイクロホン配置や空間オーディオ機能に関する助言を行っています。

最新の研究

私たちが手がける高度信号処理技術は、信号処理関連分野の最新のイノベーションをつねに取り込みながら、最先端を保っています。最新のデモについては、AudioLabsをご覧ください。

家電へ戻る