© Photo Fraunhofer IIS
MPEG-Iは、VR（仮想現実）とAR（拡張現実）アプリケーション向けに現在開発している新しい標準規格です。自然で現実味のある、目だけでなく耳でも、すべてに説得力のある体験をお届けするVR体験の創出を目指しています。
VRでコンサートを聴いているところを想像してみてください。あなたは、一か所だけにとどまらず、コンサートホール中を自由に動くことができるのです。なんて素晴らしい体験でしょう！ または、eスポーツやスポーツイベントの放送を想像してみてください。試合を観戦しながら、ユーザーはスタジアム中を動き回れるのです。これが、MPEG-Iの目標です。
先行するソリューションでは、ひとつの観測点から視覚的、音響的体験を3自由度(3DoF)で可能にしています。それに対し、来たるべきMPEG-I標準規格は、全6自由度(6DoF)に対応します。3DoFでは、ユーザーは頭を自由に動かして、多方面から情報を受けることができます。ところが6DoFでは、仮想空間内を動くことができるのです。歩き回って、すべての視野角を探索し、仮想世界とやりとりすることさえできます。拡張現実(AR)の場合も同様の状況です。ユーザーは、仮想要素で拡張されている現実世界の中で行動します。たとえば、自宅のリビングにバーチャルな音楽家を数人手配して、個人的なプライベートコンサートを楽しむことができるのです。
このすべてで、説得力のある高い没入型オーディオ体験を生み出す高度なテクノロジーが求められており、音響に関する多くの観点を考慮することが必要です。たとえば、室内と障害物の周辺の音の伝搬が挙げられます。他の例では、静物または動体のいずれの状態にもなり得る音源です。（動的な音源の場合はドップラー効果が生じます。）音源は、現実的な放射パターンと大きさをもっており、例として、浜辺の波音を頭の中に描きたいなら、その音源は1キロメートル以上に広がることになります。現在、障害物の周辺や部屋の隅で起こる音の複雑な回折現象と、これをリアルタイムで効果的にする方法を研究しています。
以下のデモ画像は基本的なレンダリングのみであり、MPEG-Iの新技術の可能性の全てが含まれていませんが、将来何が可能になるかについての簡単な表現です。ヘッドホンをご利用ください。
すべてが成功するにはまだ少し時間がかかるでしょう。3DoFアプリケーションの標準規格については、MPEG-Hの専門知識を利用できますが、他の多くの技術開発には、6DoFサウンドに関する真に没入感のあるレンダリングが必要です。すべてがうまくいけば、2025年にはエンドデバイスでも利用できるはずです。概して、mp3ファイルが基礎となる標準規格に承認されてから30年を経た今でもなお途切れることなく活躍しているのと同様、最初に創り出された時と同じくらい簡単に10年、20年後のユーザーが見ることができる、VRとARの豊かなコンテンツに対応した長期的に安定したフォーマットの開発を目指しています。MPEG-Iを用いる再生は、専用の受信端末と日々利用するスマートフォンの両方で可能となるでしょう。結果的に、次世代動画サービスとして既存の配信チャンネル上でVRとARのコンテンツが配信可能となります。このようにして、提供側が利用者に真にワクワクする没入感のある体験をエンターテインメント、ドキュメンタリー、教育、スポーツのコンテンツで提供することができるようになります。
Fraunhofer Institute for Integrated Circuits