차세대 가상현실 오디오를 위한 엔드-투-엔드 스위트

가상현실용 몰입형 오디오 솔루션

참조: 재생버튼 클릭 시 유튜브 동영상이 재생됩니다.

Fraunhofer IIS가 개발한 오디오 기술은 탁월한 음질을 통해 실감나는 청취 환경을 구현합니다. 오디오 및 미디어 기술 사업부는 이러한 기술을 바탕으로 급격히 성장하는 가상현실 시장 등 다양한 분야에 혁신적인 제품을 제공하고 있습니다.

Fraunhofer의 오디오 솔루션은 VR 컨텐츠 제작부터 사용자의 재생 경험까지 전 단계를 지원하고 있습니다.

캡쳐

Fraunhofer technologies for 3D audio capturing
© Photo Fraunhofer IIS

오늘날 대다수의 VR 카메라는 선명한 화질을 자랑하지만, 내장된 마이크는 오디오를 실감나게 담지 못하는 경우가 많습니다. 외장형 3D 오디오 마이크의 경우, 화각에 포함되기 쉽고 가격이 부담될 뿐 아니라, 최상의 결과를 얻으려면 조작요령에 대한 별도 교육이 필요합니다. Fraunhofer는 다양한 종류의 내∙외장형 마이크에 적용 가능한 정교한 사운드 처리 알고리즘을 통해 3D 오디오 캡쳐 솔루션을 제공하고 있습니다.

제작

VR 컨텐츠 제작에 있어 또 다른 중요한 단계는 캡쳐 후 후반작업을 마친 오디오의 믹싱 및 마스터링입니다. Fraunhofer IIS가 개발한 Cingo Composer 플러그인은 VR 3D 사운드 믹싱 작업을 간소화시키고 오디오 객체, 멀티채널 베드(multichannel beds), 앰비소닉 신호를 지원합니다. 또한 Nuendo, Reaper, Pro Tools 등 주요 DAW 소프트웨어와 호환 가능합니다. Fraunhofer Cingo4Unity 플러그인 사용 시, VR 응용 프로그램 개발 전에도 Unity 게임엔진 상에서 몰입형 오디오의 직접 저작(authoring) 및 모니터링이 가능합니다.

전송

Fraunhofer IIS soundbar prototype
© Photo Kurt Fuchs/Fraunhofer IIS

MPEG-H 오디오는 TV및 VR용 차세대 오디오 표준으로 서라운드 사운드를 뛰어넘는 청취 경험을 선사하기 위해 개발되었습니다. 사운드 믹스에 높이 정보가 추가되면서 몰입형 3D 사운드가 구현됩니다. MPEG-H 비트스트림은 채널, 오디오 객체 또는 장면 기반의 오디오 입력 (1차 또는 고차 앰비소닉(FOA/HOA))을 전송할 수 있습니다. MPEG-H 오디오는 바이노럴 렌더링 (binaural rendering)을 구현할 뿐 아니라 모노에서 22.2채널까지 각종 스피커 구성을 지원합니다.

MPEG-H 오디오 에 대해 자세히 알아보세요.

 

Fraunhofer IIS 가 공동 개발한 멀티채널 오디오 코덱인 HE-AAC은 iOS, Android, Windows, Mac OS에서 자체 지원되어 VR 앱 개발자들이 무료로 사용할 수 있습니다. Hulu VR앱, LG 360 VR, 삼성 밀크 VR 360의 영상 컨텐츠는 HE-AAC 코딩을 거쳐 고품질의 서라운드 사운드 컨텐츠로 거듭나게 됩니다. AAC 코덱은 채널 기반 및 1차 앰비소닉 오디오 구성요소를 전송할 수 있습니다.

HE-AAC는 TV 방송 및 스트리밍 분야에서 세계적으로 인정받는 기술로, 전 세계 100억대가 넘는 기기에 적용되었습니다.

HE-AAC에 대해 자세히 알아보세요.

재생

Fraunhofer Cingo experience
© Photo David Hartfiel/Fraunhofer IIS

후처리 기술인 Fraunhofer Cingo는 VR기기 및 응용 프로그램에서 오디오를 실감나게 재현해줍니다. 헤드폰에서 스테레오, 서라운드, 몰입형 사운드를 렌더링하며, 머리의 움직임을 반영하여 청취자 주변 가상 공간의 모든 곳에 사운드 객체를 동시에 배치할 수 있도록 해줍니다.

Cingo는 다양한 기능을 인정받아 삼성의 가상현실 헤드셋인 기어 VR와 LG 360 VR에 탑재되었습니다. 또한 구글 넥서스 시리즈에 적용되고 있으며, Hulu VR 앱 등 OTT 비디오 서비스 분야에서도 사용되고 있습니다.

Fraunhofer Cingo에 대해 자세히 알아보세요.