Fraunhofer upHear 입체음향 마이크 처리기술

개요

오늘날 소비자들은 음향 녹음 시 전문 장비, 소비자 기기 등 사용 기기와 관계없이 자연스럽고 몰입감 넘치는 사운드를 선호합니다. 이러한 소비자 기대에 부응하기 위해서는 360도 카메라의 내장형 마이크나 기타 모바일 기기에서 한층 진화된 사운드 캡쳐 기능을 지원해야 합니다. 이를 위해 Fraunhofer는 입체음향 캡쳐 알고리즘을 기반으로 하는 upHear 입체음향 마이크 처리 기술(upHear Spatial Audio Microphone Processing)을 개발했습니다. upHear 소프트웨어는 입체음향 처리를 통해 고해상도 몰입형 사운드를 만들어내어 본래의 경험을 재현합니다.

음향 처리는 3개의 주요기능을 바탕으로 작동합니다. 우선 음성 음원, 독특한 악기음, 두드러지는 사운드 이벤트 등 지향성 음원은 고정밀로 정위됩니다. 동시에 경기장 배경음, 공연장의 잔향음 등 주변음이 녹음되는데, 이 때 고품질 사운드 처리 덕분에 가청잡음이 발생하지 않습니다. 이들 기능은 초소형 기기나 마이크 설정에서도 고음질 사운드를 구현합니다.

Fraunhofer upHear 입체음향 마이크 처리 기술은 Fraunhofer upHear 브랜드를 달고 출시된 최초의 음향기술입니다. 캡쳐된 사운드는 실시간으로 FOA (first-order ambisonic), HOA (higher-order ambisonic), 5.1 채널, 7.1+4 하이트 채널 등 기존의 서라운드 또는 몰입형 오디오 포맷으로 변환되며, 이 때 오디오 장면은 그대로 보존됩니다.

기능

노이즈 감소

자동 노이즈 감소를 통해 배경음을 제거하여 음성 품질과 노이즈 감소 성능 간 최적의 균형을 유지합니다.

빔포밍(beamforming)

신호 적응형 빔포밍 기술은 원하는 사운드를 최상의 음질로 추출함과 동시에 원치 않는 잡음을 감소시킵니다.

잔향음 제거(dereverberation)

고급 잔향음 제거 알고리즘은 실내에서 멀리 떨어진 음성 음원 캡쳐 시, 잔향음을 감소하고 음성 명료도를 향상시킵니다.

사운드 이퀄라이제이션(sound equalization, EQ)

Fraunhofer의 숙련된 사운드 기술진이 개발한 음색 착색(sound coloration) 개선 및 사운드 튜닝 기능입니다.

바람소리 감소

자동 바람소리 감소 기능은 최상의 음성 품질을 유지하면서 바람소리를 감지하고 감소시킵니다.

자동게인제어(AGC) 및 동적범위제어(DRC)

AGC와 DRC는 음원과의 거리와 관계없이 각 신호 컨텐츠별로 음량을 최적화합니다.

오디오 줌(audio zoom)

오디오 줌 기술은 (줌인 시) 특정 음원에 초점을 맞추거나, (줌아웃 시) 몰입형 입체 사운드를 구현합니다.

맞춤형 오디오

맞춤형 알고리즘과 실시간 튜닝 옵션은 청취자나 사용자의 니즈에 최적화된 맞춤형 사운드 처리를 지원합니다.

upHear 제품군

upHear 마이크 처리 기술이 적용된 다양한 upHear 제품을 만나보세요.

upHear VQE 자세히 보기

장점

Fraunhofer의 입체음향 마이크 처리 기술을 사용하면 누구나 손쉽게 입체음향을 캡쳐하여 영상 컨텐츠에 생동감을 더할 수 있습니다.

 

전문 컨텐츠 제작자

전문 컨텐츠 제작자들은 Fraunhofer의 오디오 기술을 통해 정확한 위치 정보가 담긴 고음질 입체음향과 촬영장 분위기를 전달하는 주변음까지 캡쳐할 수 있습니다. 후반작업 단계에서는 캡쳐된 오디오 장면을 보이스오버(voice-over), 동적 객체(dynamic object) 등 추가적인 사운드 구성요소와 결합시킬 수 있습니다.

 

일반 소비자

일반 소비자층에서는 사용 편리성이 높고 고음질 녹음을 지원하는 제품에 대한 수요가 높습니다. 소비자용 카메라에 Fraunhofer의 입체음향 캡쳐기술을 탑재시키면, 버튼 한번으로 비디오를 보완하는 몰입형 사운드를 캡쳐할 수 있습니다.

 

제조사

Fraunhofer의 입체음향 마이크 처리 기술은 소비자 가전제품 제조사에게 입력과 출력 음원을 선택할 수 있는 유연성을 제공합니다.

Fraunhofer 알고리즘은 일반적인 마이크 배열(스마트폰이나 액션카메라 등의 기기), 다중 마이크 설정(선형, 원형 및 구형 마이크 어레이, B 포맷 마이크) 등 모든 마이크 설정을 지원합니다.

이 외에도 upHear 기술은 채널 기반 오디오(2.0, 5.1, 22.2), 앰비소닉(FOA, HOA) 등 다양한 입체음향 포맷을 지원하며 출력 측면의 유연성을 보장합니다. 또한, 마이크 설정을 알 수 없거나 마이크가 한 대만 있는 경우에도 음향처리가 가능합니다(일부 기능 제한).

활용분야

© Photo Monkey Business - stock.adobe.com

SNS 컨텐츠

  • SNS 플랫폼 또는 오디오 블로그 게시용
  • 기본 마이크를 사용하거나 음원에서 거리가 멀어져도 음성 품질과 음성 명료도 보장
  • 별도 외장 마이크 없이 카메라나 스마트폰에 내장된 마이크로 녹음해도 음향처리 가능

 

휴대폰 영상 촬영

  • 오디오 줌을 통해 카메라 앞의 음원에 실시간으로 초점을 맞추고 원치 않는 주변음 감소
  • 줌아웃 시 몰입형 입체 사운드 캡쳐 가능
  • SAMP 모노 업믹스(mono up-mix)로 어느 스마트폰에서나 고음질 몰입형 음악 녹음 지원

콘서트 녹화

  • 소형기기로 고음질 몰입형 입체 사운드 캡쳐 가능
  • 콘서트 현장에 있는 듯한 실재감, 입체감 구현
  • 음원 정위, 주변음을 몰입감 있게 구현(예: 관중의 함성과 박수, 공연장 잔향음 등)

 

스포츠 경기 녹화

  • 바람소리 감소 기능으로 야외 스포츠 경기 촬영 가능
  • 몰입형 음향 캡쳐로 경기장 등 현장 분위기 재현
© Photo Евгений Вдовин - stock.adobe.com
© Photo pikselstock - stock.adobe.com

VR 및 AR 오디오

  • VR 용 몰입형 입체 3D 사운드 캡쳐
  • 맞춤형 마이크 설정을 통해 마이크를 카메라 시야 밖에 위치시키면서 고화질 입체음향 캡쳐

 

음성 녹음

  • 인터뷰 녹음 시 음성명료도 확보
  • 화상회의 시스템에서 프론트엔드(front-end) 처리 시 활용
  • upHear VQE에서 SAMP 음성향샹기술 지원

추가정보

upHear 기술문의

사용하고 계신 기기의 마이크 배치 및 입체음향 기능에 대한 상담을 원하시는 경우 문의 바랍니다.

최신 연구 동향

Fraunhofer는 신호처리 분야에 최첨단 혁신기술을 적용하고 있습니다. 최신 기술데모는 오디오랩(AudioLabs)에서 확인하세요.

가전 제품으로 돌아 가기