Fraunhofer upHear® Spatial Audio Microphone Processing

Überblick

Allgemeines

Die Aufnahme von 360°-Videos ist heute sowohl mit professionellen als auch mit Consumer-360°-Kameras möglich. Während die aufgenommenen Bilder einen guten Eindruck der Szenerie liefern, ist der über die eingebauten Mikrofone eingefangene Ton nicht überzeugend. Das Fraunhofer upHear Spatial Audio Microphone Processing wurde entwickelt, um diese Tonaufnahmen maßgeblich zu verbessern.

Der Algorithmus ist die erste Audiotechnologie aus der Fraunhofer upHear-Markenfamilie einhüllender Soundinnovationen. Er wandelt den aufgenommenen Sound automatisch und in Echtzeit in jedes beliebige Surround- oder einhüllende Audio-Wiedergabeformat um, wie beispielsweise FOA, HOA, 5.1 Kanäle und 7.1+4 Höhenkanäle. Dabei bleibt die gesamte Klangbühne klar und authentisch.

 

Herausforderung

Während Verfügbarkeit und Leistung von 360°-Kameras immer weiter verbessert werden, unterstützen diese Geräte oftmals keine Tonaufnahme, die den gesamten Raumklang abbildet. Stattdessen wird den Nutzern oftmals nur Mono- oder Stereo-Output geboten, der jedoch für einhüllende Klangerlebnisse ungeeignet ist.

Räumlicher Klang kann normalerweise nur mit komplizierten Mikrofonarrays oder teuren Ambisonics-Mikrofonen eingefangen werden. Beides erfordert die speziellen Kenntnisse eines Soundtechnikers, um die Mikrofone zu bedienen und auch sicherzustellen, dass diese nicht das Sichtfeld der Kamera blockieren. Darüber hinaus können die meisten externen Mikrofone nicht die Erfordernisse komplexer Aufnahmesituationen erfüllen, in denen beispielsweise die Kamera in engen Räumen aufgestellt werden muss oder schnell von einem Ort zum anderen bewegt wird.

Aufgrund dieser Probleme wurde die räumliche Tonaufnahme zu einer zeitintensiven und fehleranfälligen Aufgabe, die normalerweise professionellen Tontechnikern oder Audioliebhabern überlassen wird.

 

Vorteile

Die Fraunhofer Spatial-Audio-Microphone-Processing-Technologie ermöglicht jedem Nutzer einer Kamera, sein Videomaterial einfach und stabil mit räumlichem Klang aufzuwerten.

Professionelle Produzenten von Video-Inhalten

Professionellen Produzenten von Video-Inhalten hilft die Fraunhofer-Technologie dabei, qualitativ hochwertigen, positionsgenauen 3D-Sound und natürlichen Umgebungsklang einzufangen. So wird die gesamte Atmosphäre des Sets übertragen. In der Postproduktion können die aufgenommenen Audioszenen mit zusätzlichen Klangelementen, wie Voice-Over oder dynamische Objekte, kombiniert werden.

Endanwender

Nutzer von Consumer-Kameras suchen in der Regel nach Produkten, die einfach in der Handhabung sind und dennoch qualitativ hochwertige Aufnahmen liefern. Ist die Spatial-Audio-Capturing-Technologie von Fraunhofer in handelsüblichen Kameras integriert, wird genau dies ermöglicht: das Einfangen von einhüllendem Klang auf Knopfdruck.

Produkteigenschaften

Für Hersteller

  • Die Aufnahme von räumlichem Klang wird optimiert für einzigartige Designs von Kameras und Mobilgeräten
  • Die Technologie läuft auf dem Gerät, in einer App oder in der Software für die Postproduktion
  • Ressourcenoptimierung für mobile Plattformen

Für Endanwender

  • Das exportierte räumliche Audioformat ist für den Upload auf YouTube oder Facebook geeignet
  • Echtzeit-Audio-Output, für direktes Live-Streaming vom Gerät
  • Gerichteter Sound und umhüllende Umgebungsgeräusche werden akkurat eingefangen

Anforderungen

Das Fraunhofer Spatial Audio Microphone Processing passt sich dem individuellen Design und der Art und Platzierung der Mikrofone des jeweiligen Gerätes an. Dies ermöglicht sowohl ein flexibles Produktdesign, als auch optimale Audioaufnahmen.

Die Anzahl der benötigten Mikrofone im Gerät liegt in der Regel zwischen drei (für Consumer-Produkte) und acht (für professionelle Geräte). Die Konfiguration in der folgenden Grafik stellt nur ein mögliches Beispiel dar.

 

Integration

Der Spatial-Audio-Capturing-Algorithmus wird als optimierte Bibliothek angeboten für:

  • Desktop-Software (Windows/Mac)
  • Mobile Apps (iOS/Android)
  • Eingebettete Systeme (z.B. ARM Cortex)

Lizenzen sind verfügbar für Hersteller von 360°-Kameras und Mobiltelefonen.

Haben Sie Interesse an upHear?

Für eine Beratung hinsichtlich der individuellen Mikrofonplatzierung und der Fähigkeit zu räumlichem Klang in Ihrem Produkt: