Fraunhofer upHear Spatial Audio Microphone Processing

Über

Heute wird von jeder Tonaufnahme ein natürlicher, gleichmäßiger und immersiven Klang erwartet – ganz gleich, ob sie mit professionellen oder Consumer-Geräten gemacht wird. Das bedeutet, dass sogar die eingebauten Mikrofone von 360°-Kameras und anderen mobilen Geräten High-End-Aufnahmen liefern müssen. Aus diesem Grund hat Fraunhofer mit upHear Spatial Audio Microphone Processing einen Algorithmus zur räumlichen Klangerfassung entwickelt. Mit räumlicher Klangverarbeitung erzeugt die Software einen hochauflösenden, immersiven Klang, der dem ursprünglichen Hörerlebnis genau entspricht.

Dies wird hauptsächlich durch drei Funktionen erreicht: Direktionale Schallquellen wie Sprache, markante Instrumente und Schallereignisse werden mit hoher Präzision lokalisiert. Gleichzeitig werden gewünschte Umgebungsgeräusche wie die Hintergrundatmosphäre eines Stadions oder der Nachhall einer Konzerthalle aufgenommen. Durch die hohe Qualität der Klangverarbeitung gibt es zudem keine hörbaren Artefakte. Zusammen sorgen diese Eigenschaften für High-End-Klang auch aus sehr kompakten Geräten und Mikrofonaufbauten.

Fraunhofer upHear Spatial Audio Microphone Processing ist die erste Audiotechnologie der Fraunhofer-Marke upHear, die für immersive Audio-Innovationen steht. Der Algorithmus bewahrt die Authentizität einer Audioszene während er den aufgenommenen Ton in Echtzeit automatisch in jedes gängige Surround- oder Immersive-Audio-Wiedergabeformat umwandelt, etwa in FOA, HOA, 5.1-Kanäle und 7.1+4 Höhenkanäle.

Eigenschaften

Rauschunterdrückung

Die automatische Rauschunterdrückung entfernt Hintergrundgeräusche und sorgt für ein Gleichgewicht zwischen Sprachqualität und klarem Klang

Beamforming

Signaladaptives Beamforming extrahiert die gewünschten Schallquellen in bestmöglicher Qualität, und schwächt gleichzeitig unerwünschte Störgeräusche ab

Dereverberation

Fortschrittliche Dereverberation-Algorithmen zur Nachhallreduktion verbessern die Sprachverständlichkeit bei der Aufnahme von weit entfernten Sprachquellen in Innenräumen

Klang-Entzerrung (EQ)

Verbesserte Klangfärbung und individuelle Klangabstimmung durch erfahrene Fraunhofer-Toningenieure

Windgeräuschunterdrückung

Die automatische Windgeräuschunterdrückung erkennt und reduziert Windgeräusche und liefert so optimale Sprachqualität

Automatic Gain Control (AGC) und Dynamic Range Control (DRC)

AGC und DRC sorgen für optimale Ausgangslautstärke bei unterschiedlichen Signalinhalten und unabhängig von der Entfernung der Schallquellen

Audio Zoom

Die Audio-Zoom-Technologie ermöglicht in Echtzeit die Fokussierung auf bestimmte Quellen (beim Hineinzoomen) oder erzeugt einen immersiven räumlichen Klangeindruck (beim Herauszoomen)

Individueller Klang

Maßgeschneiderte Algorithmen und Tuning-Optionen ermöglichen es in Echtzeit, nahezu jeden Aspekt der Klangverarbeitung an die Bedürfnisse des Publikums oder des Anwenders anzupassen

upHear-Produktfamilie

Die upHear-SAMP-Technologie wird in verschiedenen Produkten der upHear-Produktfamilie verwendet. Hier erfahren Sie mehr:

Vorteile

Das Spatial Audio Microphone Processing von Fraunhofer ermöglicht es jedem, Videoinhalte einfach und zuverlässig mit Raumklang aufzuwerten.

 

Professionelle Ersteller von Inhalten

Auch Content Creators profitieren von Fraunhofers Audio-Expertise: Sie ermöglicht die einfache Aufnahme von hochwertigem, positionsgenauem 3D-Klang und natürlichem Raumklang, der die Setatmosphäre berücksichtigt. In der Postproduktion können die aufgenommenen Audioszenen mit zusätzlichen Tonelementen wie Voiceovers oder dynamischen Objekten kombiniert werden.

 

Endverbraucher

Im Consumer-Bereich sind Geräte gefragt, die einfache Bedienung und hochwertige Aufnahmen kombinieren. Die Integration der räumlichen Aufnahmetechnologie von Fraunhofer in Consumer-Kameras erfüllt diese Forderung: Die Aufnahme von immersivem, zum Video passenden Ton auf Knopfdruck.

 

Hersteller

Die Spatial Audio Microphone Processing Technologie von Fraunhofer bietet Herstellern von Unterhaltungselektronik die Flexibilität, die Eingangs- und Ausgangsquellen frei zu wählen.

Die Fraunhofer-Algorithmen können an jede Mikrofon-Geometrie angepasst werden, egal, ob es sich um eine kundenspezifische Mikrofonanordnung (etwa für Smartphones oder Action-Kameras) oder um eine Multi-Mikrofon-Geometrie (wie lineare, kreisförmige und sphärische Mikrofon-Arrays oder Mikrofone im B-Format) handelt.

Auch in Bezug auf die zu erwartende Ausgabe ist die upHear-Technologie flexibel: Sie passt sich der räumlichen Tonausgabe verschiedenster Formate an, einschließlich kanalbasiertem Audio (wie 2.0, 5.1, 22.2) und Ambisonics (FOA, HOA). Außerdem kann die Audioverarbeitung sogar dann angewendet werden, wenn die Mikrofongeometrie unbekannt ist und nur ein Mikrofon zur Verfügung steht (natürlich mit einigen Einschränkungen).

Anwendungen

© Monkey Business - stock.adobe.com

Inhalte für Social Media

  • Aufnahme von Audio-Blogs für Social-Media-Plattformen
  • Hervorragende Sprachqualität und Sprachverständlichkeit auch bei Verwendung relativ einfacher Mikrofone und bei Aufnahmen aus größerer Entfernung
  • Keine externen Mikrofone erforderlich, da die in Kameras oder Smartphones eingebauten Mikrofone bei Verwendung der Fraunhofer-Technologie eine ausreichende Tonqualität liefern können

 

Videoaufnahmen mit dem Handy

  • Audio-Zoom für Echtzeit-Fokussierung auf die gewünschte Schallquelle vor der Kamera und Abschwächung von unerwünschten Störgeräuschen von der Seite oder von hinten
  • Ermöglicht das Herauszoomen zur Aufnahme von immersivem Raumklang
  • SAMP-Mono-Upmix ermöglicht hochwertige immersive Musikaufnahmen mit jedem Smartphone

Konzertaufnahmen

  • Hochwertige, immersive Raumklang-Aufnahmen mit kompakten Geräten
  • Ermöglicht die Wiederherstellung des ursprünglichen Raumeindrucks beim Konzert
  • Ermöglicht eine klare Lokalisierung der Musik sowie einen immersiven Eindruck vom Ambiente (etwa durch Jubelgeräusche der Menge, Applaus und den Nachhall des Konzertsaals)

 

Aufnahmen von Sportveranstaltungen

  • Windgeräuschunterdrückung ermöglicht die Aufnahme von Sportveranstaltungen im Freien
  • Immersive Tonaufnahme sorgt dafür, dass der ursprüngliche Eindruck (z. B. die Stadionatmosphäre) wiederhergestellt wird
© Евгений Вдовин - stock.adobe.com
© pikselstock - stock.adobe.com

VR- und AR-Audio

  • Immersiven räumlichen 3D-Sound für VR-Anwendugen festhalten
  • Maßgeschneiderte Mikrofon-Setups ermöglichen es, die Mikrofone auf der Videokamera so anzubringen, dass sie nicht im Sichtfeld der Kamera erscheinen und dennoch hochauflösenden Raumklang erfassen

 

Sprachaufnahmen

  • Aufzeichnung von Interviews mit hoher Sprachverständlichkeit
  • Einsetzbar als Front-End-Processing für Videokonferenzsysteme
  • upHear SAMP-Technologien zur Verbesserung des Sprachklangs werden in upHear VQE verwendet

Weitere Informationen

Haben Sie Interesse an upHear?

Für eine Beratung hinsichtlich der individuellen Mikrofonplatzierung und der Fähigkeit zu räumlichem Klang in Ihrem Produkt:

Neueste Forschung

Wir halten unsere Technologien zur Signalverarbeitung auf dem neuesten Stand, indem wir kontinuierlich die neuesten Innovationen aus angrenzenden Bereichen der Signalverarbeitung integrieren. Die neuesten Demos finden Sie in den AudioLabs:

Zurück zur Unterhaltungselektronik