Erkennen von Gesang bei Dialog Enhancement

Fraunhofer IIS führt neues MPEG-H Dialog+ Feature bei ARTE ein

Erlangen: Seit einigen Jahren liefert das Fraunhofer-Institut für Integrierte Schaltungen IIS mit MPEG-H Dialog+ eine Lösung zur Dialogverstärkung für Rundfunk und Streaming. Sie trennt den Dialog vom Rest des Filmtons und macht es möglich, diesen separat zu verstärken. Das erlaubt es allen Zuschauenden, die für sich optimale Einstellung auszuwählen, was besonders Menschen mit Hörbeeinträchtigung zugutekommt. Das neueste Feature von MPEG-H Dialog+ ist auch in der Mediathek des deutsch-französischen Fernsehsenders ARTE verfügbar und wird in wenigen Tagen funktionsfähig.

Musik, oft auch mit Gesang, ist ein gängiger Bestandteil des TV-Programms, sei es in einem TV-Drama oder bei einer Konzertübertragung. Oft finden Dialog und Musik auch gleichzeitig statt – ganz wie im echten Leben. Und genau diese Situation stellte bisher eine der größten Herausforderungen im Bereich der Dialogverstärkung dar. Die auf dem Markt bekannten Technologien sind nicht in der Lage, Gesang zu erkennen und vom Processing auszuschließen. Dadurch kommt es im Fall von Musik häufig ebenfalls zu einer Verstärkung des Gesangs und einer Absenkung der restlichen Musikelemente. Dies führt schlimmstenfalls zu ungewollten Störgeräuschen, Minderung der Musikqualität und schlechter Verständlichkeit von Dialog und Gesang.

Das Fraunhofer IIS hat dieses Problem nun mit dem neuen Feature von MPEG-H Dialog+ gelöst. Als wahrscheinlich erste Technologie verhindert das Produkt aus Erlangen, dass eine automatische Dialoganpassung auch auf Gesang angewendet wird. Dadurch lassen sich musikalische Abschnitte in ihrer Klangqualität beibehalten und gleichzeitig Dialogsequenzen personalisieren. Das Resultat: Eine durchgängige Anhebung der Dialoge bei Beibehaltung des Gesangs im Hintergrund – und das bei ausgezeichneter Tonqualität.

Der öffentlich-rechtliche Sender ARTE setzt bereits seit längerem in Zusammenarbeit mit dem Fraunhofer IIS MPEG-H Dialog+ für sein Streaming-Angebot arte.tv ein. Zuschauende haben die Möglichkeit zwischen Inhalten mit der Original-Tonmischung und Inhalten mit besser verständlichen Dialogen – »Klare Sprache« in Deutschland oder »Confort Audio« bei französischen Inhalten – zu wählen. Mit der Erweiterung des neuen Features von Dialog+, das nun ebenfalls über arte.tv verfügbar ist, macht ARTE einen weiteren wichtigen Schritt in Richtung barrierefreien Streamings. Auch der öffentlich-rechtliche Sender ARD setzt in seiner Mediathek bereits MPEG-H Dialog+ ein.

»MPEG-H Dialog+ ist die perfekte Lösung für Anbieter wie Rundfunkanstalten, um Audiomaterial zu verbessern, wenn nur die finale Tonmischung zur Verfügung steht«, sagt Marc Gayer, Abteilungsleiter von Audio und Medientechnologien am Fraunhofer IIS. »So können Zuschauende je nach Präferenz zwischen der Originalmischung und der verbesserten Dialogmischung wechseln.«

»Dank MPEG-H Dialog+ ist es uns nun verstärkt möglich, auf unser Publikum einzugehen und bestmöglichen Audio und Videocontent zu liefern«, so Kemal Görgülüz, CTO von Arte. »Durch die Option Confort Audio können Zuschauende nun die für sie ideale Klangversion auswählen. Das schafft nicht nur eine hohe Barrierefreiheit, sondern auch individualisierte Streamingerlebnisse.«

Über MPEG-H Dialog+

Basierend auf künstlicher Intelligenz und mithilfe eines Deep-Neural-Networks trennt die Technologie des Fraunhofer IIS automatisch Sprache und Hintergrund (Musik, Effekte, Ambiente) einer finalen Tonmischung. MPEG-H Dialog+ senkt den Hintergrund nur dann ab, wenn Sprache vorhanden ist, und erstellt durch einen automatischen Remix eine neue, dialogverstärkte Version. Diese Funktion können Zuschauende als Alternative zur Original-Audiomischung auswählen. Sie bietet zum Beispiel für Menschen mit Hörbeeinträchtigungen die Möglichkeit, Inhalte besser zu verstehen.