SEMULIN – natürliche, multimodale Interaktion für automatisiertes Fahren

Die Nutzerschnittstelle nimmt im automatisierten Fahrbetrieb eine große Rolle ein, da sie aufgrund der steigenden Komplexität und Anforderungen mehrere Funktionen unterstützen, Informationen verarbeiten und eine hohe Bedienfreundlichkeit aufweisen muss.

Aktuell sind der natürlichen Interaktion zwischen Fahrer, Beifahrer und Fahrzeug Grenzen gesetzt, insbesondere was den Wechsel zwischen verschiedenen Modi (Mimik, Sprache, Beleuchtung, Lautsprecher etc.) oder deren Kombination betrifft.

Um diese menschenzentrierte Interaktion zu ermöglichen, müssen sowohl verschiedene Modalitäten als auch Kontextinformationen berücksichtigt und sinnvoll miteinander verknüpft werden. Eine besondere Herausforderung liegt darin, die genaue Handlungsabsicht des Nutzers korrekt zu identifizieren und Aktionsableitungen für das System zu generieren.

Um eine menschenzentrierte Mensch-Maschine-Schnittstelle mit maßgeschneiderter Systemarchitektur unter Berücksichtigung des Gesamtkontextes zu entwickeln, untersuchen wir alle verfügbaren Modalitäten, um die daraus aggregierten Sensordaten intelligent interpretieren und fusionieren zu können.

Dazu nutzen wir bereits etablierte Technologien, wie bspw. unsere Analysesoftware SHORE^® zur videobasierten Emotionserkennung und weitere verbaute Sensoren, um die Daten vorab zu verarbeiten und intelligent zu interpretieren. Mithilfe regelbasierter und KI-gestützter Verfahren und deren multimodaler Implementierung setzen wir die Daten miteinander in Beziehung.

Mithilfe intelligenter Sensorinterpretation und Fusionierung lassen sich Aussagen über den Zustand des Nutzers treffen, dessen Handlungsabsicht identifizieren und mögliche Reaktionen ableiten. Neuartige Ansätze, wie z.B. interaktives Lernen zielen darauf ab, dass sich das System kontinuierlich an die Bedürfnisse des jeweiligen Nutzers anpasst.
 

Elektrobit Automotive GmbH (Projektkoordination)

• Konzept, Design, HMI, Systemarchitektur, Demonstratoraufbau

Fraunhofer IIS | Bereich Smart Sensing and Electronics, Bereich Audio und Medientechnologien

• Videobasierte Mimik- und Emotionserkennung, Maschinelles Lernen
• Sprachplattform, Dialogsysteme, Sprechererkennung

audEERING GmbH

• Affective Voice Computing, Maschinelles Lernen, sprachbasierte Emotionserkennung

Eesy Innovation GmbH

• Ausgabemodalität, nutzerzentrierte steuerbare Lichtlösung

Blickshift

• Eyetracking, multimodales Framework

Infineon Technologies AG

• HPC-Architekturen, intelligente Sensoren, Gestenerkennung, Sicherheitskonzepte

Universität Ulm | Institut für Medieninformatik, Institut für Psychologie und Pädagogik

• Medieninformatik, HMI, Multimodalität, ELSI
• Human Factors, psycholog. Modellierung, Empirik

ELSI

Um eine größtmögliche Akzeptanz des Systems zu erreichen, werden im Projektverlauf ethische, rechtliche und soziale Implikationen (ELSI) analysiert, bewertet und entsprechend der vorgegebenen Leitlinien innerhalb des Forschungsansatzes integriert.
 

Für weitere Informationen rund um das Verbundprojekt SEMULIN wenden Sie sich bitte an Herrn Jaspar Pahl: jaspar.pahl@iis.fraunhofer.de