Zum Jubiläum neu aufgelegt: die Gesichtsanalyse mit Künstlicher Intelligenz von SHORE®

Die am Fraunhofer-Institut für Integrierte Schaltungen IIS entwickelte und weltweit eingesetzte Software-Bibliothek SHORE® zur Gesichtserkennung und Emotionsanalyse wird 15 Jahre alt. Zu diesem Anlass hat das Fraunhofer IIS eine neue Version mit erweiterten Features herausgebracht. SHORE® arbeitet mit hocheffizienten KI-Algorithmen, die eine bildbasierte Analyse der menschlichen Mimik nach deutschen und EU-Datenschutzstandards ermöglichen. Die Technologie ist vielfältig einsetzbar und ermöglicht z.B. Erkenntnisse bei psychischen Störungen oder auch in der Werbewirkungsforschung.

Traurig? Wütend? Ängstlich? SHORE® stellt in Echtzeit fest, welchen emotionalen Zustand Gesichter ausdrücken. Auch Alter und Geschlecht erkennt die Software sehr schnell. In der nun verfügbaren neuen Version ist die Detektion weiterer Gemütszustände wie »frightened«, »disgusted« und »neutral« sowie die Erhebung noch akkuraterer Ergebnisse im Bereich subtiler Emotionen möglich. Ermöglicht wird das durch die Nutzung tiefer neuronaler Netze und weiterer Verfahren des Deep Learnings.

Einsatz in der Marktforschung und bei Autismus

SHORE® wird sowohl in öffentlichen Projekten als auch in der kundenspezifischen Auftragsentwicklung für Unternehmen eingesetzt. Mit der automatischen Mimik-Analyse des »EmoScans« des Marktforschungsinstituts GfK z.B. können emotionale Reaktionen in Echtzeit ohne Verkabelung der Probandinnen und Probanden erfasst werden. Die Software stellt somit eine effiziente Ergänzung zu herkömmlichen Befragungen dar: Mit ihr kann man sogar flüchtige Gesichtsausdrücke, sog. Mikroexpressionen, erfassen, die sich in Sekundenbruchteilen in der Mimik abspielen, aber sprachlich nicht kommuniziert werden. Die Emotionserkennung ermöglicht hier eine differenzierte, quantitative und objektive Bewertung.

Eine weitere Anwendung findet sich im Therapieroboter »Pepper«. Dieser erkennt bei autistischen Kindern über Mimik-, Sprach- und Pulsanalyse ihre Emotionen. Pepper tastet das Gesicht sensibel mit einer Kamera ab und wertet daraufhin die Daten mittels KI-Algorithmen der Gesichtserkennungssoftware SHORE® aus. Dann liefert er im Echtzeitfeedback die gewonnenen Erkenntnisse, die in die Behandlung der Kinder einfließen, an Therapeutinnen und Therapeuten.

Webfähige Technologie unter Einhaltung der EU-Datenschutz-Grundverordnung

Die Gesichtserkennungssoftware SHORE® ist enorm leistungsfähig: Neben der Detektion von Basisemotionen mit Einschätzung von negativer oder positiver Konnotation sowie Geschlecht und Alter kann sie auf Low-Power-Hardware eingesetzt werden und erfordert keinen Cloud-Service oder Internetverbindung. Sie ist für alle gängigen Plattformen und Betriebssysteme verfügbar. Darüber hinaus ist SHORE® als WebAssembly-Version erhältlich und damit auch für Webanwendungen nutzbar. Die Bibliothek kann direkt im Browser verwendet werden und kann on-the-fly analysieren. Eine einfache Integration in bestehende Websites oder in Dashboards und eine Unabhängigkeit vom verwendeten Betriebssystem ist damit gewährleistet. SHORE® ist von der ePrivacy GmbH zertifiziert. Bei korrekter Implementierung arbeitet die Software komplett anonym, wahrt Persönlichkeitsrechte, da die Bilddaten nach erfolgter Analyse sofort gelöscht werden und hält so die strengen europäischen Datenschutzbestimmungen (EU-DSGVO) ein.

Der Mensch im Fokus von SHORE®

Für Gruppenleiter Dr. Dominik Seuß und sein Entwicklerteam ist die Nützlichkeit für den Menschen ein starker Motivator bei der Weiterentwicklung der Technologie. Moralische Verantwortung und Datenschutz gehören zum Kodex des Forscherteams. Damit scheiden Einsatzgebiete wie die persönliche Identifikation durch SHORE® aus, da »sie sehr anfällig für Missbrauch sind«. »Wir lassen uns im Vorfeld Auskunft geben, wie genau die Technologie verwendet werden soll«, erläutert Seuß die Vorgehensweise. Erst dann beginnt die kundenspezifische Anpassung der Gesichtserkennungssoftware. Das Forscherteam von SHORE® ist sich einig: »Wir engagieren uns seit 15 Jahren für diese Software und sind überzeugt davon, dass SHORE® auch in Zukunft hilft Produkte und Dienstleistungen zu verbessern und Technologien beibringt, empathisch zu sein.«