PainFaceReader – Automatische Schmerzerkennung

Ziel

Entwicklung eines Monitoringsystems zur automatischen Schmerzerkennung auf Basis von Action Units.

In der Schmerzforschung liegt der besondere Fokus auf der robusten Erkennung von Schmerz anhand sich verändernder Gesichtsausdrücke als non-verbales Kommunikationsmittel und deren eindeutigen Abgrenzung zu anderen Emotionszuständen. Hierzu nutzen wir unsere Gesichtsdetektionssoftware SHORE^® sowie das Facial Action Coding System (FACS) zur robusten Detektion von Action Units.

Unser Ziel ist es zusammen mit der Universität Bamberg, bei nicht kommunikationsfähigen Patienten Schmerzempfinden mithilfe eines autonomen Systems auch dann rechtzeitig automatisch detektieren zu können, wenn kein medizinisches Personal im Raum ist.

Partner

Lehrstuhl Angewandte Informatik/Kognitive Systeme der Universität Bamberg

• Interpretation der vorverarbeiteten Action Units durch Ansätze des maschinellen Lernens

Lehrstuhl Physiologische Psychologie der Universität Bamberg

• Datenbasis für das Maschinelle Lernen
• Evaluation der Ergebnisse
  

Fraunhofer IIS | Facial Analysis Solutions

• Emotionserkennung in verschiedenen Kontexten, wie z.B. Umgebung, Beleuchtung und Perspektive auf Basis der robusten Detektion und Identifikation von Action Units mithilfe des Maschinellen Lernens

Das Projekt PainFaceReader wird von der Deutschen Forschungsgemeinschaft DFG (DFG-Projektnummer 405630557) seit 2018 gefördert.

Die eindeutige Klassifikation mimischer Gesichtsausdrücke mittels Action Units spielt gerade in der Schmerzforschung eine wichtige Rolle. Personen, die aufgrund kognitiver Beeinträchtigungen nicht in der Lage sind, sich zu ihrem Schmerzempfinden zu äußern, wie bspw. Demenzpatienten oder Patienten in der post-operativen Akutversorgung, interagieren allein über ihre Mimik mit dem Gegenüber.

Die Herausforderung

Die besondere Herausforderung liegt sowohl in der zuverlässigen Identifikation des mentalen Gemütszustands als auch in der Nachvollziehbarkeit der Klassifikationsentscheidungen, damit ein solches Assistenzsystem zur Diagnoseunterstützung und Schmerztherapieindikation eingesetzt wird. Mimische Reaktionen wie Ärger, Wut und Ekel und Schmerz weisen ähnliche Action Units oder dieselben Action Units in unterschiedlicher Reihenfolge auf. Von den detektierten Action Units wird direkt auf eine psychische Gemütsverfassung geschlossen

Das geplante System soll autonom arbeiten, so dass nur im Notfall medizinisches Personal gerufen wird. Damit werden Personalressourcen zielgerichtet eingesetzt und gleichzeitig Kosten reduziert.

• Um sowohl eine hohe Sensitivität als auch Spezifität in der Klassifikation von Schmerz zu erreichen, arbeiten wir an der zuverlässigen Erkennung von Action Units unter Berücksichtigung von AU-Kombinationen und Integration zeitvarianter Modelle
  • Gleichzeitiges Auftreten von AUs (Ko-okkurenz) liefert wichtige Zusatzinformationen
  • Zeitliche Abfolge von AUs dient aufgrund der Charakteristika als weitere Informationsquelle
    

Zusätzlich arbeiten wir daran, unsere SHORE^® Softwarebibliothek hinsichtlich valider Erkennung zeitgleich auftretender AUs und Berücksichtigung zeitlicher Verläufe mittels Methoden des Maschinellen Lernens mit Fokus auf Computer Vision (DNN’s) weiter zu entwickeln.

• Intensivpflege
• Palliativ-Medizin
  
• Mimikanalyse bei Depressionen

• Jaspar Pahl, Ines Rieger, Dominik Seuß; presented at the first Workshop on the Art of Learning with Missing Values (Artemiss) hosted by the 37th International Conference on Machine Learning (ICML) 2020: Multi-label Learning with Missing Values using Combined Facial Action Unit Datasets

• Ines Rieger, Jaspar Pahl, Dominik Seuß; accepted at the 15th IEEE International Conference on Automatic Face and Gesture Recognition 2020, Workshop "Affect Recognition in-the-wild: Uni/Multi-Modal Analysis & VA-AU-Expression Challenges": Unique Class Group Based Multi-Label Balancing Optimizer for Action Unit Detection

• Jaspar Pahl, Ines Rieger, Dominik Seuß; this submission is subject to the Action Unit detection task of the Affective Behavior Analysis in-the-wild (ABAW) challenge at the IEEE Conference on Face and Gesture Recognition 2020: Multi-Label Class Balancing Algorithm for Action Unit Detection

• Blais, C.; Fiset, D.; Furumoto-Deshaies, H.; Kunz, M.; Seuss, D.; Cormier, S.; Journal of Pain, 2019: Facial Features Underlying the Decoding of Pain Expressions
  
• Mahesh, B.; Prassler, E.; Hassan, T.; Garbas, J.U.; International Conference on Pervasive Computing and Communications (PerCom) 17, 2019: Requirements for a Reference Dataset for Multimodal Human Stress Detection

• Miriam Kunz, Dominik Seuss, Teena Hassan, Jens U. Garbas, Michael Siebers, Ute Schmid, Michael Schöberl, Stefan Lautenbacher; BMC geriatrics 17 (2017): Problems of video-based pain detection inpatients with dementia: a road map to aninterdisciplinary solution