KI-Serie: Erklärbare KI

Was ist erklärbare KI? Wozu braucht man sie? Und vor allem: Warum wird sie immer wichtiger?

Prof. Ute Schmid, Gruppenleiterin der Projektgruppe Erklärbare KI und Professorin an der Universität Bamberg, und Dominik Seuß, Gruppenleiter der Gruppe »Multimodal Human Sensing« und Leiter im Geschäftsfeld Bildanalyse und Mustererkennung schildern im Interview, dass immer mehr Anwendungen und Einsatzgebiete von KI entstehen, und erklären, warum der Mensch Transparenz und Nachvollziehbarkeit von KI braucht.

Im Zusammenhang mit Methoden des Maschinelles Lernens wird zwischen Black-Box-Verfahren und White-Box-Verfahren unterschieden. Damit werden Lernverfahren danach charakterisiert, ob das gelernte Modell in einem für Menschen nachvollziehbaren Format vorliegt. Warum gibt es Black-Box Ansätze überhaupt und nicht nur ausschließlich White-Box-Verfahren?

 

Prof. Schmid: Die verschiedenen Varianten von Lernverfahren sind für verschiedene Arten von Problemen jeweils besonders gut geeignet. So werden White-Box-Verfahren sehr erfolgreich in Bereichen angewendet, in denen klar ist, mit welchen Merkmalen die zu klassifizierenden Daten beschrieben werden können. Zum Beispiel, wenn es um eindeutig benennbare Eigenschaften geht wie Größe, Gewicht, Farbe, demographische Merkmale, grob gesagt, wenn die Daten in Tabellenform oder als strukturierte Objekte vorliegen.

Dagegen ist es bei Bilddaten oft nicht so einfach, vorab zu entscheiden, welche Informationen aus Kontrasten, Farbverläufen und Texturen genutzt werden sollten, um Entscheidungen zu treffen. Diese Informationen sind auch oft schwer in Worte zu fassen. Hier eignen sich Black-Box-Verfahren besser, die transparent machen, nach welchen Kriterien die KI entscheidet.

Dominik Seuß: Beide Verfahren haben ihre Vorteile. Black-Box-Ansätze haben oftmals eine viel genauere Vorhersagekraft, da sie keine menschenverständlichen Merkmale extrahieren müssen. Sie können hochkomplexe und hochdimensionale Abhängigkeiten erfassen und sind daher oftmals viel mächtiger als White-Box-Verfahren. Genau dieser Umstand macht es wiederum schwierig herauszufinden, ob solch ein Netz sinnvolle Merkmale für seine Entscheidung benutzt oder rein zufällige Merkmale, wie zum Beispiel die Hintergrundfarbe für seine Entscheidung interpretiert.

Im Zusammenhang mit erklärbarer KI fällt oft der Begriff der »Third Wave of AI«. In welchem Zusammenhang steht das zu erklärbarer KI?

 

Prof. Schmid: Der Begriff Third Wave basiert auf einer zeitlichen Einteilung der Forschung im Bereich Künstliche Intelligenz bezogen auf die jeweils dominierenden Methoden.

Die erste Welle der KI wird kurz mit »Describe« charakterisiert. Gemeint sind hier wissensbasierte Methoden, also Ansätze zur Wissensrepräsentation und zur automatischen Schlussfolgerung. Diese Ansätze sind darauf angewiesen, dass das Wissen eines Bereichs per Hand modelliert wird, man spricht von Knowledge Engineering.

Die zweite Welle wird als »Learn« beschrieben, hier stehen die rein datengetriebenen, statistischen Ansätze des maschinellen Lernens im Zentrum, wie Support Vector Machines und künstliche neuronale Netze. Nachvollziehbarkeit durch den Menschen spielt hier keine Rolle zur Beurteilung der Qualität der Verfahren, nur die prädiktive Performanz, also die Abschätzung, wie viele Fehler das gelernte Modell auf ungesehenen Eingaben machen wird.

Jetzt, wo KI zunehmend aus den Forschungslaboren in viele Anwendungsbereiche Einzug hält, wird erkannt, dass Transparenz und Nachvollziehbarkeit, aber auch Adaptivität, also Anpassungsfähigkeit auf verschiedene Kontexte in komplexen sozio-technischen Systemen unverzichtbar ist, wenn man maschinelles Lernen einsetzen will. Somit ist also die dritte Welle, die kurz als »Explain« beschrieben wird, eingeläutet.

Die Projektgruppe Erklärbare KI ist eine Kooperation zwischen der Universität Bamberg und dem Fraunhofer IIS. Sie forscht an Möglichkeiten zu erklärbarem Maschinellen Lernen. Zu welchem Zweck wurde die Gruppe eingerichtet? Und welchen Nutzen können ihre Forschungsergebnisse haben?

 

Prof. Schmid: Unter erklärbarer KI versteht man Methoden, welche die Entscheidungen von KI-Systemen transparent und nachvollziehbar machen. Das betrifft insbesondere Systeme, die auf maschinellem Lernen basieren. Komplexe neuronale Netze sind auch für die Entwickler selbst intransparent und daher schwer nachvollziehbar.

Aktuell wird umfangreich an Ansätzen geforscht, bei denen nach dem Eingeben der Daten hervorgehoben und visualisiert wird, welche Aspekte ein neuronales Netz hauptsächlich herangezogen hat, um zu seiner Entscheidung zu kommen.

Ein Beispiel hierzu wäre etwa eine medizinische Bildaufnahme und die darauffolgende medizinische Diagnose. Ein Entwickler kann durch Visualisierungen erkennen, ob das gelernte Modell korrekt berechnet oder überangepasst ist, zum Beispiel, weil ein wichtiges Merkmal mit einem unwichtigen wie der Hintergrundfarbe korreliert. Anwender – im Beispiel Mediziner – benötigen dagegen eher auf die Diagnose selbst bezogene Erklärungen, die man oft am besten sprachlich ausdrücken kann.

Im erwähnten medizinischen Beispiel könnte die Diagnoseentscheidung bezogen auf bestimmte eingegebene Eigenschaften erläutert werden. Beispielsweise, dass eine bestimmte Tumorart klassifiziert wurde anhand der Größe und Lage des erkrankten Gewebes.

Dominik Seuß: Wir arbeiten zum Beispiel derzeit an der Erkennung von Schmerz. Für diesen Use Case existieren nur wenige Daten, weshalb neuronale Netzwerke teilweise fehlerhafte Korrelationen in den Daten finden, bzw. im schlimmsten Fall einfach die Trainingsdaten »auswendig« lernen.

Wir nutzen daher Visualisierungstechniken, also Techniken wie z.B. Layerwise Relevance Propagation o.ä., die uns zeigen, welche Bereiche des Eingangsbilds den stärksten Einfluss auf die Entscheidung des Netzwerks hatten. Darauf aufbauend können wir im nächsten Schritt Vorwissen von Experten aus der Psychologie in die Modellierung der Netzwerke miteinbeziehen. Dies kann bspw. durch die gezielte Restriktion im Lernprozess erfolgen, also indem man verhindert, dass physiologisch nicht mögliche Zusammenhänge gelernt werden. So kann man auch in Situationen, in denen wenig Daten zur Verfügung stehen, robuste Modelle erhalten.

Prof. Schmid: Natürlich ist Erklärbarkeit nicht nur im Bereich der medizinischen Diagnostik relevant, sondern in allen Bereichen, in denen Entscheidungen ernsthafte Konsequenzen haben können – etwa im Kontext der Steuerung von Produktionsprozessen oder im Bereich der Mobilität und des autonomen Fahrens.

Inwiefern sollen die in der Gruppe interdisziplinär entwickelten Methoden insbesondere der Anwendung Nachvollziebare KI für Medizin und Automotive des ADA-Lovelace-Centers zu Gute kommen?

 

Prof. Schmid: Aktuell betreue ich mehrere Doktorand*innen, sowohl in der Gruppe Bildanalyse und Mustererkennung als auch im Kontext des ADA-Lovelace-Centers. Ich finde die Kooperation mit Kolleg*innen, die ganz verschiedene fachliche Perspektiven und Anwendungsthemen einbringen, außerordentlich spannend und fruchtbar. Der Mehrwert von Ansätzen, die wir in der Wissenschaft entwickeln, zeigt sich nicht zuletzt auch darin, dass sie in der Praxis sinnvoll einsetzbar sind.

Fokus in der Projektgruppe Erklärbare KI sind Methoden zur Erzeugung von Erklärungen in unterschiedlichen Modalitäten – auch inspiriert durch Erkenntnisse aus der Kognitionspsychologie. Ein weiterer wichtiger Aspekt, um Systementscheidungen zu bewerten, ist es, zu wissen, wie ein System auf seine Entscheidung gekommen ist.

Dominik Seuß: Dieses Wissen hilft uns bei verschiedensten Problemen. Ein Beispiel hierfür ist die Fusion von Datenquellen, die sich gegenseitig ergänzen. Da jeder Klassifikatorenentscheidung eine Unsicherheit zugewiesen werden kann, bietet unsere Fusionsalgorithmik die Möglichkeit an, dynamisch auf sich ändernde Umwelteinflüsse zu reagieren. Nehmen wir an, ein Sensor im Fahrzeug ist beschädigt und liefert verrauschte Daten. Der Klassifikator erkennt, dass diese Daten nicht die Beschaffenheit aufweisen, auf die er trainiert ist, und weist seiner Entscheidung eine hohe Unsicherheit zu. Dies hat zur Folge, dass das Fusionsergebnis sich entweder mehr auf andere Modalitäten verlassen wird oder einen gezielten Notfallzustand einleiten wird wie z.B. rechts ranfahren.

 

Definitionen und Erklärungen

  • Unter erklärbarer KI versteht man Methoden, welche die Entscheidungen von KI-Systemen transparent und nachvollziehbar machen. Das ist notwendig, wenn die KI sich z. B. wie beim Deep Learning die Lösung selber sucht und seine Entscheidungen an nicht vorgegebenen Merkmalen festmacht.

    Der Begriff »Wellen « basiert auf die zeitliche Einteilung der Forschung im Bereich Künstliche Intelligenz und ist bezogen auf die jeweils dominierenden Methoden.

  • Die Projektgruppe Erklärbare KI ist eine Kooperation zwischen der Universität Bamberg und dem Fraunhofer IIS. Die Leitung hat Prof. Ute Schmidt.

  • Entscheidungsregeln werden als Baumdiagramm mit Merkmalen (wie Farbe, Temperatur) als Knoten, Ausprägungen (z.B. rot/gelb/grün, hoch/niedrig oder Zahlenbereiche) als Kanten und Klassen als Blätter dargestellt.

    Algorithmen zum Lernen von Entscheidungsbäumen aus Beispielen gehören zu den frühesten Lernalgorithmen.

  • Lineare Regression ist ein verbreitetes statistisches Verfahren, bei dem die Beziehung von einer oder mehrerer (unabhängiger) Variablen (beim  maschinellen Lernen als Merkmale bezeichnet) zu einer (abhängigen) Variabel (beim maschinellem Lernen der vorherzusagende Wert) in Form einer linearen Gleichung dargestellt wird.

  • Künstliche neuronale Netze sind dem menschlichen Gehirn und seinen Neuronen grob nachempfunden.

  • Eine mathematische Methode, die im Umfeld des maschinellen Lernens eingesetzt wird, um Objekte zu klassifizieren. Die Methode wird, zum Beispiel, angewendet, um Bilder, Texte oder Handschriften zu erkennen.

  • Im Zusammenhang mit Methoden des Maschinelles Lernens wird zwischen Black-Box-Verfahren und White-Box-Verfahren unterschieden. Damit werden Lernverfahren danach charakterisiert, ob das gelernte Modell in einem für Menschen nachvollziehbaren Format vorliegt. In diesem Sinn sind künstliche neuronale Netze Black-Boxen und Entscheidungsbäume oder lineare Regressionsmodelle White-Boxen. 

  • Maschinelles Lernen ist grundsätzlich datengetrieben. Ein generalisiertes Modell wird aus beobachteten Regularitäten aus den Daten abgeleitet. Einige Ansätze des maschinellen Lernens können zusätzlich zu Daten Vorwissen nutzen. Ansätze des maschinellen Lernens unterscheiden sich danach, wie datenintensiv sie sind. So benötigen (tiefe) neuronale Netze sehr große Datenmengen, Entscheidungsbaumverfahren und Regressionsmodelle können jedoch auch auf kleine Datensätze angewendet werden.

  • Klassische Ansätze des maschinellen Lernens erwarten, dass die Daten als Merkmalsvektoren (analog zu Tabellen mit einer Instanz pro Zeile) vorliegen. Diese Vorgabe macht oft komplexe Vorverarbeitung– sogenannte feature extraktion – notwendig. Beispielsweise müssen bei Bilddaten Farb-, Textur- und eventuell auch komplexere Formmerkmale mit Methoden der Bildverarbeitung extrahiert werden, bevor ein Verfahren des maschinellen Lernens angewendet werden kann. Spezielle Architekturen für künstliche neuronale Netze, zum Beispiel Convolutional Neural Networks (CNNs) erlauben, dass direkt aus den Rohdaten gelernt werden kann. Dies wird als end-to-end learning – von den Rohdaten zur Modellvorhersage – bezeichnet.

  • Wenn Menschen einen Sachverhalt erklären, so erfolgt das meistens verbal, teilweise auch durch gezieltes Zeigen eines typischen Beispiels oder auch eines Beispiels, das gerade nicht die Vorgaben erfüllt (ein sogenannter near miss). Je nach Anwendungsbereich können die Daten Bilder, Töne, Texte, aber auch strukturierte Daten wie Merkmalsvektoren, Bäume oder Graphen sein.

    Will man erklären, warum man etwa meint, dass auf einem Bild eine Katze zu sehen ist (oder ein Tumor einer bestimmten Kategorie), dann kann man dies verbal tun (weil das Tier Fell, Krallen, Schnurrhaare hat) oder auch visuell, in dem etwa die Form der Ohren und die Schnurrhaare betont werden. Man kann ein typisches Katzenbild als Beispiel geben und zeigen, dass sich die Bilder ähneln oder man zeigt einen Luchs als Gegenbeispiel. Modalitäten von Erklärungen sind also die verschiedenen Arten, in der Information übermittelt wird. Will man mit maschinellem Lernen gelernte Modelle so erklären, dass man die im Kontext hilfreichste Erklärung liefert, so sind algorithmische Verfahren notwendig, mit denen solche Erklärungen automatisch erzeugt werden können.

  • Layer-wise Relevance Propagation ist eine Technik, mit der potenziell hochkomplexe tiefe neuronale Netzwerke erklärbar und messbar sind. LRP erlaubt sozusagen die »Denkprozesse« von neuronalen Netzen rückwärts ablaufen zu lassen.

Kontakt

Sie haben Fragen, Kommentare oder Anmerkungen zum Fraunhofer IIS Magazin?

Schreiben Sie uns eine E-Mail.

Immer informiert

Der Newsletter zum Magazin

Abonnieren Sie den Newsletter des Fraunhofer IIS Magazins und erhalten Sie alle neuen Themen kompakt per Mail.

Startseite

Zurück zur Startseite des Fraunhofer IIS Magazins