Projektgruppe Erklärbare Künstliche Intelligenz

Wie können Aussagen und versteckte Logik tiefer künstlicher neuronaler Netze (DNN's) besser nachvollziehbar und erklärbar gemacht werden?

Erklärbare KI

Transparenz und Nachvollziehbarkeit von KI-Systemen

Erklärbarkeit als notwendige Voraussetzung für den Einsatz von maschinellem Lernen in der Praxis

Erklärbare KI wird als das zentrale Zukunftsthema der KI-Forschung angesehen, die "3rd Wave of AI" in Nachfolge als Kombination aus wissenbasierten Systemen (1st Wave) und statistischem Lernen (2nd Wave) zu beschreiben. Zunehmend wird deutlich, dass rein datengetriebenes Maschinelles Lernen in vielen Anwendungsbereichen nicht oder nicht ohne Kombination weiteren Methoden einsetzbar ist.

In der Projektgruppe Erklärbare KI (EKI) entwickeln wir in einer Kooperation des Fraunhofer IIS und der Universität Bamberg Methoden für erklärbares maschinelles Lernen:

  • Wir arbeiten an hybriden Ansätzen des maschinellen Lernens, bei denen blackbox Verfahren, wie (tiefe) neuronale Netze mit Methoden des interpretierbaren maschinellen Lernens (whitebox Verfahren) kombiniert werden. Solche Methoden erlauben die Kombination von Logik und Lernen, insbesondere die Berücksichtigung von Expertenwissen beim Lernen.
  • Wir entwickeln Methoden des interaktiven und inkrementellen Lernens, für Anwendungsbereiche, in denen nur wenige Daten vorliegen und bei denen das Labeling von Daten problematisch ist.
  • Wir entwickeln Algorithmen zur Generierung multimodaler Erklärungen, insbesondere zur Kombination von visuellen und sprachlichen Erklärungen und berücksichtigen dabei Erkenntnisse aus der Kognitionsforschung.

Aktuelle Anwendungsbereiche sind bildbasierte medizinische Diagnostik, Mimikanalyse, Qualitätskontrolle in der Produktion 4.0, Phänotypisierung von Nutzpflanzen sowie Automotive.

eki – Erklärbare KI
© Jessica Deuschel

Unsere Forschungsthemen

Interpretierbares Maschinelles Lernen

 

  • Induktive logische Programmierung (ILP)
  • Statistisches relationales Lernen
  • Probabilistische logische Programmierung
  • Lernen von fuzzy-Regeln
  • Hybrides whitebox blackbox Lernen
  • Methoden der Regelextraktion

Multimodale Erklärungsgenerierung

 

  • Kontextsensitive Ansätze statt one-size-fits-all
  • Kombination von visuellen und verbalen Erklärungen
  • Kontrastive Beispiele, insbesondere near misses
  • Erklärung durch Prototypen

Interaktives Lernen durch wechselseitige Erklärungen

  • Human-in-the loop für partnerschaftliche KI
  • Erklärungen als Möglichkeit, maschinelles Lernen durch menschliches Wissen gezielt zu steuern
  • Interaktivität als Ansatz für Bereiche, in denen groundtruth labeling schwer möglich ist
  • Vertrauen in KI-Systeme durch Nachvollziehbarkeit und Partizipation statt autonomer Systeme 

Kombination von Logik und Lernen für komplexe Anwendungsbereiche

 

  • Reduktion von Datenbedarf durch Beschränkung des Suchraums durch Vorwissen
  • Berücksichtigung von Expertenwissen und commonsense knowledge
  • Transparenz und Robustheit durch interpretierbare Modelle

Kognitive Tutorsysteme

 

  • Nutzung von Erklärungen für Trainingssysteme in der betrieblichen Aus- und Weiterbildung
  • Kontrastive Erklärungen zur Unterscheidbarkeit verschiedener Merkmalsausprägungen
  • Verständnis für Klassengrenzen durch gezielte Auswahl von near misses

Partner und Projekte

 

ADA Lovelace Center for Analytics, Data and Applications

Neues Kompetenzzentrum für Data Analytics und KI in der Industrie
Das ADA Lovelace Center verbindet auf einzigartige Weise KI-Forschung mit KI-Anwendungen der Industrie. Hier können sich die Partner untereinander vernetzen, vom Know-how des anderen profitieren und an gemeinsamen Projekten arbeiten

 

Projektpartner Universität Bamberg

Prof. Dr. Ute Schmid leitet die Gruppe "Kognitive Systeme" an der Universität Bamberg

 

Vernetzungsplattform zwischen Industrie und Forschung

Künstliche Intelligenz im Fokus – Machine Learning Forum

 

TraMeExCo

Ziel des BMBF-Projektes TraMeExCo (Transparent Medical Expert Companion) ist die Erforschung und Entwicklung geeigneter neuer Methoden zum robusten und erklärbaren Maschinellen Lernen auf komplementären Anwendungen (Digitale Pathologie, Schmerzanalyse, Kardiologie) aus dem Bereich der Medizintechnik.

News

E-Lecture

Die Dritte Welle der KI – Vom rein datengetriebenen Blackbox-Lernen zu interaktiven und erklärbaren Ansätzen

In der sogenannten '3rd Wave of AI' soll nun Erklärbarkeit die Ansätze des rein datengetriebenen maschinellen Lernens ablösen. Im Vortrag wird aufgezeigt, dass maschinelles Lernen neben tiefen Netzen eine Fülle weiterer Ansätze zu bieten hat. Insbesondere werden aktuelle Entwicklungen für interaktives, erklärbares Maschinelles Lernen erörtert.

Interview bidt

„Es ist immer wieder beeindruckend zu erkennen, was der Mensch alles kann – und Maschinelles Lernen (noch) nicht.“

Ute Schmid, Professorin für Angewandte Informatik, insbes. Kognitive Systeme an der Universität Bamberg, verstärkt von Februar 2020 an das Direktorium des bidt.

Interview fortiss

Datensparsam lernen

Bei fortiss wird Prof. Ute Schmid in das Leitprojekt „Robuste KI“ eingebunden und ihre Expertise in induktiver Programmierung einbringen. Im Interview erläutert sie, warum diese wichtig ist.

Media

Künstliche Intelligenz soll beim Ausmisten des PCs helfen

"Dare2Del" ("Wage es zu löschen") heißt das Programm, das dem Menschen beim Löschen ungenützter Daten am PC helfen soll.

  • Künstliche Intelligenz soll dem Menschen künftig helfen, unnütze Dateien vom Rechner zu löschen.
  • Ute Schmid, Informatik-Professorin an der Universität Bamberg, entwickelt deshalb mit ihrem Forscherteam ein interaktives Assistenzsystem.
  • "Dare2Del" zeigt dem Nutzer beim Schließen eines Programms fünf Dateien an samt Begründung, warum diese gelöscht werden könnten.

Media

Wenn Mensch und Künstliche Intelligenz gemeinsam Diagnosen stellen

Diagnose per Künstlicher Intelligenz soll transparenter werden – Forschungsteam entwickelt medizinischen „Begleiter“