Erklärbare KI

Transparenz und Nachvollziehbarkeit von KI-Systemen

Erklärbarkeit als notwendige Voraussetzung für den Einsatz von maschinellem Lernen in der Praxis

Erklärbare KI wird als das zentrale Zukunftsthema der KI-Forschung angesehen, die "3rd Wave of AI" in Nachfolge als Kombination aus wissenbasierten Systemen (1st Wave) und statistischem Lernen (2nd Wave) zu beschreiben. Zunehmend wird deutlich, dass rein datengetriebenes Maschinelles Lernen in vielen Anwendungsbereichen nicht oder nicht ohne Kombination weiteren Methoden einsetzbar ist.

In der Projektgruppe Comprehensible Artificial Intelligence (CAI) entwickeln wir in einer Kooperation des Fraunhofer IIS und der Universität Bamberg Methoden für erklärbares maschinelles Lernen:

  • Wir arbeiten an hybriden Ansätzen des maschinellen Lernens, bei denen blackbox Verfahren, wie (tiefe) neuronale Netze mit Methoden des interpretierbaren maschinellen Lernens (whitebox Verfahren) kombiniert werden. Solche Methoden erlauben die Kombination von Logik und Lernen, insbesondere die Berücksichtigung von Expertenwissen beim Lernen.
  • Wir entwickeln Methoden des interaktiven und inkrementellen Lernens, für Anwendungsbereiche, in denen nur wenige Daten vorliegen und bei denen das Labeling von Daten problematisch ist.
  • Wir entwickeln Algorithmen zur Generierung multimodaler Erklärungen, insbesondere zur Kombination von visuellen und sprachlichen Erklärungen und berücksichtigen dabei Erkenntnisse aus der Kognitionsforschung.

Aktuelle Anwendungsbereiche sind bildbasierte medizinische Diagnostik, Mimikanalyse, Qualitätskontrolle in der Produktion 4.0, Phänotypisierung von Nutzpflanzen sowie Automotive.

Unsere Forschungsthemen

Interpretierbares Maschinelles Lernen

 

  • Induktive logische Programmierung (ILP)
  • Statistisches relationales Lernen
  • Probabilistische logische Programmierung
  • Lernen von fuzzy-Regeln
  • Hybrides whitebox blackbox Lernen
  • Methoden der Regelextraktion

Multimodale Erklärungsgenerierung

 

  • Kontextsensitive Ansätze statt one-size-fits-all
  • Kombination von visuellen und verbalen Erklärungen
  • Kontrastive Beispiele, insbesondere near misses
  • Erklärung durch Prototypen

Interaktives Lernen durch wechselseitige Erklärungen

  • Human-in-the loop für partnerschaftliche KI
  • Erklärungen als Möglichkeit, maschinelles Lernen durch menschliches Wissen gezielt zu steuern
  • Interaktivität als Ansatz für Bereiche, in denen groundtruth labeling schwer möglich ist
  • Vertrauen in KI-Systeme durch Nachvollziehbarkeit und Partizipation statt autonomer Systeme 

Hybride KI für komplexe Anwendungsbereiche

  • Kombination von Logik und Lernen, von wissensbasierter und datengetriebener KI
  • Neuro-symbolische KI
  • Reduktion von Datenbedarf durch Beschränkung des Suchraums durch Vorwissen
  • Berücksichtigung von Expertenwissen und common sense knowledge
  • Transparenz und Robustheit durch interpretierbare Modelle

Intelligente Tutorsysteme (ITS)

  • Nutzung von Erklärungen für Trainingssysteme in der betrieblichen Aus- und Weiterbildung
  • Kontrastive Erklärungen zur Unterscheidbarkeit verschiedener Merkmalsausprägungen
  • Verständnis für Klassengrenzen durch gezielte Auswahl von near misses

News

 

Mehr Vernetzung, große Anerkennung: Prof. Dr. Ute Schmid ist ab sofort EurAI Fellow

In der European Association for Artificial Intelligence (EurAI) kommen wissenschaftliche Gesellschaften zusammen, die sich mit dem Thema Künstliche Intelligenz beschäftigen. Jährlich werden etwa 3% der Mitglieder EurAI Societies zum EurAI Fellow gekürt. Unter den diesjährigen vier neuen Fellows wurde auch Prof. Dr. Ute Schmid ausgezeichnet.  

21. Mai 2022, Video

Tag der offenen Tür

Sehen Sie hier einige Eindrücke des Tages der offenen Tür der Projektgruppe CAI.  

June 21, 2022 from 2:30 pm to 3:30 pm at i_space in Hall B4 @automatica

Ethics Round Table on June 21

The discussion  „Teaching AI – Opportunities and Challenges of educational institutions regarding responsible research and development today for the technological innovations of tomorrow” lead by Prof. Dr. med Alena Buyx, addresses the ethical issues associated with the development and use of AI-based technological innovations within the educational environment.  

27.4.2022

3 Fragen an Ute Schmid

Mädchen für KI begeistern: Ausprobieren fördert Zutrauen in eigene Fähigkeiten

Ute Schmid – Mitglied des Bayerischen KI-Rats

Der bayerische KI-Rat wurde von Bayerns Ministerpräsident Dr. Markus Söder am 22. Dezember bei der konstituierenden Sitzung vorgestellt.

Ute Schmid holt sich den Rainer-Markgraf Preis

Ute Schmid wird für den engagierten Wissenstransfer zwischen Universität, Forschung u. Bildungsarbeit ausgezeichnet.

Porträt

Die KI-Aufklärerin

Das Forschungsgebiet von Ute Schmid liegt an der Schnittstelle von KI-Entwicklung und ihrer Anwendung. Die bidt-Direktorin setzt sich für ein partnerschaftliches Miteinander von Mensch und Technologie ein.

 

"KI-Systeme sollten uns fördern und auch fordern. Es reicht mir nicht, dass Menschen nur noch dazu da sein sollen, KI-Entscheidungen abzunicken," Prof. Ute Schmid.

 

Ute Schmid neues
Mitglied im GLA

KI-Forscherin Ute Schmid ist von nun an Mitglied im Geschäftsleitenden Ausschuss des bidt (Bayerisches Forschungsinstitut für
Digitale Transformation).  

Interview

Erklärbare KI: Was ist das?



Whitepaper

Zertifizierung von
KI-Systemen

Interview

KI-CampusL: Offene
KI-Bildung für alle

Interview bidt

„Es ist immer wieder beeindruckend zu erkennen, was der Mensch alles kann – und Maschinelles Lernen (noch) nicht.“

Ute Schmid, Professorin für Angewandte Informatik, insbes. Kognitive Systeme an der Universität Bamberg, verstärkt von Februar 2020 an das Direktorium des bidt.

Interview fortiss

Datensparsam lernen

Bei fortiss wird Prof. Ute Schmid in das Leitprojekt „Robuste KI“ eingebunden und ihre Expertise in induktiver Programmierung einbringen.  

Media

Künstliche Intelligenz soll beim Ausmisten des PCs helfen

Partner und Projekte

 

TraMeExCo

Ziel des BMBF-Projektes TraMeExCo (Transparent Medical Expert Companion) ist die Erforschung und Entwicklung geeigneter neuer Methoden zum robusten und erklärbaren Maschinellen Lernen auf komplementären Anwendungen (Digitale Pathologie, Schmerzanalyse, Kardiologie) aus dem Bereich der Medizintechnik.

 

ADA Lovelace Center for Analytics, Data and Applications

Neues Kompetenzzentrum für Data Analytics und KI in der Industrie
Das ADA Lovelace Center verbindet auf einzigartige Weise KI-Forschung mit KI-Anwendungen der Industrie. Hier können sich die Partner untereinander vernetzen, vom Know-how des anderen profitieren und an gemeinsamen Projekten arbeiten

 

Projektpartner Universität Bamberg

Prof. Dr. Ute Schmid leitet die Gruppe "Kognitive Systeme" an der Universität Bamberg