Erklärbare KI
© ©peshkova - stock.adobe.com
Wie können Aussagen und versteckte Logik tiefer künstlicher neuronaler Netze (DNN's) besser nachvollziehbar und erklärbar gemacht werden?

Projektgruppe Comprehensible Artificial Intelligence

Wie können Aussagen und versteckte Logik tiefer künstlicher neuronaler Netze (DNN's) besser nachvollziehbar und erklärbar gemacht werden?

Erklärbare KI

Transparenz und Nachvollziehbarkeit von KI-Systemen

Erklärbarkeit als notwendige Voraussetzung für den Einsatz von maschinellem Lernen in der Praxis

Erklärbare KI wird als das zentrale Zukunftsthema der KI-Forschung angesehen, die "3rd Wave of AI" in Nachfolge als Kombination aus wissenbasierten Systemen (1st Wave) und statistischem Lernen (2nd Wave) zu beschreiben. Zunehmend wird deutlich, dass rein datengetriebenes Maschinelles Lernen in vielen Anwendungsbereichen nicht oder nicht ohne Kombination weiteren Methoden einsetzbar ist.

In der Projektgruppe Comprehensible Artificial Intelligence (CAI) entwickeln wir in einer Kooperation des Fraunhofer IIS und der Universität Bamberg Methoden für erklärbares maschinelles Lernen:

  • Wir arbeiten an hybriden Ansätzen des maschinellen Lernens, bei denen blackbox Verfahren, wie (tiefe) neuronale Netze mit Methoden des interpretierbaren maschinellen Lernens (whitebox Verfahren) kombiniert werden. Solche Methoden erlauben die Kombination von Logik und Lernen, insbesondere die Berücksichtigung von Expertenwissen beim Lernen.
  • Wir entwickeln Methoden des interaktiven und inkrementellen Lernens, für Anwendungsbereiche, in denen nur wenige Daten vorliegen und bei denen das Labeling von Daten problematisch ist.
  • Wir entwickeln Algorithmen zur Generierung multimodaler Erklärungen, insbesondere zur Kombination von visuellen und sprachlichen Erklärungen und berücksichtigen dabei Erkenntnisse aus der Kognitionsforschung.

Aktuelle Anwendungsbereiche sind bildbasierte medizinische Diagnostik, Mimikanalyse, Qualitätskontrolle in der Produktion 4.0, Phänotypisierung von Nutzpflanzen sowie Automotive.

Unsere Forschungsthemen

Interpretierbares Maschinelles Lernen

 

  • Induktive logische Programmierung (ILP)
  • Statistisches relationales Lernen
  • Probabilistische logische Programmierung
  • Lernen von fuzzy-Regeln
  • Hybrides whitebox blackbox Lernen
  • Methoden der Regelextraktion

Multimodale Erklärungsgenerierung

 

  • Kontextsensitive Ansätze statt one-size-fits-all
  • Kombination von visuellen und verbalen Erklärungen
  • Kontrastive Beispiele, insbesondere near misses
  • Erklärung durch Prototypen

Interaktives Lernen durch wechselseitige Erklärungen

  • Human-in-the loop für partnerschaftliche KI
  • Erklärungen als Möglichkeit, maschinelles Lernen durch menschliches Wissen gezielt zu steuern
  • Interaktivität als Ansatz für Bereiche, in denen groundtruth labeling schwer möglich ist
  • Vertrauen in KI-Systeme durch Nachvollziehbarkeit und Partizipation statt autonomer Systeme 

Kombination von Logik und Lernen für komplexe Anwendungsbereiche

 

  • Reduktion von Datenbedarf durch Beschränkung des Suchraums durch Vorwissen
  • Berücksichtigung von Expertenwissen und commonsense knowledge
  • Transparenz und Robustheit durch interpretierbare Modelle

Kognitive Tutorsysteme

 

  • Nutzung von Erklärungen für Trainingssysteme in der betrieblichen Aus- und Weiterbildung
  • Kontrastive Erklärungen zur Unterscheidbarkeit verschiedener Merkmalsausprägungen
  • Verständnis für Klassengrenzen durch gezielte Auswahl von near misses

News

Livestream 28.4.2021, 10:00 bis 11:00

Explainable AI: An-
forderungen an die Erklärbarkeit von KI-Systemen und mögliche Lösungen

Explainable AI, Erklärbare KI - darum geht es beim Experten Update, einer digitalen Panel-Diskussion der BMWi-Technologieprogramme Smarte Datenwirtschaft & KI-Innovationswettbewerb. Freuen Sie sich auf eine spannende Diskussion u.a mit Prof. Ute Schmid, Leiterin der Projektgruppe Comprehensible AI am Fraunhofer IIS.
Wenn Sie live mit dabei sein wollen, nutzen Sie bitte untenstehenden Link

 

Ute Schmid – Mitglied des Bayerischen KI-Rats

Der bayerische KI-Rat wurde von Bayerns Ministerpräsident Dr. Markus Söder am 22. Dezember bei der konstituierenden Sitzung vorgestellt.

Porträt

Die KI-Aufklärerin

Das Forschungsgebiet von Ute Schmid liegt an der Schnittstelle von KI-Entwicklung und ihrer Anwendung. Die bidt-Direktorin setzt sich für ein partnerschaftliches Miteinander von Mensch und Technologie ein.

 

"KI-Systeme sollten uns fördern und auch fordern. Es reicht mir nicht, dass Menschen nur noch dazu da sein sollen, KI-Entscheidungen abzunicken," Prof. Ute Schmid.

 

 

Ute Schmid holt sich den Rainer-Markgraf Preis

Ute Schmid wird für den engagierten Wissenstransfer zwischen Universität, Forschungs- und Bildungsarbeit ausgezeichnet.

Ute Schmid neues
Mitglied im GLA

KI-Forscherin Ute Schmid ist von nun an Mitglied im Geschäftsleitenden Ausschuss des bidt (Bayerisches Forschungsinstitut für
Digitale Transformation).  

 

Interview

Erklärbare KI: Was ist das?

Ute Schmid und Dominik Seuss schildern im Interview, dass immer mehr Anwendungen und Einsatzgebiete von KI entstehen, und erklären, warum der Mensch Transparenz und Nachvollziehbarkeit von KI braucht.

Whitepaper

Zertifizierung von KI-Systemen

Wir möchten in der Plattform "Lernende Systeme" ein Whitepaper zum Thema Zertifizierung von KI-Systemen erstellen. Dieses wird auf dem bereits erschienen Impulspapier zum Thema aufbauen.

Interview

KI-CampusL: Offene KI-Bildung für alle

Deutschland will sich noch stärker als Spitzenstandort für künstliche Intelligenz (KI) etablieren. Bislang fehlt es aber an entsprechenden Kompetenzen in Bildungseinrichtungen, Führungsetagen, Fabriken und Laboren. Mit dem brandneuen KI-Campus könnte sich das ändern.  

E-Lecture

Die Dritte Welle der KI – Vom rein datengetriebenen Blackbox-Lernen zu interaktiven und erklärbaren Ansätzen

In der sogenannten '3rd Wave of AI' soll nun Erklärbarkeit die Ansätze des rein datengetriebenen maschinellen Lernens ablösen. Im Vortrag wird aufgezeigt, dass maschinelles Lernen neben tiefen Netzen eine Fülle weiterer Ansätze zu bieten hat. Insbesondere werden aktuelle Entwicklungen für interaktives, erklärbares Maschinelles Lernen erörtert.

Interview bidt

„Es ist immer wieder beeindruckend zu erkennen, was der Mensch alles kann – und Maschinelles Lernen (noch) nicht.“

Ute Schmid, Professorin für Angewandte Informatik, insbes. Kognitive Systeme an der Universität Bamberg, verstärkt von Februar 2020 an das Direktorium des bidt.

Interview fortiss

Datensparsam lernen

Bei fortiss wird Prof. Ute Schmid in das Leitprojekt „Robuste KI“ eingebunden und ihre Expertise in induktiver Programmierung einbringen. Im Interview erläutert sie, warum diese wichtig ist.

Media

Künstliche Intelligenz soll beim Ausmisten des PCs helfen

"Dare2Del" ("Wage es zu löschen") heißt das Programm, das dem Menschen beim Löschen ungenützter Daten am PC helfen soll.

  • Künstliche Intelligenz soll dem Menschen künftig helfen, unnütze Dateien vom Rechner zu löschen.
  • Ute Schmid, Informatik-Professorin an der Universität Bamberg, entwickelt deshalb mit ihrem Forscherteam ein interaktives Assistenzsystem.
  • "Dare2Del" zeigt dem Nutzer beim Schließen eines Programms fünf Dateien an samt Begründung, warum diese gelöscht werden könnten.

Media

Wenn Mensch und Künstliche Intelligenz gemeinsam Diagnosen stellen

Diagnose per Künstlicher Intelligenz soll transparenter werden – Forschungsteam entwickelt medizinischen „Begleiter“

Partner und Projekte

 

TraMeExCo

Ziel des BMBF-Projektes TraMeExCo (Transparent Medical Expert Companion) ist die Erforschung und Entwicklung geeigneter neuer Methoden zum robusten und erklärbaren Maschinellen Lernen auf komplementären Anwendungen (Digitale Pathologie, Schmerzanalyse, Kardiologie) aus dem Bereich der Medizintechnik.

 

ADA Lovelace Center for Analytics, Data and Applications

Neues Kompetenzzentrum für Data Analytics und KI in der Industrie
Das ADA Lovelace Center verbindet auf einzigartige Weise KI-Forschung mit KI-Anwendungen der Industrie. Hier können sich die Partner untereinander vernetzen, vom Know-how des anderen profitieren und an gemeinsamen Projekten arbeiten

 

Projektpartner Universität Bamberg

Prof. Dr. Ute Schmid leitet die Gruppe "Kognitive Systeme" an der Universität Bamberg

 

Vernetzungsplattform zwischen Industrie und Forschung

Künstliche Intelligenz im Fokus – Machine Learning Forum