Machine Learning Forum

Machine Learning Forum

Auf einen Blick

Das Machine Learning Forum bietet vielfältige Weiterbildungsmöglichkeiten für Studierende sowie für EntwicklerInnen aus der Industrie. Zum einen werden neue universitäre Lehrveranstaltungen für Masterstudierende angeboten, die anhand von verschiedenen Seminaren, Praktika und Vorlesungen aus den unterschiedlichen Bereichen der Informatik breite Vertiefungsmöglichkeiten schaffen. Zum anderen werden in industrieorientierten Hands-On-LABs die theoretischen Inhalte mit praktischen Problemstellungen der Industrie kombiniert und bearbeitet. Hierbei sollen z.B. Lösungsansätze für die in Deutschland relevanten Bereiche Industrie 4.0, Produktion oder Automotive erarbeitet werden.

Darüber hinaus leistet das Machine Learning Forum Unterstützung für klein- und mittelständische Unternehmen, die im Rahmen der Digitalisierung verfügbaren Daten mittels ML zu nutzen und Entscheidungsprozesse zu erleichtern.

Die Zusammenarbeit vom Fraunhofer, der FAU sowie der Industrie stellt die Vermittlung fachlicher sowie praxisorientierter Kompetenzen sicher, die langfristig gemeinsam optimiert werden.

Klicken Sie sich hier durch die verschiedenen Veranstaltungen

Seminarreihe Machine Learning

Maschinelles Lernen ist ein Teilbereich der Künstlichen Intelligenz, der zum Ziel hat, Computer nicht explizit zu programmieren, sondern diese aus vorhandenen Daten selbstständig lernen zu  lassen.

Die „Machine Learning“ Vorlesung an der FAU gewährt  einen Einblick in grundlegende Optimierungsverfahren, die State-of-the-Art Machine Learning Ansätze sowie Monte Carlo-Methoden. Das dazugehörige Seminar Machine Learning dient Studenten dazu sich einen Überblick über verschiedene Algorithmen des maschinellen Lernens zu verschaffen.

Für die Industrie wird ein Industrie-LAB „Lokalisierung und Machine Learning“ angeboten. Hierbei stehen sowohl die grundsätzliche Umsetzung von Projekten zum maschinellen Lernen als auch praxisrelevante Beispiele in den Bereichen Logistik, Automotive, Virtual Reality und Lokalisierung im Mittelpunkt.

Die Veranstaltung „Machine Learning Forum“ ist eine Vernetzungsplattform zwischen Forschung und Industrie, die zukünftig halbjährig stattfinden soll. Neben den Fachvorträgen seitens der Universität sowie den Praxisvorträgen der Industrie sollen auch die Einbringung von Ideen und Themen durch beispielsweise KMUs, die Vermittlung von Absolventen sowie die Initiierung von (Verbund-)Projekten gestärkt werden.

Seminarreihe zum Deep Learning

Beim Deep Learning delegiert man diese Merkmalsextraktion an tiefe neuronale Netze, also Netze mit vielen sogenannten verborgenen Schichten.

Die „Deep Learning Theory & Applications“ Vorlesung wird bereits an der FAU angeboten und gibt einen Überblick zum Themengebiet der tiefen Netzwerke und deren Abgrenzung zu bereits etablierten Machine Learning Ansätzen.

Inhaltlich darauf aufbauend werden am Fraunhofer IIS für Interessierte aus der Industrie zwei verschiedene eintägige Hands-On-LABs angeboten. Zum einen das Deep Learning & Computer Vision 1, das anhand konkreter Beispiele aus der Bildanalyse einen Einstieg in das Thema bietet und zum anderen Deep Learning & Computer Vision 2, das die Funktionsweise von Deep Learning Architekturen betrachtet und die Möglichkeiten und Grenzen des Verfahrens thematisiert.

Seminarreihe zu Deep Learning Hardware Architectures

Aufgrund der hohen Hardware Anforderungen von Deep Learning Anwendungen werden in diesem Modul spezielle HW-Architekturen vorgestellt und bearbeitet.

Am Lehrstuhl Rechnerarchitektur soll mit „Deep Learning Hardware Architectures“ eine neue Lehrveranstaltung in Form eines Praktikums entstehen. Im theoretischen Teil lernen die Studierenden verschiedene Hardwarearchitekturen kennen und erörtern deren Eignung für Deep-Learning-Algorithmen. Der praktische Teil umfasst die Erprobung der verschiedenen Hardware Architekturen mittels industrienaher Anwendungsbeispiele.

Basierend auf den Praktikumsinhalten wird ein Deep-Learning Hardware Architectures LAB konzipiert. Hierbei soll zunächst die Architektur eines ausgewählten Deep-Learning-Systems vorgestellt und dessen spezielle Eignung für bestimmte Anwendungen dargelegt werden. Im Praxisteil wird die Implementierung an einem konkreten Beispiel durchgeführt.

Seminarreihe zum Reinforcement Learning

Reinforcement Learning ist ein weiterer Schritt Richtung echter KI. Bei RL erlernt ein Agent selbstständig eine Strategie, um ein gegebenes Problem zu lösen, indem er versucht Belohnungen für richtiges Handeln zu maximieren.

Hierzu inhaltlich passend wird das  Praktikum „Reinforcement Learning“ an der Universität angeboten. Dies behandelt zunächst theoretische Grundlagen, die später in konkret konzipierten Use-Cases angewendet werden.

Das LAB Autonomous Agents ist ein mehrtägiger Workshop, bei dem zum einen theoretischen Grundlagen vermittelt und zu anderen simulierte Anwendungen im Bereich der Steuerung von komplexen Systemen industrienah bearbeitet werden.

Bei dem LAB Autonomous Robotics werden neben den theoretischen Grundlagen die Herausforderungen, die bei der Steuerung von Robotern auftreten, fokussiert.

 

Auf einen Blick

Was ist Reinforcement Learning (RL) und wie kann Ihr Unternehmen davon profitieren?

Das Fraunhofer IIS bietet zwei Seminare zu folgenden Themenbereichen an: (1) Grundlagen des Reinforcement Learnings und (2) Vertiefende Themen des Reinforcement Learnings, damit Sie diese Fragen beantworten können. Durch eine Kombination aus Theorie und Fallbeispielen aus der Industrie können Sie in den Seminaren den Wert sowie die Auswirkungen dieser Technologie in Ihrem Unternehmen verstehen. Mit Hilfe von praktischen Übungen lernen Sie, verschiedene Problemstellungen in das RL-Paradigma umzuformulieren und effiziente Algorithmen zu entwickeln (oder aus einer großen Basis auszuwählen), um sie zu lösen. Darüber hinaus erhalten Sie durch die Implementierung von RL-Lösungen in realen Anwendungsfällen in den "Projekt" -Sitzungen ein fundiertes Verständnis darüber, wie RL-Algorithmen in der Praxis unter Verwendung verfügbarer Software-Frameworks nach dem neuesten Stand der Technik angewendet werden.

 

Lernziele und Kompetenzen

Durch die Teilnahme an den Seminaren werden Sie:

  • die Grundlagen des Reinforcement Learnings verstehen
  • lernen, wie Sie ein gegebenes Problem im Rahmen des Reinforcement Learning-Paradigmas formulieren
  • die verschiedenen Arten von Reinforcement Learning-Algorithmen kennenlernen
  • Reinforcement Learning Algorithmen für reale Probleme mit modernster Software implementieren
  • erfahren, wie Sie Reinforcement Learning in realen autonomen Systemen anwenden können

 

Inhalte der Seminare

Seminar 1: Grundlagen des Reinforcement Learnings

Tag 1: Theoretische Grundlagen   Tag 2: Projekt und Best Practice
  • Markov Decision Processes und dynamische Programmierung
  • Monte-Carlo- und Temporal Difference Methoden
  • Q-Lerning
  • Value Function Approximation
  • Praktische Übungen
  • DQN-Algorithmus
  • Praktisches Projekt:
    • Definieren von  state/action spaces und Belohnungsfunktionen realer Probleme
    • Bewerten der Lernfortschritt eines autonomen Agenten
    • Befolgen von Best Practices für stabiles Lernen
    • Arbeiten an State-of-the-Art-Tools für (Deep) Reinforcement Learning

 

Seminar 2: Fortgeschrittene Themen im Reinforcement Learning

Tag 1: Deep Reinforcement Learning in der Praxis  
  • Deep Reinforcement Learning:
    • Policy Search und Actor Critic Methoden
    • Modellbasiertes Reinforcement Learning
    • Ende zu Ende Reinforcement Learning
    • Reinforcement Learning für reale autonome Systeme
  • Praktisches Projekt
    • Lösen Sie echte Anwendungsfälle aus der Industrie
    • Vergleichen Sie verschiedene Ansätze des Deep Reinforcement Learning

 

Wer sollte teilnehmen?

  • Industriemanager mit strategischer Entscheidungsverantwortung
  • Schlüsselmitglieder von internen F & E-Teams
  • Algorithmus-Ingenieure und Programmierer
  • Industrieberater

Literatur

RS. Sutton, AG. Barto: Reinforcement learning: An introduction (2nd edition, in progress), Cambridge: MIT press, 2018.

C. Szepesvári: Algorithms for reinforcement learning, Morgan and Claypool, 2009.

DP. Bertsekas: Dynamic programming and optimal control (Vol I and II), Belmont, MA: Athena scientific, 2017.

A. Geramifard, et. al.: A tutorial on linear function approximators for dynamic programming and reinforcement learning, Foundations and Trends® in Machine Learning, 2013.

I. Goodfellow, Y. Bengio, A. Courville: Deep learning, Cambridge: MIT press, 2016.

V. Mnih, et. al., Human-level Control through Deep Reinforcement Learning, Nature, 2015.

TP. Lillicrap, et. al.:  Continuous control with deep reinforcement learning, arXiv preprint arXiv:1509.02971, 2015.

MP. Deisenroth, G. Neumann, J. Peters: A Survey on Policy Search for Robotics, Foundations and Trends® in Robotics, 2014.