Autonome Systeme

Autonome Systeme bestimmen, wie sich ein System aus seiner Menge an beobachtbaren Umgebungsparametern verhalten soll.  Ihr Verhalten, als Reaktion auf die Umgebung, erfolgt frei von menschlicher Steuerung. Autonome Systeme bestehen aus Sensoren, Aktoren sowie Komponenten für die Situationsbeurteilung, Aktionsplanung und für die Sammlung und Analyse von Daten. Anwendungen autonomer Systeme finden sich unter anderem im industriellen Umfeld, wie bei chemischen Prozessen oder in der Fertigung, in Smart Homes, aber auch in der Energieerzeugung. Sie umfassen beispielsweise die Steuerung von Roboterbewegungen, autonomen Fahrzeugen und Drohnen, hydraulischen Pumpen oder Windrädern.

Reinforcement Learning

Bekannte Forschungsfelder in der KI sind unüberwachtes und überwachtes Lernen, welche sich überwiegend mit statischen Problemstellungen beschäftigen. Reinforcement Learning hingegen ist ein Bereich des Maschinellen Lernens, der sich mit dynamischen Optimierungsproblemen beschäftigt. Ein KI-Agent interagiert mit seiner Umwelt und erforscht die Daten. Er lernt Regeln, die beschreiben wie Aktionen und Entscheidungen gefällt werden. Geleitet wird er dabei von einer Belohnung, wodurch sich das gelernte Verhalten durch gezielte Einschränkungen und Rahmenbedingungen formen lässt.

Die vom KI-Agenten gelernte Policy leitet sich daher von den Trainingsdaten, der Repräsentation des Zustands der Umwelt und dem Reward ab. Dies fördert Sicherheit sowie Effizienz und erlaubt das Verhalten an mehrere gewünschte Ziele anzupassen.

Verlässlich heißt Transparent und Sicher

Die Flexibilität im Design des Verhaltens eröffnet die Chance dieses für die Anwendung maßzuschneidern. Um verlässlich zu sein, sind zusätzliche Schritte für die Transparenz und Sicherheit zu unternehmen. Transparenz wird durch nachvollziehbare Aktionen und verständliche Entscheidungen der KI eingeführt. Aus dem gelernten Verhalten werden hierarchische Regeln extrahiert. Sicherheit wird umgesetzt durch explizite Erkennung und Behandlung von Risiken. Nötigenfalls kann die Sicherheit durch formallogische Verifikation von extrahierten Strategien in einer formalen Repräsentation des Anwendungsszenarios und der Sicherheitsbedingungen erfolgen. Durch eine ganzheitliche Entwurfsmethodik, welche die Algorithmen transparent und sicher macht, entsteht eine verlässliche KI.

Anwendungsfall: Autonomes Fahren

Verlässliches Reinforcement Learning lässt sich am besten in einem Framework demonstrieren, das ganz auf Sicherheit ausgerichtet ist. Daher entwickeln wir im ADA Lovelace Center for Analytics, Data and Applications einen verlässlichen Fahrassistenten, um unsere Technologie zu zeigen.

Die typische Verarbeitungskette eines autonomen Fahrzeugs enthält Komponenten zur Perzeption, Verhaltensplanung, Bewegungsplanung sowie Aktoren. Wir fokussieren uns hierbei darauf, mit Reinforcement Learning die Verhaltensplanung (Behavioral Plannning) umzusetzen.

Wir demonstrieren, dass effektive Fahrstrategien in kritischen Situationen durch Simulation gelernt werden können. Hier zeigt sich die Stärke des Reinforcement Learning: Durch Millionen von Fahrstunden im Simulator kann der KI-Agent auch schwierige Fahrsituationen spielend meistern. Die Strategien lassen sich durch Domain Randomization gut verallgemeinern. Wir evaluieren eine breite Menge an stark variierten Szenarios. Das Fahrverhalten wird auf verschiedene Faktoren optimiert, wie etwa die Sicherheit der Insassen durch Berücksichtigung von Kollisionszonen.

Kompetenzen

Das Fraunhofer IIS bündelt Kompetenzen, die für autonome Systeme essentiell sind: von Sensorfusion, über maschinelles Lernen bis hin zu Lokalisierung. Autonome Systeme bieten viel Potenzial für Forschung und Entwicklung - gerne mit Ihnen zusammen, auf Ihre Anforderungen angepasst.

Kooperation zur Forschung

Zusammen mit der Universität Erlangen-Nürnberg baut das Fraunhofer IIS außerdem Lehrveranstaltungen aus, beispielsweise für Deep und Reinforcement Learning oder Machine Learning.

Seminare

Das Fraunhofer IIS bietet Online-Seminare zu Maschinellem Lernen und Reinforcement Learning an.