Fraunhofer-Institut für Integrierte Schaltungen IISKI ist heute aus kaum einem Lebensbereich wegzudenken. Bekannte Methodenfelder in der KI sind unüberwachtes und überwachtes Lernen, welche sich überwiegend mit statischen Problemstellungen beschäftigen. Reinforcement Learning (RL) hingegen ist ein Bereich des Maschinellen Lernens, der sich mit dem Lernen von optimalem Verhalten in dynamischen Umgebungen beschäftigt. Reinforcement Learning findet sich in einer wachsenden Zahl von Anwendungen. Dazu zählen Autonome Fahrzeuge und Drohnen, intelligente Haussteuerung oder Steuerung von Produktionsanlagen und Logistikflotten. Ebenso kann das Verhalten von Robotern oder Prothesen mit RL gelernt werden. Aber auch KI-Börsenagenten oder Empfehlungssysteme für Filme und Musik basieren auf RL. Hinzu kommen virtuelle Assistenten z.b. für E-Mails und Termine. Auch die Anpassung großer Sprachmodelle wie ChatGPT wird mit RL mit menschlichem Feedback vorgenommen.
Reinforcement Learning für industrielle Applikationen
© Fotolia
Reinforcement Learning für industrielle Applikationen
Reinforcement Learning
Beim Reinforcement Learning interagiert ein KI-Agent mit seiner Umwelt und erforscht diese durch Versuch und Irrtum. Er lernt Regeln, die beschreiben wie Aktionen und Entscheidungen gefällt werden. Geleitet wird er dabei von einer Belohnung, wodurch sich das gelernte Verhalten durch gezielte Einschränkungen (Constraints) und anpassen der Belohnung formen lässt. Die vom KI-Agenten gelernte Policy leitet sich daher von den Trainingsdaten, der Repräsentation des Zustands der Umwelt und der Belohnung ab. Dies fördert Sicherheit sowie Effizienz und erlaubt das Verhalten an mehrere gewünschte Ziele anzupassen und so für die Anwendung maßzuschneidern.
Anwendungen
Anwendungen von Reinforcement Learning finden sich hauptsächlich im industriellen Umfeld, wie bei chemischen Prozessen oder in der Fertigung. Schwerpunkt ist die optimale Steuerung und Regelung von Anlagen sowie deren Planung. Unsere Kompetenzen lassen sich in die folgenden Anwendungsthemen gruppieren.
Reinforcement Learning für sichere Regelung / Steuerung
Reinforcement Learning findet optimales Verhalten in dynamischen Umgebungen. So kann eine optimale Steuerung oder Regelung mit KI trainiert werden. Die fertig trainierte KI kann dann fixiert und auf Sicherheit getestet werden. So kann eine effiziente und schlanke Steuerungskomponente in die Anlage eingesetzt werden. Darüber hinaus kann auch über Imitation Learning mit der KI eine klassische, Entscheidungsbaum-basierte Steuerung oder Regelung erstellt werden. Diese lässt sich dann Aussagenlogisch verifizieren.
Reinforcement Learning für Anlagenplanung und Optimierung
Eine Prozessoptimierung mit KI und insbesondere Reinforcement Learning ist sehr leistungsstark. Die KI kann gleichzeitig viele Anforderungen berücksichtigen. So kann etwa bei einer mechanischen oder chemischen Produktion eine insgesamt kostenoptimale und gleichzeitig nachhaltige Einstellung aller Anlagenkomponenten erfolgen. Ebenso können etwa Transportwege optimiert werden. Eine weitere, besondere Stärke von RL ist die dynamisch Reaktion auf Änderungen, diese erlaubt der KI sich schnell an geänderten Rohstoffpreisen, -Qualitäten und -Verfügbarkeiten anzupassen und eine optimale Konfiguration finden.
Angebot und Leistung
Workshops
Gerne erarbeiten wir gemeinsam mit Ihnen, wie Reinforcement Learning in Ihrem Unternehmen Prozesse optimieren und Fachkräfte entlasten kann. Interessiert? Sprechen Sie uns gerne an!
Kooperation zur Forschung
An der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) bietet das Fraunhofer IIS Vorlesungen für (Deep) Reinforcement Learning sowie diverse Seminare zu Machine Learning an.
Seminare
Das Fraunhofer IIS bietet Online-Seminare zu Maschinellem Lernen und Reinforcement Learning an.
Publikationen
2024
Göttl, Q., Asif, H., Mattick, A., Marzilger, R., & Plinge, A. (2024):
Automated Design in Hybrid Action Spaces by Reinforcement Learning and Differential Evolution
In: German Conference on Artificial Intelligence (Künstliche Intelligenz) (pp. 292-299)
Periyasamy, M., Plinge, A., Mutschler, C., Scherer, D. D., & Mauerer, W. (2024):
Guided-spsa: Simultaneous perturbation stochastic approximation assisted by the parameter shift rule
In: 2024 IEEE International Conference on Quantum Computing and Engineering (QCE) (Vol. 1, pp. 1504-1515)
Rietsch, S., Dubey, A. Y., Ufrecht, C., Periyasamy, M., Plinge, A., Mutschler, C., & Scherer, D. D. (2024):
Unitary synthesis of clifford+t circuits with reinforcement learning
In: 2024 IEEE International Conference on Quantum Computing and Engineering (QCE) (Vol. 1, pp. 824-835)
Meyer, N., Murauer, J., Popov, A., Ufrecht, C., Plinge, A., Mutschler, C., & Scherer, D. D. (2024):
Warm-start variational quantum policy iteration
In: 2024 IEEE International Conference on Quantum Computing and Engineering (QCE) (Vol. 1, pp. 1458-1466)
Meyer, N., Ufrecht, C., Periyasamy, M., Plinge, A., Mutschler, C., Scherer, D. D., & Maier, A. (2024):
Qiskit-torch-module: Fast prototyping of quantum neural networks
In: 2024 IEEE International Conference on Quantum Computing and Engineering (QCE) (Vol. 1, pp. 817-823)
Meyer, N., Röhn, M., Murauer, J., Plinge, A., Mutschler, C., & Scherer, D. D. (2024):
Comprehensive Library of Variational LSE Solvers
In: 2024 IEEE International Conference on Quantum Computing and Engineering (QCE) (Vol. 2, pp. 1-4)
Seitz, P., Geiger, M., Ufrecht, C., Plinge, A., Mutschler, C., Scherer, D. D., & Mendl, C. B. (2024):
SCIM MILQ: an HPC quantum scheduler
In: 2024 IEEE International Conference on Quantum Computing and Engineering (QCE) (Vol. 2, pp. 292-298)
Richter, M., Dubey, A. Y., Plinge, A., Mutschler, C., Scherer, D. D., & Hartmann, M. J. (2024):
Quantum Wasserstein Compilation: Unitary Compilation using the Quantum Earth Mover's Distance
In: arXiv preprint arXiv:2409.05849
2023
Yammine, G., Kontes, G., Franke, N., Plinge, A., & Mutschler, C. (2023):
Efficient Beam Search for Initial Access Using Collaborative Filtering
In: 2023 IEEE Wireless Communications and Networking Conference (WCNC) (pp. 1-6)
Ufrecht, C., Periyasamy, M., Rietsch, S., Scherer, D. D., Plinge, A., & Mutschler, C. (2023):
Cutting multi-control quantum gates with ZX calculus
In: Quantum, 7, 1147
Meyer, N., Scherer, D. D., Plinge, A., Mutschler, C., & Hartmann, M. J. (2023):
Quantum natural policy gradients: Towards sample-efficient reinforcement learning
In: 2023 IEEE International Conference on Quantum Computing and Engineering (QCE) (Vol. 2, pp. 36-41)
Wiedmann, M., Hölle, M., Periyasamy, M., Meyer, N., Ufrecht, C., Scherer, D. D., ... & Mutschler, C. (2023):
An empirical comparison of optimizers for quantum machine learning with spsa-based gradients
In: 2023 IEEE International Conference on Quantum Computing and Engineering (QCE) (Vol. 1, pp. 450-456)
Franz, M., Wolf, L., Periyasamy, M., Ufrecht, C., Scherer, D. D., Plinge, A., ... & Mauerer, W. (2023):
Uncovering instabilities in variational-quantum deep q-networks
In: Journal of The Franklin Institute, 360(17), pp. 13822-13844
Meyer, N., Scherer, D., Plinge, A., Mutschler, C., & Hartmann, M. (2023):
Quantum policy gradient algorithm with optimized action decoding
In: International Conference on Machine Learning (pp. 24592-24613)
2022
Rietsch, S., Huang, S. Y., Kontes, G., Plinge, A., & Mutschler, C. (2022)
Driver dojo: A benchmark for generalizable reinforcement learning for autonomous driving
In: arXiv preprint arXiv:2207.11432
Schmidt, L. M., Brosig, J., Plinge, A., Eskofier, B. M., & Mutschler, C. (2022):
In: 2022 IEEE 25th International Conference on Intelligent Transportation Systems (ITSC) (pp. 1342-1349)
Schmidt, L. M., Rietsch, S., Plinge, A., Eskofier, B. M., & Mutschler, C. (2022):
In: 2022 IEEE 25th International Conference on Intelligent Transportation Systems (ITSC) (pp. 1913-1920)
Periyasamy, M., Meyer, N., Ufrecht, C., Scherer, D. D., Plinge, A., & Mutschler, C. (2022):
Incremental data-uploading for full-quantum classification
In: 2022 IEEE International Conference on Quantum Computing and Engineering (QCE) (pp. 31-37)
Meyer, N., Ufrecht, C., Periyasamy, M., Scherer, D. D., Plinge, A., & Mutschler, C. (2022):
A survey on quantum reinforcement learning
In: arXiv preprint arXiv:2211.03464
2021
Schmidt, L. M., Kontes, G., Plinge, A., & Mutschler, C. (2021):
Can you trust your autonomous car? interpretable and verifiably safe reinforcement learning
In: 2021 IEEE Intelligent Vehicles Symposium (IV) (pp. 171-178)
2020
Kontes, G. D., Scherer, D. D., Nisslbeck, T., Fischer, J., & Mutschler, C. (2020):
In: 2020 IEEE 23rd international conference on Intelligent Transportation Systems (ITSC) (pp. 1-8)
Mishra, A., Löffler, C., & Plinge, A. (2020):
Recipes for Post-training Quantization of Deep Neural Networks
In: Workshop on Energy Efficient Machine Learning and Cognitive Computing; 2020 Virtual
2019
Butyrev, L., Edelhäußer, T., & Mutschler, C. (2019):
Deep reinforcement learning for motion planning of mobile robots
In: arXiv preprint arXiv:1912.09260