KISS Seminare

Weiterbildungsangebote

Die KISS Seminare basieren auf dem Ergebnis der durchgeführten Forschung und werden im Sommer 2021 beginnen.

Wir bieten folgende Themenschwerpunkte an:  

NEXT: Fortgeschrittene Trainingsverfahren für tiefe neuronale Netze

(In englischer Sprache)   

 

Das dritte KISS-Seminar befasst sich mit dem Training von daten- und speicherintensiven neuronalen Netzen. Der Speicherbedarf dieser hochkomplexen Netzwerke kann insbesondere beim Training schnell die Kapazität eines einzelnen Rechners oder einer Grafikkarte übersteigen. Das Seminar geht auf diese Problematik ein, indem es die Grundlagen des Ressourcenverbrauchs erläutert und Lösungsmöglichkeiten aufzeigt.

Im Einzelnen gliedert sich das Seminar in die folgenden Kapitel:

  • Grundlagen zum Ressourcenverbrauch beim Training
  • Datenparalleles Training
  • Modelparalleles Training
  • Pipeline-paralleles Training
  • Verteiltes Training
  • Mixed-precision Training / Einsatz von Tensorcores
  • Input-pipelines & Datenhandling
  • Datenabhänigkeiten & Receiptive field & Skalierung
  • Training mit synthetischen Daten

Das Seminar wird als Online-Seminar über Microsoft Teams als Online-Meeting-Plattform angeboten. Darüber hinaus werden die praktischen Übungen mit virtuellen Maschinen auf der Google Cloud Plattform (GCP) durchgeführt.

Vereinfachung und Komprimierung von neuronalen Netzwerken

(In englischer Sprache)  

Das zweite KISS-Seminar befasste sich mit den Herausforderungen bei der Verwendung großer neuronaler Modelle. Es wurden verschiedene Techniken zur Reduzierung der Komplexität und Größe eines trainierten Modells vorgestellt.

Im Seminar wurde eine End-to-End-Pipeline für die Modellkompression behandelt. Es werden verschiedene hochmoderne Kompressionsalgorithmen erläutert, wobei der Schwerpunkt auf Quantisierungs- und Pruning-Algorithmen liegt. Praktische Anwendungsfälle werden typische Anwendungsszenarien unter Anwendung gängiger Kompressions-Frameworks veranschaulichen.
Auf diese Weise stellte das Seminar verschiedene Kompressionstools vor und demonstrierte deren Anwendbarkeit anhand mehrerer praktischer Beispiele und Übungen.


Im Einzelnen wurden die folgenden Themen behandelt:

  • Optimierung und Komprimierung tiefer neuronaler Netze (Deep compression)
  • Vergleich verschiedener Optimierungs- und Kompressionsmethoden
  • Analyse der Ausführungszeiten von neuronalen Netzen  (Profiling)
  • Notwendige Modellanpassungen für die Kompression von neuronalen Netzen
  • Komprimierung von neuronalen Netzen mit Pytorch
  • Einführung in den Intellabs Distiller
  • Einführung in die Neural Network Intelligence Werkzeuge von Microsoft
  • Empfohlene Vorgehensweisen für praktische Anwendungen
  • Vergleich zwischen den vorgestellten Optimierungsmethoden und verfügbaren Compiler-Techniken
  • Praktische Beispiele und Übungen

Das Seminar wurde als Online-Seminar über Microsoft Teams als Online-Meeting-Plattform angeboten. Darüber hinaus wurden die praktischen Übungen mit virtuellen Maschinen auf der Google Cloud Plattform (GCP) durchgeführt.

Optimierung und Bereitstellung von tiefen neuronalen Netzen für heterogene Computersysteme

Dieses Seminar war das erste in einer Reihe von drei Seminarangeboten aus dem KISS-Projekt. Der Schwerpunkt dieses Seminars lag auf der Transformation eines vortrainierten KI-Modells in ein für die Zielplattform optimiertes ausführbares Modul.

Darüber hinaus vermittelte das Seminar die Grundlagen der Komprimierung neuronaler Netze mit Werkzeugen wie dem Intellabs Distiller oder dem Microsoft Neural Network Interface (NNI). Es wurde auch gezeigt, wie das Zusammenspiel zwischen Distillern und DL-Compilern die Inferenzzeit reduzieren kann.

Im Detail wurden die folgenden Themen adressiert:

  • Grundlagen zu den DL Compilern TensorRT und TVM
  • Grundlagen zu Austauschformaten, wie z.B. ONNX
  • Anwendung von TensorRT und TVM im Detail:
    • Praktische Beispiele
    • Inferenz mit reduzierter Rechengenauigkeit
    • Best-Practice Empfehlungen
  • Performance Profiling zur Identifikation von Flaschenhälsen
  • Grundlagen zu Kompressionswerkzeugen, wie z.B. Kompression in Pytorch / TFLite, Intellabs Distiller, Microsoft Neural Network Interface (NNI)
  • Zusammenspiel zwischen Kompressionswerkzeugen und DL Compilern
  • Integration und Deployment von neuronalen Netzen in C/C++
  • Zielplattformen, u.a. CPU (x86/ARM), Nvidia Desktop GPUs, Nvidia Jetson Boards und Google Coral Edge TPU

Das Seminar wurde als Online-Seminar über Microsoft Teams als Online-Meeting-Plattform angeboten. Darüber hinaus wurden die praktischen Übungen mit virtuellen Maschinen auf der Google Cloud Plattform (GCP) durchgeführt.

Wenn Sie ein Unternehmen sind und einen speziellen Bedarf bezüglich der Schulungsinhalte haben, kann das Seminar auch auf Ihre speziellen Bedürfnisse für eine individuelle Schulung zugeschnitten werden. Um mehr über diese Möglichkeit zu erfahren, kontaktieren Sie uns bitte.

Auch wenn Sie Anregungen, Wünsche oder Fragen zu unseren Seminaren haben, können Sie uns hier kontaktieren!

 

Partner

Die Friedrich-Alexander-Universität Erlangen-Nürnberg ist Partner des Projekts.

Infoservice des
KISS Projekts

Haben wir Ihr Interesse an unseren Seminaren im Rahmen des KISS Projekts geweckt? Melden Sie sich hier an, um von uns per E-Mail benachrichtigt zu werden, sobald neue Termine und Events feststehen.

Zurück zur KISS-Seite

Credits Header: Fraunhofer IIS/fotomek – fotolia.de