Pulsierende Performance in KI-Anwendungen

Wer sich mit technologischen Entwicklungen rund um Künstliche Intelligenz (KI) befasst, begegnet zwangsläufig Spiking Neural Networks (SNNs) – dem nächsten Schritt in Richtung energiesparender Echtzeit-KI. Der Unterschied zu bisherigen neuronalen Netzen: Während einfache künstliche Neuronen kontinuierlich Werte ausgeben, feuern SNN-Neuronen erst beim Überschreiten kritischer Schwellenwerte. Dabei senden sie elektrische Impulse, sogenannte Spikes, durchs Netz. Diese ereignisgetriebene Arbeitsweise spart sowohl Energie als auch Rechenzeit und stellt für bestimmte Anwendungen eine lohnenswerte Option dar. Doch kaum ein Unternehmen will seine aufwendig trainierten Deep Neural Networks (DNNs) verwerfen und bei null anfangen. Insofern drängt sich die Frage auf: Wie lässt sich das bewährte Wissen aus DNNs in SNNs überführen? Genau hier knüpft die aktuelle Forschung an.

DNNs stecken in fast jeder KI-Anwendung. Sie lassen sich hardwaregerecht zuschneiden und lösen Aufgaben exakt und unkompliziert. Nur: Überall dort, wo ein Mehr an Energieeffizienz oder Schnelligkeit gefragt ist, haben Spiking Neural Networks eindeutig die Nase vorn. »Die Vorteile liegen auf der Hand. Gleichzeitig sehen wir leider deutlich, dass ein Henne-Ei-Problem den praktischen Einsatz von SNNs derzeit noch ausbremst. Ohne geeignete, vom Gehirn inspirierte Hardware laufen sie nicht effizient. Aber umgekehrt braucht es erst einsatzbereite SNNs, um das Potenzial solcher Hardware auszuschöpfen. Deshalb gehen wir dieses Problem von beiden Seiten an«, erklärt Michael Rothe, Gruppenleiter Embedded AI am Fraunhofer IIS.

»Unsere Überlegung war: Wie können wir eine verlässliche Brücke von DNNs zu SNNs bauen?«

Hardware und Software für Spiking Neural Networks

Auf Hardwareseite ist der Durchbruch bereits gelungen. Mit dem am Fraunhofer IIS und Fraunhofer EMFT entwickelten SNN-Beschleuniger SENNA steht ein programmierbarer, neuromorpher Chip für die Verarbeitung niedrigdimensionaler Zeitreihendaten bereit. Er besteht aus 1024 künstlichen Neuronen, arbeitet direkt mit spike-basierten Ein- und Ausgangssignalen und kann Signalströme in Nanosekundenschnelle analysieren. Mit dem ergänzenden Software-Development-Kit lassen sich SNN-Modelle einfach auf den Chip überspielen.

Allerdings erfordert die Entwicklung solcher SNN-Modelle völlig neue Herangehensweisen. »Auf theoretischer Ebene sind SNNs schon sehr weit, aber erprobte Vorgehensweisen für ihren Aufbau fehlen in der Praxis noch. Gleichzeitig haben sich viele Unternehmen in den letzten Jahren erst mühsam KI-Kompetenzen und gut funktionierende DNN-Modelle erschlossen. Unsere Überlegung war: Wie können wir eine verlässliche Brücke von DNNs zu SNNs bauen, durch die wir die Schnelligkeit und Energieeffizienz von SNNs ohne horrende Neuinvestitionen in die Anwendung bringen?«, erläutert Rothe.

Der richtige Rahmen für derart ambitionierte Fragestellungen fand sich im von der Europäischen Union geförderten Projekt MANOLO. Dort arbeiten 18 europäische Partner an der Entwicklung von Algorithmen und Tools, die KI energieeffizienter und leistungsfähiger machen. Im Fall von SNNs ist das echte Grundlagenarbeit, denn sie sind nicht leicht zu trainieren. Klassische Trainingsansätze, bei denen ein neuronales Netz seine Fehler Schicht für Schicht zurückverfolgt und dabei die Gewichte nachjustiert, greifen hier nicht ohne Umwege. Das liegt vor allem daran, dass in SNNs Informationen als einzelne, zeitlich exakt platzierte Impulse weitergegeben werden, die sich nicht stufenlos ändern lassen. Ist bereits ein DNN vorhanden, führt der derzeit effizienteste Weg zu einem präzise funktionierenden SNN daher über die Umwandlung eines DNNs in ein SNN.

Knowledge Distillation ebnet den Weg von SNNs in echte Produkte

Um DNNs in SNNs zu überführen, gibt es verschiedene Herangehensweisen. Eine Methode – DNN-to-SNN Knowledge Destillation – sticht dabei in Sachen Genauigkeit und Effizienz besonders heraus. Die Kernidee: Ein klassisch trainiertes DNN dient als Lehrermodell. Dessen Wissen wird durch einen speziell entwickelten Trainingsalgorithmus in ein Schülermodell – das SNN – destilliert. Auf diese Weise wird die Leistung und das Wissen eines DNNs möglichst direkt auf das SNN übertragen. Und das bei vergleichsweise geringem Trainingsaufwand, denn durch das Destillieren eines DNNs wird das Training des SNNs vereinfacht. Insgesamt sind nach Umwandlung deutlich weniger Datenmengen und Trainingsdurchläufe nötig als bei einer SNN-Neuentwicklung. Das beschleunigt die Umsetzung von SNN-basierten Produkten und senkt die Entwicklungskosten.

»Mit unserem Ansatz wollen wir eine einfache Möglichkeit schaffen, um aus bestehenden DNNs perfekt zugeschnittene SNNs zu generieren.«

Damit nicht genug: Hardware und Algorithmen müssen bei Spiking Neural Networks besonders eng aufeinander abgestimmt sein, damit sie effizient zusammenspielen. Deshalb kümmert sich das Projektteam in MANOLO darum, die Wissensdestillation hardwaregerecht umzusetzen. »Bisherige Ansätze sind nicht darauf ausgerichtet, die Parameter des Chips, auf dem ein SNN später laufen soll, zu berücksichtigen. Im Ergebnis können Modelle entstehen, die die Rechenpower des Chips nicht vollständig nutzen oder, schlimmer noch, nicht auf die Hardware passen. Mit unserem Ansatz für hardware-aware DNN-to-SNN Knowledge Distillation wollen wir diese Ungenauigkeit angehen und eine einfache Möglichkeit schaffen, um aus bestehenden DNNs perfekt zugeschnittene SNNs zu generieren«, erklärt Sebastian Karl, Projektleiter am Fraunhofer IIS. Dabei beziehen die Entwickelnden nicht nur die Anzahl der auf einem Chip verfügbaren Neuronen und Synapsen ein, sondern auch das Wiring, also die physischen Verschaltungen zwischen den pulsenden Neuronen. Ziel ist es, die SNN-Architektur so zu gestalten, dass Neuronen mit dichten Verbindungen auf der Chipfläche möglichst nahe beieinander sind. So können Spikes schneller, verlustärmer und energieeffizienter von Neuron zu Neuron gelangen.

Hürden senken und Anlauf nehmen

In MANOLO nutzt das Team diesen Ansatz für die Entwicklung eines SNNs, das Anomalien in Audiosignalen erkennt. Ein klassisches DNN lernt zunächst, ungewöhnliche Audiomuster zuverlässig zu identifizieren. Anschließend destillieren die Forschenden dieses Wissen in ein SNN, das für den Einsatz auf dem SENNA-Chip optimiert ist. Der industrielle Anwendungsfall, der dahintersteckt: Ein neuronales Netz, das in der Lage ist, anhand von Maschinengeräuschen Fehler und ihre Ursachen zu erkennen oder vor bevorstehenden Komponentenausfällen zu warnen, trägt dazu bei, ungeplante Stillstände zu vermeiden, Wartungs- und Reparaturkosten zu senken und die Anlagenverfügbarkeit zu erhöhen. Gleichzeitig wird bereits daran gearbeitet, die Vorgehensweise auf Datenströme in Kommunikationssystemen zu übertragen. Zum Beispiel können dort Anomalien und Störer erkannt und automatisch kompensiert werden, um eine optimale Signalqualität und einen hohen Datendurchsatz zu gewährleisten.

Doch unabhängig vom konkreten Anwendungsfall, wollen die Expertinnen und Experten am Fraunhofer IIS die Einstiegshürden für den Einsatz von SNNs insgesamt deutlich senken. Was Unternehmen brauchen, um hier Anlauf nehmen zu können, sind die richtigen Entwicklungstools. Deshalb ist das nächste Ziel, die Wissensdestillation als zusätzlichen Funktionsbaustein in das SENNA-Software-Development-Kit zu integrieren. Bisher bewerkstelligt dieses Softwarepaket den kompletten Prozess ab Eingabe eines SNNs bis zum fertigen Bitstream, der auf SENNA überspielt wird. Durch das Einbinden der hardware-optimierten Wissensdestillation soll schon bald ein bestehendes DNN genügen, um ein einsatzbereites SNN-Modell zu erzeugen. Dafür ist auf Unternehmensseite weder ein tiefes Verständnis für SNN-Architekturen noch Chip-Expertise nötig.