Neuromorphe Hardware

Was ist neuromorphe Hardware?

Neuromorphe Hardware basiert auf spezialisierten Rechnerarchitekturen, die die Struktur (Morphologie) neuronaler Netze (NN) von Grund auf widerspiegeln: Dedizierte Verarbeitungseinheiten bilden direkt in der Hardware die Funktionsweise von Neuronen nach, zwischen denen ein physisches Verbindungsnetz (Bus-System) für den schnellen Austausch von Informationen sorgt. Dieses Konzept ist prinzipiell vom menschlichen Gehirn inspiriert, wo biologische Neuronen und Synapsen in ähnlicher Weise zusammenarbeiten. Spezialisierte neuromorphe Einheiten sind zwar weniger flexibel als klassische Mehrzweckprozessoren (CPUs), dafür aber außerordentlich leistungsfähig und energieeffizient im Einsatz für Training und Inferenz von tiefen neuronalen Netzen (Deep Neural Networks, DNNs).

 

Warum neuromorphe Hardware?

Klassische Computer basieren auf einer sogenannten Von-Neumann-Architektur, in der Prozessorkerne sequenziell Befehle ausführen und dabei die Daten im zentralen Speicher bearbeiten. Das heißt, die Rechenleistung der Computersysteme ist abhängig von der Datenübertragungsrate zwischen Prozessor und Speicher. Man spricht hier vom »Von-Neumann-Flaschenhals«. Mit zunehmend anspruchsvolleren Anwendungen haben sich deshalb Hochleistungsrechner mit Multi-Core-Architekturen durchgesetzt, die Berechnungen hochgradig parallelisiert ausführen können. Tatsächlich aber sind die Möglichkeiten, Berechnungen zu parallelisieren, durch den Zugriff auf gemeinsame Speicherressourcen immer zu einem gewissen Grad limitiert. Neueste Fortschritte im Bereich Deep Learning fordern diese Einschränkungen besonders heraus, weil die hochgradig parallelisierte Struktur tiefer neuronaler Netze ganz spezifisch verteilte Speicherzugriffsmuster erfordert. Solche Zugriffsmuster können mit herkömmlicher Computertechnologie kaum effizient abgebildet werden. Neuromorphe Hardware geht diese Herausforderung an und hilft dabei, Geräten und Systemen künstlichen Intelligenz (KI) zur verleihen.

Neuromorphe Architekturen

Wie neuronale Netze selbst, sind auch die entsprechenden neuromorphen Architekturen und Designs sehr unterschiedlich und reichen von binären Netzen auf digitaler Hardware über analoge In-Memory-Beschleuniger für Convolutional Neural Networks (CNNs) bis hin zu Beschleunigern für gepulste neuronale Netze, in denen die Informationsweitergabe auf elektrischen Impulsen beruht. Die Wahl des optimalen Designs ist abhängig von der geplanten Anwendung und der sich daraus ergebenden Anforderungen bezüglich Energieeffizienz, Latenz, Flexibilität und Leistungsfähigkeit.

Analoges neuromorphes Hardware-Design

Bereits seit den ersten Anläufen zur Entwicklung neuromorpher Hardware in den 1950er-Jahren werden analoge Schaltungen eingesetzt, um neuronale Netze in Hardware zu implementieren. Bei diesem Ansatz werden die Werte zur Berechnung neuronaler Netze durch reelle Werte physikalischer Größen abgebildet, zum Beispiel durch analoge Spannung, Stromstärke und elektrische Ladung. Die Berechnungen stützen sich dann auf einfache Operationen wie Multiplikation und Addition unter direkter Berücksichtigung physikalischer Gesetzmäßigkeiten, zum Beispiel der ohmschen und kirchhoffschen Gesetze.

Die zahlreichen Koeffizienten neuronaler Netze können entweder festverdrahtet mit entsprechenden resistiven Elementen abgebildet oder direkt in neuartige und über die Schaltung verteilte Speicherelemente einprogrammiert werden (In-Memory-Computing), was zusätzlich den Flaschenhals beim Datentransfer zum Speicher deutlich entlastet.

Anwendungen für analoge Beschleuniger

Analoge Schaltungen sind starr und speziell für eine bestimmte Netzwerkarchitektur optimiert, aber gleichzeitig extrem energieeffizient und durch asynchrones In-Memory-Computing auch besonders schnell. Deshalb ist analoge neuromorphe Hardware eine vielversprechende Lösung für die hochoptimierte Daten- und Signalverarbeitung speziell bei ultra-energieeffizienten und echtzeitfähigen Anwendungen. Ein klassischer Einsatzbereich für analoge Beschleuniger ist die Verarbeitung niedrigdimensionaler Sensorsignale, zum Beispiel für bestimmte Audio-, Healthcare- oder Condition-Monitoring-Anwendungen.

Digitales neuromorphes Hardware-Design

In digitalen Deep-Learning-Beschleunigern werden dedizierte Logikschaltungen, statt generische arithmetisch-logische Recheneinheiten eingesetzt, um exakt die Operationen auszuführen, die für die Simulation eines tiefen neuronalen Netzes notwendig sind. Damit erreicht man ein optimiertes Design, mit dem sich die hochparallelisierte Struktur neuronaler Netze wirksam einsetzen lässt, um Inferenz und maschinelles Lernen zu beschleunigen.

Durch neuartige Speicherelemente, die über die Schaltung verteilt eingesetzt werden können, lässt sich die Speicherbandbreite reduzieren, was die Verarbeitung großer Datenmengen in Highspeed-Geschwindigkeit möglich macht.

Anwendungen für digitale Beschleuniger

Digitale Beschleuniger können als dedizierte ASICs mit geringem Stromverbrauch, als generische Beschleuniger für verschiedenste Netzwerkarchitekturen oder als extrem flexible FPGA-Lösungen umgesetzt werden. Aufgrund ihrer Flexibilität, Erweiterbarkeit, Skalierbarkeit und durch einfache Integration in digitale Plattformen eignen sich digitale Beschleuniger insbesondere für sich rasch entwickelnde Use Cases, rekonfigurierbare Geräte mit Cloud-Anbindung und für besonders anspruchsvolle Rechenanwendungen. Digitale Beschleuniger werden deshalb meist für die Verarbeitung großer Datenmengen und hochdimensionaler Daten eingesetzt, beispielsweise zur Analyse von Bild- und Videomaterial sowie medizinischer Daten.

Gepulstes neuromorphes Hardware-Design

Spezifisch entwickelte neuromorphe Hardware ermöglicht den Einsatz neuartiger NN-Architekturen wie zum Bespiel gepulste neuronale Netze (Spiking Neural Networks). Sie basieren auf mathematischen Grundlagen, die dem klassischen Rechenparadigma trotzen.

In solchen Netzen beruht der Informationsaustausch auf binärer pulsbasierter (engl.: spike-based) Kommunikation, wobei jedes Neuron relevante Ereignisse in Form kurzer, stereotypischer Pulse weitergibt.

Anwendungen für Spiking Neural Networks

Diese ereignisbasierte Funktionsweise lässt sich mit konventionellen Von-Neumann-Rechnerarchitekturen nur schwer realisieren, kann aber in einem analogen oder mixed-signal Hardware-Stack sehr effizient umgesetzt werden. Pulsbasierte neuromorphe Hardware verspricht enorme Verbesserungen hinsichtlich Energieverbrauch und Latenz und eröffnet deshalb eine völlig neue Entwicklungsrichtung für Ultra-Low-Power-Anwendungen. Entsprechende Beschleuniger können gewinnbringend für die energieeffiziente Verarbeitung von Zeitreihendaten eingesetzt werden, beispielsweise für Sprach- und Videoanalyse oder im Bereich Predictive Maintenance.

Hardware für KI – Beratung, Design und Implementierung

Das Fraunhofer-Institut für Integrierte Schaltungen IIS hat langjährige Erfahrungen mit maschinellem Lernen in verschiedenen Anwendungsgebieten. Unsere Experten verwenden neuromorphe Hardware, um die Rechenvorgänge in Embedded-Produkten zu beschleunigen.

Wir beraten Sie gerne zu den Themen maschinelles Lernen und geeignete neuromorphe Hardware speziell in Ihrem Anwendungsfall. Darüber hinaus kümmern wir uns um Design und Implementierung neuromorpher Hardwaremodule für Ihre Geräte.

Wir finden das passende neuromorphe Design für Ihren Anwendungsfall.

Überblick über neuromorphe Hardware

Die Tabelle gibt einen Überblick über verschiedene Hardware-Plattformen und deren Vor- und Nachteile in Bezug auf die neuromorphe Datenverarbeitung:

  • Mehrzweckprozessoren (GP CPUs: General Purpose Central Processing Units)
  • GP CPUs mit Beschleunigern
  • Grafikprozessoren (GP GPUs: General Purpose Graphics Processing Units)
  • Spezielle Hardware (ASICs: Application Specific Integrated Circuits)
  • Field-Programmable Gate Arrays (FPGAs)
  • Digital Signal Processors (DSPs)

 

Tabelle mit Überblick über neuromorphe Hardware
© Fraunhofer IIS

Beiträge und Vorträge zum Thema Neuromorphe Hardware

Fachartikel

AI goes Ultra-Low-Power

Ultra-Low-Power-Beschleuniger für EKG- oder allgemeine Zeitreihen-Analyse

Quelle: Elektronik, 19 und 20/2021

Fachartikel

Neuromorphe Hardware

Hardware für neuronale Netze: Ein Blick auf die verschiedenen Ansätze und den Entwicklungsstatus

Quelle: DESIGN&ELEKTRONIK, 7/2020

Fachartikel

Elektronenhirn 4.0

Überblick über Deep-Learning-Inference-Beschleuniger und deren Einsatz in Embedded-Geräten

Quelle: Elektronik, 9/2019

Icon Whitepaper
© Fraunhofer IIS

Der neuromorphen Hardware auf der Spur

Neuromorphe Hardware orientiert sich an der Funktionsweise des menschlichen Gehirns und gilt daher als ein Schlüssel für zukunftsweisende Einsatzgebiete der Künstlichen Intelligenz.

In einem Kapitel des Bitkom-Whitepapers »Future Computing«, an dem wir mitgewirkt haben, wird der Themenkomplex Neuromorphic Computing aus unterschiedlichen Blickwinkeln beleuchtet und der Forschungsstand kompakt zusammengefasst.

Neuromorphe Hardware – ein Bienenhirn als Chip

Beitrag von Dr. Marco Breiling zur Vortragsreihe »Künstliche Intelligenz – Was kann sie? Wie nützt sie?«

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

Aktuelle Forschungsprojekte

  • LODRIC – LOw-power Digital deep leaRning Inference Chip

     

    Laufzeit: 1.8.2021 – 31.7.2024
    Konsortium: 3 Partner aus Deutschland
    Finanzierung: Bundesministerium für Bildung und Forschung (BMBF)
    Projektwebseite: https://www.elektronikforschung.de/projekte/pilot-inno-lodric

     

    Das Projekt LODRIC verlängert die erfolgreiche Zusammenarbeit des Konsortiums, bestehend aus der FAU Erlangen-Nürnberg und dem Fraunhofer IIS, aus dem vorangegangenen Projekt »Lo3-ML«.

    In seiner Fortsetzung geht es um die Entwicklung einer Entwurfsmethodik für energiesparsame digitale KI-Chips mit eingebetteten nichtflüchtigen Speicherelementen und deren prototypische Anwendung anhand drei verschiedener Applikationen. Dabei soll die Hauptinnovation des Projektes »Lo3-ML«, namentlich die Entwicklung datenflussorientierter Rechnerarchitekturen in Verbindung mit verteiltem, nicht-volatilem Gewichtsspeicher und stark (ternär) quantisierten Gewichten aufgegriffen und gezielt methodisch weiterentwickelt werden.

    Das Fraunhofer IIS ist mit den drei Disziplinen Medizintechnik, Entwurf von digitalen Schaltungen und Embedded AI vertreten. Letztere wird dabei ihre Kompetenzen im Bereich hardware-aware Training ausbauen. Dabei wird eine für die Beschleunigertechnologie spezifische Tool Chain weiterentwickelt, durch die zum einen eine signifikante Verkleinerung (Optimierung) des neuronalen Netzes erreicht wird und zum anderen dessen Genauigkeit trotz hoher Quantisierung der Neuronengewichte durch iteratives Nachtrainieren erhalten bleibt.

  • ANDANTE – AI for New Devices and Technologies at the Edge

     

    Laufzeit: 1.7.2020 – 30.6.2023
    Konsortium: 8 Partner aus Deutschland, weitere 23 europäische Partner
    Finanzierung: ECSEL Joint Undertaking Initiative der EU und Bundesministerium für Bildung und Forschung (BMBF)
    Projektwebseiten: https://www.andante-ai.eu/ https://www.elektronikforschung.de/projekte/andante

     

    Ziel des Projekts ANDANTE ist es, KI-Chips und -Plattformen für Edge-Anwendungen zu entwickeln, die halbleiter-technologischen Grundlagen für diese Chips zu erarbeiten und relevante Edge-Anwendungen mit diesen Chips zu realisieren.

    Das Fraunhofer IIS entwickelt im Rahmen dieses Projekts einen analogen mixed-signal Hardware-Beschleuniger-Chip für neuronale Netze (NN). Die analoge Schaltungstechnik ermöglicht es, die für neuronale Netze zentralen Additions- und Multiplikationsberechnungen mit Hilfe einfachster Schaltungen zu realisieren und damit einen signifikanten Vorteil bezüglich Chipflächenbedarf, Energieeffizienz und Latenz im Vergleich zu digitalen Konzepten zu erzielen. Die analoge Implementierung geht einher mit einigen Imperfektionen wie Rauschen, fertigungsbedingten Nichtlinearitäten und Bauteilvarianzen, die dafür spezielle hardware-aware Training- und Simulations-Tools benötigt. Das Fraunhofer IIS entwickelt deswegen Tools, um für reale analoge Beschleuniger ein kleinstmögliches NN mit gewünschter Genauigkeit und minimalem Energieverbrauch zu erhalten. Im Laufe des Projekts wird, in enger Zusammenarbeit mit dem Fraunhofer EMFT und dem Fraunhofer IPMS, ein KI-Chip in der 22FDX® Globalfoundries Technologie entwickelt und produziert. Die erste Pilotanwendung, die auf KI-Chip und Plattform laufen soll, ist Voice Activity Detection (z.B. für Smart Speaker und Smart-Home-Geräte).

  • KI-FLEX – Rekonfigurierbare Hardwareplattform zur KI-basierten Sensordatenverarbeitung für das autonome Fahren

     

    Laufzeit: 1.9.2019 – 31.8.2023
    Konsortium: 8 Partner aus Deutschland
    Finanzierung: Bundesministerium für Bildung und Forschung (BMBF)
    Projektwebseiten: www.iis.fraunhofer.de/ki-flex https://www.elektronikforschung.de/projekte/ki-flex

     

    Im Projekt »KI-FLEX« entwickeln acht Projektpartner eine leistungsstarke, energieeffiziente Hardware-Plattform und das dazugehörige Software-Framework für autonomes Fahren. Die »KI-FLEX«-Plattform soll Daten von Laser-, Kamera- und Radarsensoren im Auto zuverlässig und schnell verarbeiten und zusammenführen. Dabei kommen Methoden der Künstlichen Intelligenz (KI) zum Einsatz. Das Fahrzeug verfügt so jederzeit über ein präzises Abbild der realen Verkehrsbedingungen, kann sich selbst in diesem Umfeld verorten und auf Basis dieser Informationen in jeder Fahrsituation die richtige Entscheidung treffen.

    Der Beitrag des Fraunhofer IIS besteht in der Entwicklung eines flexiblen DLI-Beschleuniger-Kerns für den Multi-Core-Deep-Learning-Beschleuniger, welcher gemeinsam mit weiteren DLI-Beschleunigern in einen flexiblen, zukunftsfähigen ASIC integriert werden soll. Die Architektur des ASICs ist dabei so ausgelegt, dass zukünftige Verbesserungen von NN-Architekturen, das heißt neu aufkommende NN-Typen und -Konzepte, damit weiterhin realisiert werden können. Dafür werden kritische Stellen gezielt rekonfigurierbar designt, um eine Brücke von der Starrheit eines ASICs hin zur Flexibilität eines FPGAs zu bauen.

  • SEC-Learn – Sensor-Edge-Cloud for Federated Learning

     

    Laufzeit: 1.7.2020 – 30.6.2024
    Konsortium: 11 Fraunhofer-Institute aus den Verbünden Mikroelektronik und IUK-Technologie
    Finanzierung: bis 2021: InnoPush Programm des Bundesministerium für Bildung und Forschung (BMBF); ab 2022: Fraunhofer-Vorstandsprojekt

     

    Im Projekt SEC-Learn entsteht ein System von verteilten energiesparenden Edge Devices, die gemeinsam lernen, ein komplexes Problem der Signalverarbeitung durch maschinelles Lernen zu lösen. Der Fokus des Projekts liegt dabei zum einen auf der Entwicklung schneller, energie- und platzeffizienter Hardwarebeschleuniger für Spiking Neural Networks (SNN), zum anderen auf deren Verschaltung zu einem föderierten System, in dem jedes Gerät autonom agieren und lernen kann, seine Lernerfolge allerdings durch föderiertes Lernen mit allen anderen Geräten teilt.

    Dieses Konzept ermöglicht zahlreiche Anwendungen, vom autonomen Fahren bis hin zur Zustandsüberwachung, wo eine dezentrale Datenverarbeitung durch KI mit einem zentralen System zum Training verbunden werden muss – ohne dabei den Datenschutz zu verletzen oder exzessiven Stromverbrauch und Datenverkehr zu verursachen.

    Die im Projekt verwendeten Hardwarebeschleuniger entstehen dabei unter Koordination des Fraunhofer IIS in enger Kooperation mit dem Fraunhofer EMFT und dem Institutsteil EAS des Fraunhofer IIS. Dafür entwickelt das Fraunhofer IIS am Standort Erlangen neuromorphe mixed-signal Schaltungen für spezialisierte Neuronen- und Synapsenmodelle, die zugehörigen Softwaretools für hardware-aware Training und Simulation sowie eine skalierbare Chip-Architektur, die es in Zukunft ermöglichen soll, verschiedenste Anwendungsprobleme bedienen zu können.

    Mehr Informationen zum Projekt SEC-Learn

  • ADELIA – Analog Deep-Learning-Inferenz-Beschleuniger

     

    Das Projekt ADELIA von Fraunhofer IIS und Fraunhofer IMPS hat am Innovationswettbewerb »Energieeffizientes KI-System« des Bundesministeriums für Bildung und Forschung (BMBF) in der Kategorie ASIC-22FDX teilgenommen. Ziel war die Entwicklung eines energieeffizienten Crossbar-Analogbeschleunigers.

    Pressemitteilung zu ADELIA

Das könnte Sie auch interessieren

 

Flyer

Neuromorphe Hardware

 

Embedded Machine Learning

Implementierung und Integration von Machine Learning auf Embedded-Geräten

 

Machine Learning am Fraunhofer IIS

Übersicht zum Thema Maschinelles Lernen am Fraunhofer IIS