Fraunhofer-Institut für Integrierte Schaltungen IISLeistungsschub mit KI – Quantencomputing-basierte Methoden machen das Training großer KI-Modelle effizient
Erlangen/Nürnberg: KI hat in vielen Arbeits- und Lebensbereichen bereits Einzug gehalten. Das Training moderner KI-Modelle erfordert jedoch enorme Rechenressourcen, verbunden mit hohem Energieverbrauch und erheblichen CO₂-Emissionen. Daher muss dieser Bedarf durch intelligente Methoden deutlich gedrosselt werden. Das QC-Train Projektteam aus der infoteam Software AG, dem Fraunhofer-Institut für Integrierte Schaltungen IIS, der OptWare GmbH sowie den assoziierten Partnern DATEV und Schaeffler Technologies arbeitet an einer quantencomputing-basierten Lösung, um hier deutliche Einsparungen am Emissionsverbrauch bei gleichzeitigem Ausbau der Leistungsfähigkeit für das Training großer Basismodelle zu erreichen. Das Projekt wird im Rahmen der Verbundforschungsprogramm »Digitalisierung« (BayVFP) des Freistaates Bayern gefördert.
Die zunehmende Verbreitung großer KI-Sprachmodelle (Large Language Models, LLMs) wie ChatGPT, Gemini uvm. sowie spezialisierter Surrogat-Netzwerke, die komplexe physikalische, technische oder mathematische Systeme datenbasiert approximieren, führt zu einem steigenden Hunger nach Rechenleistung, Energie und Speicherressourcen. Das Training dieser Modelle bringt Rechenzentren an technische und wirtschaftliche Grenzen. Vor diesem Hintergrund fordert auch der EU AI Act mehr Transparenz hinsichtlich des Energieverbrauchs von KI-Systemen und unterstützt die Entwicklung von Standards zur Steigerung der Ressourcen- und Energieeffizienz.
Mit KI und Quantencomputing gegen den KI-Datenhunger
Wie lässt sich dieser stetig steigende Bedarf an Rechenpower, der sich mit jedem Prompt und jedem zusätzlichen Training weiter erhöht, in den Griff bekommen? Herkömmliche Ansätze reichen dazu längst nicht aus. Die Quantenexpertinnen und -experten des Fraunhofer IIS entwickeln daher zusammen mit ihren Partnern eine Lösung, die die Brücke zwischen den noch nicht-gehobenen Potenzialen von Quantencomputing mit denen spezialisierter KI-Algorithmik schlägt. Im Projekt QC-Train sollen daher Trainingsmethoden dieser großen KI-Modelle komplett neu gedacht und aufgebaut werden. »Dabei sollen die ressourcenintensivsten mathematischen Operationen von derzeit noch verwendeter traditioneller Hardware auf Quantenprozessoren verlagert werden«, erläutert Dr. Daniel Scherer, Leiter der Forschungsgruppe »Quantum Compilation« am Fraunhofer IIS den grundlegenden Lösungsansatz. »Erste technische Prognosen zeigen, dass quantenbeschleunigte Trainings-Workflows eine drastische Verringerung des Ressourcenverbrauchs ermöglichen könnten und damit den Weg für eine KI der Zukunft ebnen.«
Wenige Qubits sind kein Dealbreaker
Im Projekt werden zunächst verschiedenste Strategien zur Umsetzung von Trainingsverfahren analysiert und für eine Berechnung auf Quantencomputern gestaltet. Zudem werden diese Quantensysteme auf ihre Robustheit, Skalierbarkeit und Leistungsfähigkeit getestet. Die so entwickelten Software-Werkzeuge dienen dann dazu, genau diejenigen Szenarien zu identifizieren, in denen eine Beschleunigung durch Quantenberechnung trotzdem einen deutlichen wirtschaftlichen und im Hinblick auf die Ressourceneffizienz auch ökologischen Vorteil bieten – selbst, wenn diese Quantencomputer heute noch auf wenige QuBits beschränkt sind.
Im Benchmark Leistungsfähigkeit und Ressourceneffizienz beweisen
Zusammen mit den assoziierten Partnern werden Lernmodelle auf der Basis ihrer Trainingsdaten entwickelt und bewertet, die dann in die Weiterentwicklung der Software-Werkzeuge einfließen. Zusammen mit infoteam und OptWare unterziehen die Quantencomputing-Experten des Fraunhofer IIS dann die Modelllösungen einer an der Praxis ausgerichteten Evaluierungs- und Bewertungsphase. Ziel ist es zu zeigen, dass quantenunterstützte Trainingsansätze trotz der erwarteten weiter steigenden Nutzung von KI und des damit verbundenen Rechenbedarfs einen wesentlichen Beitrag zu einer klimafreundlichen Entwicklung von KI leisten können.
Das Projekt wurde im Juli im Verbundforschungsprogramm "Digitalisierung" (BayVFP) des Freistaates Bayern gestartet und ist auf 3 Jahre angelegt.