LLMs im Wandel: Was Forschung, Praxis und Europa jetzt vorantreibt

Welche Technologie‑Trends bestimmen die Zukunft von Large Language Modells (LLMs) – und warum spielt Europa dabei eine besondere Rolle? Im Interview verrät Jan Plogsties, Abteilungsleiter Generative KI am Fraunhofer IIS, woran er und sein Team gerade forschen und wohin die Entwicklung führt.

Ein Blick ins Labor: Was sind die größten offenen Forschungsthemen bei LLMs? An welchen Projekten arbeiten Sie gerade? 

Jan Plogsties: Zum einen ist da die Frage, wie wir KI‑Modelle auf kleinen Recheneinheiten, lokal in den Geräten laufen lassen können – auf einem Smartphone, in einem Fahrzeug oder einer Industrieanlage. Es kommen immer mehr spezialisierte Beschleuniger und Prozessoren auf den Markt, gerade für Smartphones und Embedded‑Systeme. Damit wird es möglich, LLMs lokal auszuführen. Ohne Cloud, ohne Verzögerung.

Die Modelle müssen dabei aber mit deutlich weniger Parametern und viel weniger Rechenleistung auskommen. Wir nennen das bei Fraunhofer ‘large models for small devices’. Das ist besonders spannend für interaktive Anwendungen: Wenn ich zum Beispiel einen Sprachbefehl an eine Maschine gebe, muss die Antwort praktisch in Echtzeit kommen und kann nicht erst an ein großes Cloud‑Modell geschickt werden. Mit dieser Herausforderung beschäftigen wir uns u.a. im bayerischen Projekt DSgenAI. Bei unserem Modell ELMOD haben wir bereits gezeigt, dass ein hochwertiges deutsches Sprachmodell lokal auf einem Smartphone laufen kann.

Ein anderes spannendes Projekt, an dem wir gerade arbeiten, heißt SOOFI. Dort entwickeln wir eine Sprachmodellfamilie mit Modellen bis zu einer Größe von 100 Milliarden Parametern gemeinsam mit einigen der führenden Expertinnen und Experten für LLM‑Training in Deutschland. Damit das Modell am Ende auch das leisten kann, was in der Praxis gebraucht wird, holen wir Industriepartner mit ins Boot, die ihre Anforderungen direkt einbringen. Wir wollen mit SOOFI dazu beitragen, dass in Deutschland und Europa souveräne KI-Modelle entstehen.

»In einer Welt, in der internationale Abhängigkeiten jederzeit spürbar sind, dürfen wir uns nicht darauf verlassen, dass zentrale Dienste aus anderen Regionen dauerhaft verfügbar bleiben.«

Jan Plogsties

Warum braucht Europa KI-Souveränität?

Jan Plogsties: Weil wir diese Technologie wirklich verstehen und selbst beherrschen müssen. In einer Welt, in der internationale Abhängigkeiten jederzeit spürbar sind, dürfen wir uns nicht darauf verlassen, dass zentrale Dienste aus anderen Regionen dauerhaft verfügbar bleiben. Technologische Unabhängigkeit ist daher eine strategische Notwendigkeit.

Wir verfügen außerdem in Europa über eine starke Forschungslandschaft im KI-Bereich, aber wir schaffen es bislang zu selten, dieses Wissen in schlagkräftige kommerzielle Erfolge umzuwandeln. Um Talente und Know‑how langfristig in Europa zu halten, müssen wir eigene Technologien aufbauen und weiterentwickeln.

Darüber hinaus ermöglicht uns die Entwicklung eigener Modelle, KI nach europäischen Vorstellungen und Werten zu gestalten. Wir können gezielt festlegen, welche Sprachen und gesellschaftlichen Perspektiven berücksichtigt werden sollen. Datenfilterung, Bias‑Kontrolle und regulatorische Leitplanken werden schon während der Entwicklung integriert. Das schafft ein hohes Maß an Vertrauenswürdigkeit und kultureller Vielfalt. Unser erstes LLM Teuken-7B beispielsweise bezieht bewusst 21 europäische Sprachen mit ein und steht nicht nur als Open-Source zur Verfügung, sondern erfüllt auch die Standards der EU in Bezug auf den AI-Act.

Ich möchte dabei betonen: Es geht nicht darum, mit globalen Akteuren wie OpenAI zu konkurrieren. Vielmehr geht es darum, in sensiblen und anwendungsspezifischen Bereichen verlässliche Alternativen zu haben. Gerade dort, wo Neutralität und Vertrauen besonders wichtig sind.

»Bei Use Cases, in denen sensible oder sehr spezielle Daten verarbeitet werden, stoßen herkömmliche Sprachmodelle an Grenzen. «

Jan Plogsties

In welchen Aspekten unterscheidet sich der Ansatz des Fraunhofer IIS von anderen Akteuren im nationalen und internationalen Umfeld?

Jan Plogsties: Es gibt viele Unternehmen, die bereits LLMs nutzen, um Menschen den Alltag zu erleichtern und die Büroarbeit effizienter zu machen. Für solche Use Cases gibt es viele Angebote auf dem Markt – von großen Konzernen bis hin zu Open-Source-Modellen. Das ist hilfreich. Aber das eigentliche Potenzial von LLMs liegt in ganz anderen Bereichen: zum Beispiel in der Entwicklung neuer Wirkstoffe für die Pharmaindustrie oder bei technischen Simulationen in der Automobilbranche. Auch bei Use Cases, in denen sensible oder sehr spezielle Daten verarbeitet werden, stoßen herkömmliche Sprachmodelle an Grenzen. Beispielsweise bei der Verarbeitung von Steuerdaten, Rechtsfragen oder Behördenaufgaben.

Dadurch, dass wir Modelle auch selbst entwickeln, verfügen wir über tiefgreifendes Know-how in der Spezialisierung und Optimierung von Sprachmodellen.

Wir bestimmen, welche Trainingsdaten in das Sprachmodell einfließen und haben Kontrolle über die Datenqualität. Basismodelle können gezielt mit branchen- oder firmenspezifischem Wissen ausstattet werden. Dadurch entwickeln wir für unsere Partner Sprachmodelle, die speziell für ihre Branche, Infrastruktur und Compliance-Anforderungen zugeschnitten sind.

Vielen Dank für das Gespräch.