Künstliche Intelligenz : KTM-Chef Stefan Pierer investiert in Hochreiters AI-Architektur

Dieses Mal soll es anders laufen, das hat sich Sepp Hochreiter fest vorgenommen. Vor 25 Jahren veröffentlichte er zusammen mit Jürgen Schmidhuber den LSTM-Algorithmus. Im Silicon Valley machten die Unternehmen Milliardengeschäfte mit der Technologie made in Europe. Dieses Mal soll Europa etwas abbekommen. Hochreiter will nicht reich werden. Er will Geld für seine Forschungen, für seine KI-Gruppe an der JKU Linz. Hilfe bekommt er von Pierer. Das Unternehmen investiert in Research und will Produkte rund um XLSTM entwickeln. Der erste Schritt: Das zum Jahreswechsel gegründete Unternehmen NXAI. An diesem hält die PIERER Digital Holding GmbH 37 Prozent, die weiteren Anteile liegen bei Netural X (37 Prozent) und Hochreiter (26 Prozent).

Rückblick: Im Sommer letzten Jahres präsentierte Hochreiter auf Einladung des Industrial AI Podcasts 25 Industrie-Vertretern in einem Hotel in Zug am Arlberg seine XLSTM-Idee. Die Gruppe war angetan, sind doch die bekannten LLM-Modelle für die Industrie zu langsam, zu rechenintensiv. Einen Blankoscheck wollte damals aber keiner der Teilnehmer ausstellen. Über 100 Milllionen Euro rief Hochreiter im Stüberl auf. Aber auch ein Pierer-Vertreter war Teil der Runde. Der Konzern scoutet weltweit nach Innovationen für ihre Produkte aber auch für die Produktion. Dieses Mal wurden sie wohl in der Heimat, an der Roten Wand, fündig.

Hochreiter bebte förmlich vor Begeisterung ob seines Ansatzes. Allein im Sommer fehlten Geldgeber für das Testen der Architektur auf vielen tausenden GPUs. „Wir sind in Europa zu lahm, wenn es um neue Ansätze geht“, kritisiert Hochreiter noch heute die Unternehmen und die Politik. Pierer sei da eine Ausnahme, unterstreicht der Hochschullehrer und attestiert den Entscheidern eine Silicon Valley-Mentalität. „Die gehen mit uns volles Risiko und das findet man nur sehr selten.“

Stand heute: „Wir müssen skalieren. Wir testen erst auf kleinen Datensätzen, dann auf mittleren und am Ende dann auf den ganz großen Sets“, erklärt Hochreiter. Auf den kleinen und mittleren Datensätzen performt die XLSTM-Technologie „sehr gut.“ Man müsse alle Modelle am Markt schlagen, heißt es in Linz. Über 1.000 GPUs über die ganze Welt verteilt rechnen gerade die Entwicklung aus Oberösterreich. Der Zeithorizont ist ambitioniert: Bis Ende März sollen die Tests auf den kleineren und mittleren Datensätzen abgeschlossen sein. „Im Juni stehen dann die großen Datensätze im Mittelpunkt“, erklärt Albert Ortig, Geschäftsführer von NXAI. Ortig ist kein Unbekannter in der Linzer KI-Szene. Er ist CEO von Netural X in der alten Tabakfabrik und entwickelt seit den späten 90er Jahren mit seinem Team digitale Services für Unternehmen. Kunden sind unter anderem BMW, KEBA, Raiffeisen Landesbanken, Swarovski und Voestalpine. Auch über Netural X gibt es Firmenbuchverbindungen zu Pierer in Form einer 25,1-prozentigen Beteiligung der PIERER Digital Holding GmbH. Ortig ist der Digitalexperte, der Company-Builder und studierte an der JKU Linz. Ortig organisiert die KI.

Er darf Hochreiters Idee, Modell in den nächsten Wochen zu einem Produkt formen. Ortig und sein 100-köpfiges Team arbeiten seit Wochen im „Stealth Mode“ an der LLM-Antwort aus Europa. „Wir wollen in die Industrie und viele Anwendungen in der Industrie sind nicht auf die ganz großen Datensätze angewiesen. Deshalb ist die Skalierung so wichtig“, erklärt Ortig. Die Redaktion erfuhr, dass deutsche Industriekonzerne schon Termine in Linz vereinbaren. „Wir erleben generell in der Industrie einen iPhone-Effekt, wenn es um KI geht. Die große Herausforderung wird sein, XLSTM in ein Produkt, in ein Ökosystem zu bringen. Microsoft hat da Maßstäbe gesetzt“, erklärt Boris Scharinger, AI Scout von Siemens Digital Industries.

Zur Technik: XLSTM soll die europäische Alternative zur Transformer-Architektur, die die Large Language Models wie ChatGPT so mächtig machen, werden. Der LSTM-Algorithmus ist heute in der Industrie weit verbreitet – viele kleine, aber auch große Industrieunternehmen nutzen den Algorithmus, um ihre Produktion zu optimieren. „XLSTM wird noch mächtiger werden“, prophezeien Insider, die schon einen Blick auf die Architektur werfen konnten. Die Community wartet auf das erste Paper – es wird kommen, aber der Fokus in Linz liegt momentan auf einem Produkt und einem Patentverfahren. XLSTM ist LSTM plus exponentielles Gating, das durch Vektorisierung verbessert wird, raunen manche Beobachter. XLSTM ist ein autoregressiver Ansatz, kann abstrahieren und Hochreiter will es in Europa halten. „XLSTM ist schneller, wir brauchen weniger Speicher und hat eine lineare Runtime.“ Dazu kommt: XLSTM kann das nächste Wort immer besser vorhersagen. Das bedeutet eine Vereinfachung im Coding und in der Logik. Darüber hinaus verfügt die Technik aus Linz über einen Speicher-Part und einen semantischen Part. Dank dieser Kombination kann XLSTM bessere Schlussfolgerungen aufstellen, erklärt Hochreiter im Gespräch.

Aber die Realität sieht noch anders aus: Die KI-Welt ist verliebt in die Transformer-Architektur. Die Architektur ist brachial. Transformers bieten eine gute Leistung zum Preis riesiger Datensätze und einer Menge GPU-Rechenleistung. In Linz arbeiten sie an einer schlankeren Lösung, die dann auch die vielen Industrieunternehmen ansprechen soll. Hochreiter spricht im Interview von „Nonsens Stuff“, wenn er auf die Transformer angesprochen wird. Im Dezember letzten Jahres reiste Hochreiter mit seinem Forscherteam zur wichtigsten KI-Konferenz der Welt zur NeurIPS nach New Orleans.

Erinnerungen kamen da hoch. Vor 25 Jahren hatte er „seinen“ LSTM mit im Gepäck in die USA und nur wenige Besucher interessierten sich für seinen Ansatz damals, erst mit Facebook und Amazon wurde LSTM groß. Dieses Mal spricht er nicht über seine Forschung, doch das Interesse ist trotzdem sehr groß. Gerüchte machten vorab die Runde. „Wir haben viele andere Ideen gezeigt, aber dann habe ich mich doch ein bisschen zu XLSTM verplappert“, lacht Hochreiter. Es bildet sich nach Hochreiters Vortrag eine Traube von Menschen um ihn, berichten Teilnehmer. Das wünscht sich auch Ortig für das XLSTM-Produkt. Europas KI-Aufholjagd könnte mit dem Firmenbucheintrag 616894y starten.