Künstliche Intelligenz : Warum Pierer in Sepp Hochreiters KI-Architektur investiert

Vor 25 Jahren veröffentlichte Sepp Hochreiter zusammen mit Jürgen Schmidhuber den LSTM-Algorithmus. Im Silicon Valley machten die Unternehmen Milliardengeschäfte mit der Technologie made in Europe. Dieses Mal soll Europa etwas abbekommen. Hochreiter will nicht reich werden. Er will Geld für seine Forschungen, für seine KI-Gruppe an der JKU Linz. Hilfe, wie INDUSTRIEMAGAZIN erfuhr, bekommt er von Pierer. Das Mobilitätsunternehmen investiert in Research und will Produkte rund um XLSTM entwickeln.

>>> Lesen Sie hier alles über Pierers Investition

Der erste Schritt: Das zum Jahreswechsel gegründete Unternehmen NXAI. An diesem hält die PIERER Digital Holding GmbH 37 Prozent, die weiteren Anteile liegen bei Netural X (37 Prozent) und Hochreiter selbst (26 Prozent).

Im Sommer letzten Jahres präsentierte Hochreiter auf Einladung des Industrial AI Podcasts 25 Industrie-Vertretern in einem Hotel in Zug am Arlberg seine XLSTM-Idee. Die Gruppe war angetan, sind doch die bekannten LLM-Modelle für die Industrie zu langsam, zu rechenintensiv. Auch ein Pierer-Vertreter war Teil der Runde. Der Konzern scoutet weltweit nach Innovationen für ihre Produkte aber auch für die Produktion. Dieses Mal wurden sie wohl in der Heimat, an der Roten Wand, fündig.

>>> Sepp Hochreiter: „Ich möchte Open AI vom Markt fegen“

Hochreiter, Vorstand des Uni-Instituts für Maschinelles Lernen und Laborleiter für Artificial Intelligence am Linz Institute of Technology (LIT), hatte im Vorjahr das Fehlen einer vernünftigen KI-Strategie in Österreich kritisiert. "Ich sitze hier in Linz auf etwas Genialem, habe aber nicht das Geld es zu machen", so Sepp Hochreiter. Er schuf 1991 mit dem Long Short Term Memory (LSTM) eine Grundlage für Systeme künstlicher Intelligenz. Darauf aufbauend könnte man quasi ein "besseres ChatGPT" machen: Es wäre schneller in der Anwendung. Heutige Large Language Models (LMMs), die auf Transformationsmodellen basieren, benötigen im laufenden Betrieb sehr viel Rechenleistung, wenn der Text lang ist. Der Grund dafür ist, dass die Transformer-Berechnungen mit zunehmender Textlänge quadratisch ansteigen.

>>> Sepp Hochreiter: „Hinter den Kulissen passiert viel mehr“

Mit dem xLSTM, das Hochreiter in der Zwischenzeit weiterentwickelt hat, steigen die Berechnungen nur noch linear mit der Textlänge an. Das bedeutet: "Wir können die gleiche Leistung anbieten, man zahlt aber weniger dafür, da man weniger Rechner braucht", sagt er.

„Wir müssen skalieren. Wir testen erst auf kleinen Datensätzen, dann auf mittleren und am Ende dann auf den ganz großen Sets“, erklärt Hochreiter. Auf den kleinen und mittleren Datensätzen performt die xLSTM-Technologie „sehr gut.“ Man müsse alle Modelle am Markt schlagen, heißt es in Linz. Über 1.000 GPUs über die ganze Welt verteilt rechnen gerade die Entwicklung aus Oberösterreich.

>>> AI-Spitzenforscher Brandstetter: "Von allen Kommentaren hier einen Screenshot gemacht – für später“

Die NXAI GmbH mit Sitz in der Linzer Tabakfabrik und derzeit zehn Mitarbeitern konzentriert sich daher auf die Weiterentwicklung der europäischen Large Language Modeling Technologie xLSTM. xLSTM sei eine Basistechnologie für alle Branchen. In den nächsten drei Monaten werde das, was erforscht wurde, mit dem abgeglichen, was am Markt existiert, so Albert Ortig, Geschäftsführer von Netural X und NXAI. "Parallel dazu arbeiten wir an der Umsetzung der Produkte in Wirtschaft und Industrie." Die NXAI GmbH gehört laut Wirtschaftskompass zu je 37 Prozent der Pierer Digital Holding und dem Start-up Netural X sowie zu 26 Prozent Hochreiter.

Zwischen der Johannes Kepler Universität (JKU) und NXAI wurde eine Forschungskooperation vereinbart. Ziel sei es, die Grundlagenforschung, die an der Universität unter Hochreiter bereits betrieben wird, einen Schritt weiter zu bringen, so Rektor Stefan Koch. Nämlich diese "auf größeren Rechnerressourcen umzusetzen und daraus dann Produkte zu entwickeln, um universitäres Wissen in die Wirtschaft zu transformieren".

Der Zeithorizont ist ambitioniert: Bis Ende März sollen die Tests auf den kleineren und mittleren Datensätzen abgeschlossen sein. „Im Juni stehen dann die großen Datensätze im Mittelpunkt“, erklärt Albert Ortig, Geschäftsführer von NXAI. Ortig ist kein Unbekannter in der Linzer KI-Szene. Er ist CEO von Netural X in der alten Tabakfabrik und entwickelt seit den späten 90er Jahren mit seinem Team digitale Services für Unternehmen. Kunden sind unter anderem BMW, KEBA, Raiffeisen Landesbanken, Swarovski und Voestalpine.

>>> Sepp-Hochreiter über Österreichs Forschungspolitik: "Echt frustrierend"

Auch über Netural X gibt es Firmenbuchverbindungen zu Pierer in Form einer 25,1-prozentigen Beteiligung der PIERER Digital Holding GmbH. Ortig ist der Digitalexperte, der Company-Builder und studierte an der JKU Linz. Ortig organisiert die KI.

Er darf Hochreiters Idee in den nächsten Wochen zu einem Produkt formen. Ortig und sein 100-köpfiges Team arbeiten seit Wochen im „Stealth Mode“ an der LLM-Antwort aus Europa. „Wir wollen in die Industrie und viele Anwendungen in der Industrie sind nicht auf die ganz großen Datensätze angewiesen. Deshalb ist die Skalierung so wichtig“, erklärt Ortig.

>>> Lesen Sie hier alles über Pierers Investition.

Nicht genannt wurde, wie viel Geld zur Verfügung steht. "Wir kommunizieren nicht über Summen, aber wir sind ausreichend ausgestattet, um das tun zu können, was wir tun müssen", so Ortig. Derzeit sei man rein privat finanziert, ohne Fördermittel, mit denen der CEO aber in Zukunft rechnet. Dass private Investoren in die Grundlagenforschung investieren, um die Technologie am Standort zu halten, kennt Hochreiter nur aus dem Silicon Valley.

>>> KI-Pionier Sepp Hochreiter, Uni Linz: Den Systemen fehlt das Weltverständnis

Generell, so merkte Hochreiter an, sei die Bereitstellung von Fördermitteln in Österreich und Europa viel zu langsam, oft gehe es um Wochen oder Tage. "Bis hier Förderanträge durchgehen, ist man von der "Konkurrenz überrannt", sieht er Fehler im System: Förderinstrumente in Österreich seien für die schnelllebige KI "super ungeeignet".