NXAI mit Zeitreihen-Modell auf xLSTM-Basis : NXAI: Erstes Zeitreihen-Modell auf xLSTM-Basis

NXAI präsentiert mit TiRex sein erstes Zeitreihen-Modell auf xLSTM-Basis. Es soll anderen Methoden nicht nur in der Vorhersagequalität überlegen sein, sondern auch noch viel schneller als diese sein, heißt es bei den Linzern. 

xLSTM ist eine neue Klasse von Algorithmen. xLSTM adressiert Einschränkungen von Transformer-Architekturen, insbesondere in Bezug auf Kontextgröße, Geschwindigkeit und Effizienz. xLSTM ist schneller im Training und in der Inferenz und kann dank seiner Architektur an Chips, an die Infrastruktur der Kunden angepasst werden. 

„Wir sprechen hier nicht mehr über kleine Verbesserungen, sondern über eine deutliche Qualitätssteigerung durch TiRex im Vergleich zu anderen Modellen und das im Kurz- als auch im Langzeitbereich”, sagt Sepp Hochreiter, Chief Scientist von NXAI und Lehrstuhlinhaber an der JKU Linz.

Zeitreihen und deren Analyse bestimmen den industriellen Alltag auf der ganzen Welt. „Viele Menschen schauen auf Large Language Models wie ChatGPT, aber die großen Potenziale in der Industrie liegen woanders; beispielsweise in schnellen und speichereffizienten Zeitreihenmodellen - im Auto, in der Maschine, am Förderband, beim Schweißen oder in der Robotik. Überall dort fallen Zeitreihendaten an, die genutzt werden können und mit denen Geld verdient werden kann oder aus denen digitale Produkte entwickelt werden können. Vortrainierte Zeitreihenmodelle werden heute millionenfach heruntergeladen und schon wirtschaftlich genutzt”, sagt Albert Ortig, CEO von NXAI. 

In-Context-Learning

Das NXAI-Modell TiRex setzt dabei auf In-Context-Learning. „Diese Lernmethode erlaubt Zero-Shot-Vorhersagen – das heißt, Vorhersagen für neue Zeitreihen erfordern kein zusätzliches Training. Dadurch lässt sich das Modell auch von Nicht-Experten als Prognosewerkzeug einsetzen und kann einfach in existierende Workflows integriert werden. Außerdem zeigen sich insbesondere bei begrenzter Datenverfügbarkeit Verbesserungen der Vorhersagequalität”, sagt Andreas Auer, Researcher NXAI.  

Dadurch können beispielsweise Maschinenbauern ihren Kunden TiRex-Modelle als digitale Produkte zur Optimierung anbieten, die dann dank In-Context-Learning ohne neues Training beim Kunden laufen und auf die Daten des Kunden automatisch optimiert werden. „Entscheidend ist, wie gut das Modell auf neue Zeitreihen generalisiert – TiRex tut das hervorragend”, ergänzt Hochreiter. 

Ausschlaggebend dafür ist die Fähigkeit des Modells, den Systemzustand laufend zu überwachen, zu analysieren und zu aktualisieren. Dieses sogenannte „State Tracking” des Systemzustands können transformer-basierte Ansätze nicht. Das bedeutet: TiRex kann versteckte oder latente Zustände eines Prozesses über die Zeit hinweg approximieren, was die Vorhersagen verbessert. Die Modell-Architektur hat aber noch einen weiteren großen Vorteil, denn sie kann an Hardware angepasst werden und ermöglicht damit Embedded KI-Anwendungen. 

„Wir passen unser TiRex Modell auf komplexe Use Cases an. Wir arbeiten in der Automobilindustrie, um beispielsweise Ladezustände besser vorherzusagen oder in der Intralogistik, um den Materialfluss noch effizienter zu machen bzw. um Ausfallzeiten vorherzusagen und dann zu minimieren. Wir können aber auch Schweißpunkte prüfen, Einrichtungszeiten reduzieren oder die Qualität vorhersagen und verbessern”, ergänzt Hochreiter, der auch an der JKU Linz lehrt. Auch in der Medizin werden xLSTM-Modelle schon erfolgreich genutzt - beispielsweise im Bereich EKG-Analyse oder beim Imperial College in London bei der Segmentierung des Herzens. 

Unternehmen entwickeln mit NXAI zusammen ihre ersten xLSTM-Zeitreihenmodelle, die dank Chip-Allokation auch auf weniger leistungsstarken Endgeräten laufen. „Das ist ein großer Vorteil unserer xLSTM-Technologie. Wir können das Modell auf die verschiedenen Endgeräte anpassen. Das kann die Transformer-Technologie nicht”, sagt Hochreiter. 

Über NXAI

NXAI ist ein österreichisches KI-Forschungsunternehmen mit Sitz in Linz, das innovative Lösungen für industrielle Anwendungen entwickelt. Das Unternehmen hat es sich zur Mission gemacht, die eigene KI-Forschung in marktreife Systeme zu überführen und eine Brücke zwischen Forschung und Industrie zu schlagen. Im Mittelpunkt der Forschung stehen xLSTM-Modell Mit einem starken Netzwerk aus Forschung und Industrie baut NXAI in Linz an einem Zentrum für zukunftsweisende KI-Innovationen.