Sepp Hochreiter : „Hinter den Kulissen passiert viel mehr“

Ende der 1990er-Jahre hat Sepp Hochreiter mit seiner Forschung zu Long short-term Memory den Grundstein für die Entwicklung moderner KI-Systeme gelegt. Seine Arbeit findet sich in der Software von Apple und Amazon, und nun ist dem bayerischen KI-Forscher, der an der Johannes Kepler Universität in Linz lehrt und in Österreich ein ganzes KI-Forschungsnetzwerk aufgebaut hat, der nächste Coup gelungen. Ein Sprachmodell, das schneller und energieeffizienter ist als ChatGPT & Co. Doch der im kleinen Österreich hart erarbeitete Forschungsvorsprung droht zu verpuffen. Für die Umsetzung fehlt das Geld, der Professor spielt mit dem Gedanken, Österreich mit seiner Erfindung zu verlassen. Im IM-Interview spricht Sepp Hochreiter über den Zustand des Forschungsstandorts Österreich, das Potenzial von KI und die Auswirkungen auf die Industrie.

Nach einem öffentlichen Schlagabtausch über die Medien kam es kürzlich zu einem Treffen zwischen Ihnen und Digitalisierungs-Staatssekretär Florian Tursky. Konnten Sie ihn von Ihrer Position überzeugen?

Sepp Hochreiter: Wir waren uns einig, dass die Grundlagenforschung in Österreich mehr Geld braucht. Konkrete Maß­ nahmen sehe ich aber auch nach diesem Gespräch nicht. Meine Einschätzung ist, dass dem Staatssekretär hier ein wenig die Hände gebunden sind, aber ich hoffe, dass sich nach den nächsten Budgetverhandlungen hier neue Türen öffnen.

Was ist eigentlich die Grundlagenforschung auf dem Gebiet der künstlichen Intelligenz, befinden wir uns nicht bereits in der Phase der praktischen Umsetzung?

Hochreiter: In der KI liegen Grundlagenforschung und Praxis sehr nahe beieinander. Vor ein paar Jahren haben wir in Linz die sogenannten self-normalized Networks erfunden, drei Monate später waren sie schon bei Amazon im Einsatz und haben für große Umsatzgewinne gesorgt. Von der mathematischen Formel, die aus der Grundlagenforschung kommt, bis zur praktischen Anwendung kann es in diesem Bereich also sehr schnell gehen, die Zeitspannen sind vergleichsweise sehr kurz. Das bestätigt auch die Entwicklung bei Open AI, das sind alles Forscher, die hatten gar keine Zeit, Entwickler an Bord zu holen. Und ein weiterer großer Unterschied ist, dass die Tools, die hier entwickelt werden, sofort in den großen Unternehmen eingesetzt werden. In Österreich ist man es gewohnt, dass ein Produkt lange bis zur Perfektion entwickelt wird und erst dann auf den Markt kommt. Das ist im Bereich der KI völlig anders, wie man an der schnellen Marktdurchdringung von ChatGPT sieht.

Sie haben für Aufsehen gesorgt, als Sie sagten, Sie hätten ein Sprachmodell entwickelt, das die Konkurrenz in den Schatten stelle. Die globalen Hyperscaler müssen Ihnen ja die Türen einrennen?

Hochreiter: Ja, wir haben ein besseres Modell, aber wir haben es noch nicht veröffentlicht oder groß beworben. Ich habe Angst, dass die großen IT-Giganten unsere Forschungsarbeit aufgreifen und selbst umsetzen. Aufgrund der Unterfinanzierung haben wir derzeit nicht die Möglichkeit, unser Modell hoch zu skalieren. Im Vergleich zu den großen Unternehmen sind wir einfach im Nachteil, weil sie über die Kapazitäten und die Daten verfügen, um solche Modelle in kurzer Zeit zu testen. Ich wollte auf jeden Fall vermeiden, auf die Infrastruktur von Google oder Amazon zu setzen, weil ich davon überzeugt bin, dass von meiner ursprünglichen Idee am Ende nicht mehr viel übrig bleibt. Es ist mir in meiner Karriere schon oft passiert, dass meine Ideen von anderen aufgegriffen und kommerzialisiert wurden.

Es ist aber durchgesickert, dass Ihr Sprachmodell schneller und energieeffizienter sein soll, was in Zeiten hoher Energiepreise ein unschlagbares Argument ist.

Hochreiter: Im Moment braucht unser Modell in der Trainingsphase noch mehr Zeit und verbraucht mehr Energie. Aber in der Anwendungsphase ist es viel besser, weil wir weniger Speicher brauchen und die Rechenzeiten kürzer sind. Unser Modell ist autoregressiv und damit energieeffizienter. Ein weiterer großer Vorteil ist, dass wir viel größere Kontexte behandeln können. Das heißt, unser Modell kann viel längere Texte analysieren als die attention-based Modelle, die wir derzeit am Markt sehen.

Haben Sie eine Vorstellung davon, wie hoch die Investitionen in die KI-Forschung in Österreich derzeit sind und wie hoch der Bedarf ist?

Hochreiter: Ich sehe den Förderbedarf für KI-Grundlagenforschung in Österreich irgendwo bei 500 Millionen Euro. Ich habe mir die österreichischen Fördermaßnahmen noch einmal im Detail angeschaut und komme auf eine jährliche Fördersumme von etwa zwölf Millionen Euro, die wirklich für den Bereich KI vorgesehen sind – also sind wir von den angeblichen 150 Millionen Euro, die Staatssekretär Tursky genannt hat, weit entfernt. Das ärgert mich, weil ich sehe, was in Deutschland derzeit in diesem Bereich gemacht wird. Da gibt es KI-Zentren, die diesen Namen auch verdienen. In Österreich hingegen wird alles zusammengewürfelt und die angeblichen 150 Millionen Euro sind für mich blind zusammengeschustert.

Sie stehen ja schon seit einigen Monaten mit der österreichischen Forschungspolitik auf Kriegsfuß: Im Zuge der Errichtung der neuen Technischen Universität in Linz haben Sie Ihren Unmut über die mangelnde Technikorientierung des Studiums geäußert. Damals haben Sie nebenbei auch gesagt, dass Sie sich überlegen, ob Sie überhaupt noch länger in Österreich bleiben wollen. Haben Sie sich schon entschieden?

Hochreiter: Ich hatte mehrere Angebote aus der ganzen Welt, die ich alle abgelehnt habe. Ich habe in Linz das KI-Studium aufgebaut und das Institut entwickelt. Wenn ich jetzt woanders hingehen würde, würde es Jahre dauern, von der Kreisliga wieder in die Champions League zu kommen. Es dauert Jahre, bis die Infrastruktur aufgebaut ist und die Forscher lernen, sauber zu denken. Das alles habe ich hier in Linz – bis auf die Förderungen und die Unterstützung von außen. Es könnte noch passieren, dass ich Österreich verlasse, aber in meinem Alter will ich mir das ehrlich gesagt nicht mehr antun. Aber es gibt einige Leute in meinem Umfeld, die gesagt haben, sie würden mit mir kommen, wenn es sein muss. Die Diskussion ist also noch nicht ganz abgeschlossen.

Sie bleiben uns also vorerst erhalten?

Hochreiter: Ja, ich bleibe. Es sei denn, die Herren Politiker übertreiben so sehr, dass ich vor lauter Wut, Verzweiflung und Enttäuschung meine Meinung ändere. Aber ich habe in Österreich viel aufgebaut und es wäre schön, auch einmal die Früchte dafür zu ernten.

Sie sitzen in Linz im österreichischen Industriecluster und tüfteln dort mit verschiedenen Unternehmen an KILösungen. An welchen Anwendungen arbeiten Sie?

Hochreiter: Wir kooperieren mit vielen internationalen Unternehmen, aber es freut mich, dass wir immer mehr Anfragen aus der österreichischen Industrie bekommen. Das sind einerseits Logistikunternehmen, wo man mithilfe von KI Prozesse optimieren will. Stark vertreten ist natürlich die Automobilindustrie, wo man interessanterweise vom autonomen Fahren etwas abgekommen ist. Wir arbeiten zum Beispiel an einem Projekt, wo der Innenraumkomfort eines Autos mittels KI optimiert wird. Sehr erfolgreich sind wir im Bereich Earth Science, wo es auch sehr stark um das Thema Klimawandel geht. Klima-, Wetter- oder Mobilitätsmodelle funktionieren mit KI jetzt viel besser. Und ein ganz großer Bereich ist die Medikamentenentwicklung, wo durch KI ganz neue Möglichkeiten entstehen.

Mit welchen Vorstellungen und Wünschen kommen die Unternehmen zu Ihnen?

Hochreiter: Ich muss sagen, dass wir etwa 90 Prozent der Anfragen ablehnen müssen, weil wir einfach nicht die Kapazitäten haben. Ich fordere schon lange ein eigenes Institut, das als Schnittstelle zwischen Forschung und Industrie fun­giert. Gerade weil uns diese Schnittstelle fehlt, glaube ich, dass Österreich bei der industriellen Anwendung von KI weit zurückfallen wird. Es gibt keine Infrastruktur wie etwa in Deutschland, der Schweiz, Frankreich und anderen Ländern. Dort werden solche Institute mit hunderten Millionen Euro gefördert. Dort funktioniert es sehr gut, dass Forscher neue Entwicklungen sehr schnell in die Industrie bringen. Man muss der Industrie frühzeitig kommunizieren, was an Technologie auf sie zukommt. Die Entwicklung von ChatGPT haben wir ja vorhergesehen. Wenn dieser Informationsfluss besser organisiert wäre, würden die Industrie solche Entwicklungen nicht mehr überraschen. Ganz entscheidend ist auch, dass sich die Unternehmen untereinander austauschen und die Dinge, die aus der Forschung kommen, gemeinsam hochskalieren. Das fehlt in Österreich. Mir fällt auch auf, dass die Industrieunternehmen mit sehr veralteten Vorstellungen an das Thema herangehen. Das liegt daran, dass man gar nicht weiß, was mit KI alles möglich ist. Deshalb fordere ich seit sechs Jahren, dass hier eine solche Schnittstelle zwischen Forschung und Industrie geschaffen wird. Bisher leider ohne Erfolg.

Wie groß schätzen Sie das revolutionäre Potenzial von KI in der Industrie ein und was kommt in den nächsten Jahren noch auf uns zu?

Hochreiter: Mit ChatGPT und der GPTFamilie wurde zum ersten Mal einer breiteren Öffentlichkeit bewusst, was alles möglich ist. Aber das ist eigentlich nur die Spitze des Eisbergs. Hinter den Kulissen passiert noch viel mehr. KI hat ein riesiges Potenzial im Bereich der Simulationen, und das wird vor allem die Industrie stark verändern. Es wird ganz viele Bereiche geben, wo KI im Hintergrund läuft, um Maschinen zu steuern, um mit Kunden in Kontakt zu bleiben, um zu sehen, ob der Prozess sauber läuft, um neue Märkte zu erschließen. Da kommt noch sehr viel auf uns zu. Das hat natürlich auch große gesellschaftliche Auswirkungen, die Produktivität eines Arbeiters wird sich langfristig um das Zwei- bis Dreifache erhöhen. Das wird vielleicht nicht schlagartig passieren, aber für mich ist klar, dass sich die Industrie dieser Entwicklung nicht entziehen kann.

Der österreichischen Industrie wird eine gewisse Skepsis gegenüber der Digitalisierung nachgesagt. Wie ist die Stimmung gegenüber dem Einsatz von KI-Systemen?

Hochreiter: Interessant ist, dass ich zum Beispiel beim Thema Datenaustausch, der ja für KI-Anwendungen essenziell ist, bisher bei chinesischen oder amerikanischen Projekten größere Probleme hatte als in Europa. Ich sehe keine Skepsis, im Gegenteil. Aber grundsätzlich muss man sich in der Industrie die Frage stellen, ob eine Implementierung überhaupt zielführend ist. Die Deep-Learning-Modelle nähern sich immer mehr dem Status, dass man mathematisch alles im Griff hat, und damit wächst auch das Vertrauen. Man muss aber abwägen, ob man durch die Implementierung überhaupt einen Mehrwert hat oder ob man sich nicht nur zusätzliche Kosten aufhalst und unnötig Zeit in Anspruch nimmt. Es gibt aber auch viele Industrieunternehmen, die sich noch gar nicht mit der Digitalisierung auseinandergesetzt haben. Das ist ein großer Nachteil, schließlich lassen sich damit nicht nur die eigenen Prozesse optimieren, sondern auch ganz neue Geschäftsmodelle entwickeln. In Österreich gibt es ja sehr viele Maschinenbauer, denen ich immer dazu rate, ihre Produkte mit Sensorik auszurüsten. Erst dadurch wird es möglich, datenbasierte Strategien zu entwickeln und Entscheidungen zu treffen

Mit Ihrer Forschungsarbeit zu Long short-term Memory sind Sie der Wegbereiter für vieles, was wir heute in der Praxis sehen. Wenn Sie so zurückblicken, wie sah die Forschungsszene im Bereich KI damals aus und hat man damals schon dieses enorme Potenzial gesehen?

Hochreiter: Nein, das war damals ganz anders. Das Forschungsfeld war sehr klein und wurde kaum beachtet. Deep Learning, also das, was wir heute als KI bezeichnen, war ein Seitenthema, das in Österreich und Deutschland kaum erforscht wurde – man hat sich eher mit Logiksystemen beschäftigt. Damals gab es die ersten Konferenzen in den USA, wo über neuronale Netze diskutiert wurde, und da haben die Europäer nicht viel davon gehalten und den Forschungszweig auch ein bisschen belächelt. Ein gutes Beispiel ist der Wissenschaftler Yann LeCun, der mit seinen Convolutional Networks Pionierarbeit im Bereich der Bildverarbeitung geleistet hat. Er wurde von der etablierten Forschung belächelt, erhielt aber später für seine Arbeit den Turing Award, also den Nobelpreis für Informatik. Auch mein Paper über LSTM wurde zunächst von einer Fachkonferenz abgelehnt.

Was hat dieser Technologie letztlich zum Durchbruch verholfen?

Hochreiter: Ich sehe drei Faktoren: Zum einen haben wir heute die Daten, die für solche Systeme notwendig sind. Zweitens spielt die Rechenleistung natürlich auch eine ganz wichtige Rolle. Und drittens die immer größeren neuronalen Netze, die auch immer mehr Repräsentationsebenen haben. All das zusammen hat dazu geführt, dass KI heute so gut funktioniert. Entscheidend ist auch, dass die Technologie sehr gut skalierbar ist. Das macht sie auch für IT-Giganten wie Google, Meta oder Amazon so interessant, denn die haben die Infrastruktur.

Der Begriff künstliche Intelligenz wird heute sehr willkürlich verwendet. Sie sprechen der KI, die wir heute sehen, Intelligenz ab. Warum?

Hochreiter: Für mich ist künstliche Intelligenz eine Maschine oder eine Software, die kognitive Fähigkeiten hat, wie der Mensch sie hat. Bei uns ist das vor allem das Lernen, aber es kann auch das Planen sein, das Problemlösen, das Erlernen neuer Fähigkeiten und vielleicht auch das Handeln in der Umwelt. Aber man definiert KI immer mit kognitiven Fähigkeiten, wie sie der Mensch hat, wie man Menschen definiert. Und wenn ich mir zum Beispiel ChatGPT anschaue, dann fehlt da noch einiges auf dem Weg zur Intelligenz. Es fehlt eine vernünftige Wissensrepräsentation. Das System kann nicht auf neue Informationen zugreifen. Es fehlt das logische Denken. Es fehlen viele Dinge, die man einer Intelligenz, also einer allgemeinen Intelligenz, zuschreiben würde.

Ihre Definition erinnert an den Turing-Test, bei dem anhand einer fünfminütigen Konversation festgestellt werden soll, ob ein Computer wie ein Mensch denken kann oder nicht. Wäre eine KI heute in der Lage, diesen Test zu bestehen?

Hochreiter: Der Turing-Test ist sehr vage. Wenn der Turing-Test von Kindern durchgeführt wird, ist das etwas anderes, als wenn er von Wissenschaftlern durchgeführt wird, die natürlich genau wissen, worauf sie achten müssen. Insofern kann es schon sein, dass die KI in zehn von zwanzig Versuchen den Test besteht. Aber man sollte diese Tests auf keinen Fall überbewerten. Die Systeme haben aber schon sehr beeindruckende Fähigkeiten und sind in der Lage, Sachverhalte in einer Art und Weise wiederzugeben, die sehr menschlich wirkt.

Die Idealvorstellung von KI ist eine General Artificial Intelligence – also eine Superintelligenz. OpenAI will laut CEO Sam Altman einen hohen Milliardenbetrag investieren, um dieses System zu entwickeln. Welche Möglichkeiten ergeben sich daraus?

Hochreiter: Die erste Frage ist: Ist das überhaupt realistisch? Wenn man sich zum Beispiel so etwas wie GPT anschaut, das hat aus allen möglichen Sprachen und Textkörpern gelernt. Es hat extrem viele Daten gebraucht, um zu lernen. Der Mensch hingegen, den General Intelligence ja nachahmt, kann Dinge lernen, indem er sie aus wenigen Beispielen nachvollzieht. Eine Maschine dagegen braucht Tausende, Hunderttausende von Beispielen, bevor sie das Gleiche leisten kann. Maschinen sind derzeit überhaupt nicht in der Lage, sich an neue Situationen anzupassen. Für eine General Intelligence bräuchte die KI ein Gesamtwissen – physikalische Gesetze, wie sich Menschen untereinander verhalten, wie sich Tiere verhalten, wie sich Kinder verhalten – es gibt unendlich viele solcher Unterkategorien. Insofern glaube ich, dass wir von einer solchen Superintelligenz noch weit entfernt sind.

Jeffrey Hinton, der in den 70er-Jahren die ersten Sprachmodelle entwickelte, hat vor Kurzem seinen Job bei Google aufgegeben, um seine Zeit damit zu verbringen, vor den Gefahren der KI zu warnen. Er sagt, Lüge und Wahrheit seien nicht mehr zu unterscheiden. Hat er recht?

Hochreiter: Ja, aber ich weiß nicht, ob das jemals der Fall war. Wichtig ist, dass die Menschen eine gewisse Kompetenz im Umgang mit solchen Systemen entwickeln. Hier sehe ich eine wichtige Rolle der klassischen Medien, bei denen man weiß, dass Themen recherchiert werden. Mit ChatGPT ist es nun möglich, Texte automatisch zu erstellen, wobei die Wahrheit oft auf der Strecke bleibt. Deshalb muss hier ein Umdenken stattfinden und die Menschen müssen lernen, mit KI umzugehen. Genauso wie die Menschheit lernen musste, dass Filme nicht die Realität sind, müssen wir uns jetzt auf die neuen Gegebenheiten einstellen. Aber ja, ich sehe auch die Gefahr.

Derzeit wird auf EU-Ebene der sogenannte AI-Act verhandelt, der den Einsatz von KI-Systemen anhand von Risikoschwellen regeln soll. Für wie sinnvoll halten Sie ein solches Gesetz und sehen Sie darin nicht einen erheblichen Wettbewerbsnachteil gegenüber dem Rest der Welt?

Hochreiter: Das ist ein schwieriges Thema, mit dem ich mich seit zwei Jahren intensiv beschäftige. Es ist letztlich eine Frage der Interpretation. Ich sehe nicht ein, dass man zwischen herkömmlicher Software und KI unterscheidet. Wenn man sagt, dass eine Berechnung durch eine KI anders einzustufen ist, dann kann man in der EU auch gleich mathematische Formeln per se verbieten. Die Debatte erinnert mich stark an die Datenschutzgrundverordnung, die viele Projekte zum Scheitern gebracht hat, weil die Nutzung von personenbezogenen Daten stark eingeschränkt wurde. Und das hat auch viele Projekte verhindert, weil man dem Thema Datenschutz lieber aus dem Weg gegangen ist. Diese Rechtsunsicherheit war am Ende schlimmer als das Gesetz, deswegen muss man hier wirklich aufpassen, dass man sich in Europa nicht zu sehr einschränkt. Letztendlich wird sich aber in der Praxis zeigen, wie streng diese Richtlinien vollzogen werden.

Sehen Sie keinen Bedarf für internationale Standards zur Regulierung von KI? Im Bereich der Cybersicherheit birgt KI doch enorme Risiken …

Hochreiter: Ja, aber ich sehe keinen Grund, KI hier gesondert zu regeln. Aus rechtlicher Sicht ist es doch egal, ob ein Cyberangriff mit oder ohne KI stattfindet. Man muss hier mehr auf die Menschen schauen als auf die Methoden. Deshalb finde ich auch den Vorschlag einer österreichischen KI-Behörde so merkwürdig. Warum gibt es kein Geld für die Grundlagenforschung, und auf der anderen Seite gibt es offensichtlich genug Geld für eine eigene österreichische KI-Behörde, die etwas regulieren soll, was es noch gar nicht gibt?