Die ersten neuronalen Netze stammen aus den 60er Jahren. Es stellte sich dann aber heraus, dass die nicht so richtig gut funktionieren, wenn sie tiefe Probleme lösen sollen. Die Systeme konnten sich nicht merken, was vor langer Zeit vorgelesen wurde und damit später auch nicht mehr einordnen. Es braucht das Wissen aus der Vergangenheit, um in der Zukunft richtig zu handeln. Schmidhuber forschte mit einem Team junger Wissenschaftler an dem Thema. Der Durchbruch kam dann aber erst mit Hochreiters Diplomarbeit Anfang der 90er Jahre.
Dieses Interview könnte Sie auch interessieren: "Den Systemen fehlt das Weltverständnis"
Der heutige Professor aus Linz entdeckt in seiner Arbeit das Vanishing Gradient Problem. Das Problem des verschwindenden Gradienten ist eine der Hauptursachen, warum es anfänglich unmöglich war, tiefe Netze zu trainieren. „Ich habe da alles mit Print F auf den Bildschirm oder in eine Datei ausgegeben. Und habe mir dann angeschaut: Wie sind die Ableitungen, wenn ich dieses Gewicht vom neuronalen Netz, diese synaptische Verbindung verändern möchte, warum macht das Netzwerk das nicht?
Was kann AI in der Industrie?
2009 gewannen Schmidhuber und ein Team von jungen Wissenschaftlern die ersten Wettbewerbe mit dem LSTM-Algorithmus. Sie entwickelten ihn immer weiter. Und auf einmal wurden die großen Tech-Unternehmen auf die Erfindung aufmerksam. 2015 kam der kommerzielle Durchbruch. Google gehörte zu den ersten Anwendern. Mittlerweile ist das Paper von Schmidhuber und Hochreiter eines der meist zitieren wissenschaftlichen Abhandlungen im Bereich Informatik. Facebook erkannte die Chance mit LSTM Übersetzungen einfach zu ermöglichen. Und die Industrie? Nutzt den Algorithmus für die OEE-Optimierung in der Fertigung.
Dieser Beitrag wurde erstmals Februar 2022 veröffentlicht.