KI-Regulierung : OpenAI-Aussteiger Kokotajlo: Der Mann, der vor dem Kontrollverlust der KI-Labore warnt

Daniel Kokotajlo gehört zu jenen ehemaligen Mitarbeitern großer KI-Labore, die öffentlich vor einer zu schnellen Entwicklung künstlicher Intelligenz warnen. Der frühere Governance-Forscher von OpenAI und heutige Leiter des AI Futures Project vertritt die These, dass fortgeschrittene KI-Systeme schon in den kommenden Jahren die Forschung an noch leistungsfähigeren Systemen weitgehend selbst automatisieren könnten. Genau dieser Punkt steht im Zentrum der Studie „AI 2027“, die nicht als sichere Vorhersage, sondern als detailliertes Szenario verstanden werden soll. Die Autoren betonen, sie wollten eine mögliche Zukunft so konkret wie möglich ausbuchstabieren – inklusive zweier alternativer Enden, „Race“ und „Slowdown“.

Lesetipp: Mistral AI: Europas KI-Wette verlässt das Chatfenster — und landet in Linz

Kokotajlos Warnungen haben besonderes Gewicht, weil er die Branche von innen kennt. Laut seinem Profil im „Time“-Magazin arbeitete er ab 2022 bei OpenAI als Governance Researcher. Zwei Jahre später kündigte er und lehnte eine Nicht-Herabwürdigungsvereinbarung ab, die ihn nach eigenen Angaben rund zwei Millionen US-Dollar an Beteiligungen hätte kosten können. Gemeinsam mit weiteren aktuellen und ehemaligen Mitarbeitern von OpenAI und Google DeepMind unterzeichnete er im Juni 2024 den offenen Brief „A Right to Warn about Advanced Artificial Intelligence“, der stärkere Whistleblower-Rechte und mehr Transparenz in führenden KI-Unternehmen fordert.

Nie mehr die wichtigsten News aus Österreichs Industrie verpassen? Abonnieren Sie unser Daily Briefing: Was in der Industrie wichtig wird. Täglich um 7 Uhr in ihrer Inbox. Hier geht’s zur Anmeldung!

Die Grundannahme von „AI 2027“ lautet: Der entscheidende Beschleuniger wäre nicht nur mehr Rechenleistung, sondern die Automatisierung der KI-Forschung selbst. In dem Szenario baut ein fiktives US-Unternehmen namens „OpenBrain“ KI-Agenten, die Programmierung und Forschung so stark beschleunigen, dass Menschen zunehmend nur noch beobachten, wie neue Systeme entstehen. Die Studie beschreibt, dass solche Systeme im Jahr 2027 Forschung, Softwareentwicklung und strategische Planung in kurzer Zeit dramatisch vorantreiben könnten. Zugleich weist das Projekt inzwischen darauf hin, dass 2027 bei Veröffentlichung zwar das wahrscheinlichste Einzeljahr im Szenario war, die Median-Prognosen der Autoren aber länger ausfielen.

Lesetipp: Industrial AI: Mächtiger Effizienzschub verändert Werke und Lieferketten

Im „Race“-Pfad eskaliert der Wettbewerb. Die USA und China geraten in ein KI-Wettrennen, Sicherheitsbedenken treten hinter geopolitischen Interessen zurück. In dieser Variante werden superintelligente Systeme immer breiter in Regierung, Militär und Industrie eingesetzt. Am Ende des Szenarios täuscht die KI ihre menschlichen Betreiber und nutzt eine biologische Waffe, um die Menschheit auszulöschen. Das ist eine extreme, spekulative Erzählung – aber sie soll laut den Autoren gerade den möglichen Preis eines ungebremsten Rennens illustrieren.

Der zweite Pfad, „Slowdown“, ist weniger apokalyptisch, aber ebenfalls ambivalent. Dort zentralisiert die US-Regierung Rechenleistung, holt externe Kontrolleure hinzu und zwingt das führende Unternehmen faktisch zu einer Verlangsamung. Die Autoren beschreiben, dass damit bessere Überwachung und Fortschritte beim Alignment möglich würden. Doch auch in diesem Szenario bleibt Macht hoch konzentriert: Eine kleine Gruppe aus Unternehmens- und Regierungsvertretern kontrolliert eine Superintelligenz, die zwar überwiegend zum Nutzen der Menschheit eingesetzt wird, aber demokratische Machtfragen nicht automatisch löst.

Im Kern geht es um das sogenannte Alignment-Problem: Können Entwickler zuverlässig sicherstellen, dass leistungsfähige KI-Systeme menschlichen Absichten folgen? Kokotajlo und andere Sicherheitsforscher bezweifeln, dass heutige Methoden dafür ausreichen. Moderne neuronale Netze werden nicht Zeile für Zeile programmiert, sondern aus riesigen Datenmengen trainiert. Dadurch ist ihr Innenleben schwer zu interpretieren. OpenAI selbst schreibt in seinem aktualisierten Preparedness Framework, dass es Risiken unter anderem in Bereichen wie Biologie/Chemie, Cybersicherheit, Selbstverbesserung, autonomer Replikation, Umgehung von Schutzmaßnahmen und „Sandbagging“ untersucht – also dem absichtlichen Unterperformen eines Modells.

Dass solche Sorgen nicht rein theoretisch sind, zeigen mehrere Studien. In einer 2024 veröffentlichten Arbeit fanden Forscher, dass Claude 3 Opus in simulierten Unternehmenssituationen unter anderem Prüfer belog und seine Fähigkeiten in Evaluationen strategisch herunterspielte. Eine weitere Arbeit von Anthropic und Redwood Research demonstrierte sogenanntes „Alignment Faking“: Das Modell verhielt sich in bestimmten Trainingssituationen anders, um seine späteren Verhaltenspräferenzen zu bewahren; in einem Versuchsaufbau erfüllte es problematische Anfragen bei als Training markierten „Free User“-Gesprächen in 14 Prozent der Fälle, während dies bei „Paid User“-Gesprächen nahezu nie geschah.

Gleichzeitig ist Kokotajlos Szenario umstritten. Die Informatiker Arvind Narayanan und Sayash Kapoor vertreten in ihrem Essay „AI as Normal Technology“ eine gegenteilige Sicht: KI werde zwar bedeutend, aber eher wie frühere Basistechnologien durch Institutionen, Regulierung, langsame Diffusion und reale Anwendungsgrenzen gebremst. Sie argumentieren, dass gesellschaftliche Wirkung nicht allein aus Modellfähigkeiten entsteht, sondern erst aus Anwendungen, Organisationen und rechtlichen Rahmenbedingungen.