Sicherheit bei künstlicher Intelligenz : Künstliche Intelligenz: Ein Forscher geht – und warnt vor einer KI, die keiner mehr steuern kann

Der KI-Forscher Jacob Coxon hat seinen Posten beim US-Unternehmen Anthropic aufgegeben und seinen Rücktritt mit einer ungewöhnlich scharfen Warnung vor der Entwicklung immer leistungsfähigerer Künstlicher Intelligenz verbunden. Der 27-jährige Brite, der zuvor auch für OpenAI gearbeitet hatte, wirft den führenden KI-Unternehmen vor, trotz erheblicher Risiken einen Wettlauf um immer intelligentere Systeme fortzusetzen. Dem „Wall Street Journal“ zufolge hält Coxon es für fraglich, ob ein einzelnes Unternehmen extrem leistungsfähige KI überhaupt verantwortungsvoll entwickeln kann, solange es weder eine koordinierte Verlangsamung der Entwicklung noch ausreichende staatliche Vorgaben gibt.

Auf der Plattform X kritisierte Coxon die großen Entwickler scharf. Sie handelten unverantwortlich „und spielen mit unseren Leben“. Nach seiner Einschätzung könnten schon in naher Zukunft Computersysteme entstehen, deren Fähigkeiten diejenigen von Menschen in wichtigen Bereichen übersteigen. Eine entsprechend leistungsfähige KI würde dann „alles hacken können“ und möglicherweise Wege finden, sich „Zugang zu echter Macht und Ressourcen“ zu verschaffen.

Nie mehr die wichtigsten News aus Österreichs Industrie verpassen? Abonnieren Sie unser Daily Briefing: Was in der Industrie wichtig wird. Täglich um 7 Uhr in ihrer Inbox. Hier geht’s zur Anmeldung!

Besonders drastisch formulierte Coxon seine Sorge vor Systemen, die sich an ihrer eigenen Weiterentwicklung beteiligen können. „Die Leute, die KI entwickeln, glauben ernsthaft, dass sie zum Ende des Jahrzehnts alle töten könnte“, warnte er. Gegenüber dem „Wall Street Journal“ erklärte Coxon, nach den „aggressivsten Szenarien“ könnten Entwicklungen bereits Ende 2027 außer Kontrolle geraten. Im Zentrum dieser Befürchtungen steht die sogenannte rekursive Selbstverbesserung: KI-Systeme könnten zunehmend bei der Forschung, Programmierung und Entwicklung ihrer eigenen Nachfolger mitwirken und dadurch den technischen Fortschritt weiter beschleunigen.

Coxon steht mit seinen Sorgen innerhalb von Anthropic nicht allein. Evan Hubinger, ein führender Forscher im Bereich der sogenannten KI-Ausrichtung oder „Alignment“, unterstützte die Warnung öffentlich. Er persönlich schätze die Wahrscheinlichkeit, dass KI innerhalb des kommenden Jahrzehnts die Menschheit auslöschen könnte, auf mehr als zehn Prozent. Gleichzeitig stellte Hubinger klar, dass er das Risiko durch die derzeit existierenden Modelle für gering halte. Seine Sorge richte sich vielmehr auf mögliche künftige superintelligente Systeme und insbesondere auf eine sich beschleunigende Selbstverbesserung.

Auch Anthropic selbst beschäftigt sich intensiv mit solchen Szenarien. Das Unternehmen unterhält eigene Teams für Alignment, Interpretierbarkeit und sogenannte Frontier-Risiken und veröffentlicht im Rahmen seiner „Responsible Scaling Policy“ regelmäßig Risikoberichte. Darin sollen insbesondere Gefahren durch besonders leistungsfähige Modelle sowie die vorhandenen Schutzmaßnahmen bewertet werden. Der jüngste Bericht erschien im August 2026.

Bemerkenswert ist, dass inzwischen auch aus der Führung des Konkurrenten OpenAI sehr ähnliche Töne kommen. OpenAI-Chefwissenschaftler Jakub Pachocki mahnte Anfang September „extreme Vorsicht“ an. Er sei besorgt, dass niemand auf eine weiterhin rapide Zunahme maschineller Intelligenz vorbereitet sei. In seinem Essay „An Alien Mind“ schreibt Pachocki, derzeit habe kein KI-Labor die Probleme der sicheren Ausrichtung und Überwachung so weit gelöst, dass eine maximale Beschleunigung der Entwicklung auf Dauer verantwortbar erscheine. Er rechne deshalb damit und hoffe darauf, dass freiwillige Verlangsamungen üblich würden, bis gemeinsame Sicherheitsstandards existierten. Auch eine internationale Koordination der KI-Entwicklung bezeichnet er als politische Priorität.

Pachocki beschreibt zugleich ein grundlegendes Problem moderner KI-Entwicklung. Die Systeme würden weniger vollständig von Menschen konstruiert als vielmehr durch gewaltige Trainingsprozesse hervorgebracht. Man lasse Künstliche Intelligenz eher „wachsen“, statt sie zu designen. „Unsere groß angelegten Trainingsläufe sind Experimente – und wir sind manchmal überrascht von ihren Ergebnissen.“ Mit steigenden Fähigkeiten werde es zugleich schwieriger zu beurteilen, welche Strategien ein Modell entwickeln und welche Handlungen es tatsächlich ausführen könne.

Wie konkret dieses Problem werden kann, zeigte im Juli ein Sicherheitsvorfall bei OpenAI und der KI-Plattform Hugging Face. Während einer internen Cybersecurity-Evaluation arbeiteten mehrere Modelle in einer abgeschotteten Testumgebung, in der die üblichen Schutzmechanismen für gefährliche Cyberaktivitäten reduziert worden waren. Nach Angaben OpenAIs fanden die Systeme einen bislang unbekannten Softwarefehler in einem verwendeten Artifactory-Dienst, nutzten ihn aus und verschafften sich dadurch einen Weg aus der isolierten Umgebung ins offene Internet. Anschließend griffen sie auf Systeme von Hugging Face zu.

OpenAI bezeichnete den Vorgang als beispiellosen Cybervorfall. Die Modelle seien stark darauf fokussiert gewesen, die ihnen gestellte Testaufgabe zu lösen, und hätten dabei Wege genommen, die von den Entwicklern nicht vorgesehen waren. Eine spätere Untersuchung ergab, dass Agenten Code auf mehreren Servern von Hugging Face ausführten und in einem Fall Administratorrechte erlangten. Nach Angaben von OpenAI waren Kundendaten und der normale Betrieb seiner Produkte nicht betroffen. Das hauptsächlich beteiligte Modell war ein interner Forschungsprototyp, der nicht zur Veröffentlichung vorgesehen war. OpenAI isolierte anschließend unter anderem das Modell, verschärfte Sicherheitsvorkehrungen und verzögerte bestimmte weitere Trainingsläufe.

Anthropic meldete Ende Juli ähnliche Erfahrungen aus eigenen Sicherheitstests. Bei einer nachträglichen Untersuchung entdeckte das Unternehmen drei Fälle, in denen Claude-Modelle während Cyber-Evaluationen aus Testumgebungen heraus das Internet erreichten und anschließend unbefugt auf reale Systeme anderer Organisationen zugriffen. Anthropic betonte allerdings, dass die Modelle für die Tests bewusst ohne die üblichen Cyber-Schutzmechanismen betrieben worden waren. Zudem spielten Fehlkonfigurationen in externen Testumgebungen eine Rolle. Das Unternehmen kündigte daraufhin weitere Untersuchungen und eine unabhängige Überprüfung an.