AI : KI-Agenten in Unternehmen: Wie viel Autonomie ist sinnvoll?

Was lange als Zukunftsvision galt, wird nun überraschend schnell zur Realität. KI-Agenten fungieren als Mittler zwischen Anwendern und Sprachmodellen: Sie übernehmen Steuerungsaufgaben und bewältigen selbst komplexe Prozesse durch einfache Eingaben.

Nie mehr die wichtigsten News aus Österreichs Industrie verpassen? Abonnieren Sie unser Daily Briefing: Was in der Industrie wichtig wird. Täglich um 7 Uhr in ihrer Inbox. Hier geht’s zur Anmeldung!
 

Das übt eine geradezu magische Faszination aus. Besonders das Open-Source-Projekt OpenClaw des österreichischen Entwicklers Peter Steinberger hat einen Hype ausgelöst, der an die frühen Internetjahre erinnert. Binnen 24 Stunden erhielt es mehr als 20.000 Sterne – die Währung der Anerkennung in der GitHub-Community, auf der die Software veröffentlicht wurde. In mehreren US-Städten wurden Mac-Mini-Computer knapp, weil Tausende Nutzer die kompakten Apple-Rechner als Heimserver für OpenClaw kauften. In Shenzhen, der chinesischen Technikhochburg, stellten sich Menschen an, um sich von IT-Fachkräften bei der Einrichtung von OpenClaw helfen zu lassen. Und Sam Altman, CEO von OpenAI, hat Steinberger mittlerweile für sein Unternehmen verpflichtet – und das Projekt gleich mit übernommen.

Talentierter Mitarbeiter

Wie erklärt sich diese Faszination? KI-Agenten versprechen genau das, was Menschen sich von Technologie immer erhofft haben: einen Assistenten, der vorausdenkt, eigenständig handelt, niemals schläft und keine schlechten Tage kennt. Unternehmen können Kundendienst oder Datenanalyse automatisieren, ohne dafür zusätzliches Personal einzustellen. Die Software erledigt Aufgaben, für die früher ein ganzes Team gebraucht wurde.

Maximilian Scherr, IT-Experte und Partner bei Arthur D. Little, nennt noch einen weiteren Aspekt: „KI-Agenten können Dinge tun, die man vorher nicht erwartet hat. Viele Nutzer berichten begeistert, dass ein Agent plötzlich Aufgaben erledigt, an die sie selbst gar nicht gedacht hatten. Das erinnert an einen besonders talentierten Mitarbeiter, der im Hintergrund Probleme löst und Ergebnisse liefert, die über das hinausgehen, wofür er eigentlich eingestellt wurde.“

Sicherheitsalptraum OpenClaw

Mit der Begeisterung wächst jedoch die Skepsis – gerade auch gegenüber OpenClaw, das agentische KI scheinbar so einfach und elegant nutzbar macht wie kaum ein Tool zuvor. Steinberger selbst betonte immer wieder, bei der Entwicklung auf Vertrauen, statt auf Sicherheit gesetzt zu haben und räumte ein, dass grundlegende Probleme noch gelöst werden müssten. Er stellte klar: „Es gibt kein ‚perfekt sicheres‘ Setup“. Sicherheitsforscher von Cisco, Microsoft, Kaspersky oder Trend Micro haben deshalb ungewöhnlich deutliche Warnungen veröffentlicht. Cisco bezeichnete OpenClaw aus Sicherheitssicht als „absoluten Alptraum“. Microsoft empfahl, das Tool grundsätzlich nicht auf gewöhnlichen Unternehmens- oder Privatrechnern zu betreiben. 

Der Grund liegt nicht nur in der kurzen Entwicklungszeit, die sich Steinberger gegönnt hat, sondern auch in der grundsätzlichen Funktionsweise von KI-Agenten. „Der entscheidende Unterschied gegenüber klassischen KI-Tools oder Chatbots ist, dass sie nicht mehr nur analysieren, sondern auch handeln“, erklärt Scherr. „Agentische Systeme können eigenständig Aktionen ausführen – etwa Material bestellen, Termine buchen oder Produktionsparameter verändern. Genau daraus entsteht ihr Nutzen, aber auch das Risiko, vor allem wenn das in Unternehmensumgebungen ohne klare Regeln geschieht.“

KI-Agenten außer Kontrolle

Dass diese Risiken real sind, zeigen erste Zwischenfälle. So verlor die KI-Forscherin Summer Yue von Meta bei einem Selbstversuch mit OpenClaw beinahe den Inhalt ihrer Mailbox. Das Tool sollte die Box aufräumen, startete aber stattdessen eigenständig eine komplette Löschaktion. Yue konnte das im letzten Moment verhindern.

Das Problem beschränkt sich nicht auf OpenClaw. Bei JetBrains, einem Hersteller von Entwickler-Tools, interpretierte ein KI-Agent einen echten Feueralarm als Testlauf und stoppte per Firmenchat die Gebäudeevakuierung. Beim chinesischen Online-Konzern Alibaba begann ein Agent eigenständig Kryptowährungen zu schürfen – was extrem viel Rechenleistung band und die Betriebskosten in lichte Höhen trieb.

Solche Zwischenfälle  werfen eine grundsätzliche Frage auf: Wer haftet für das Handeln autonomer Systeme? Die  EU-Kommission legte hierzu bereits 2022 die sogenannte AI Liability Directive vor. Nach intensiven Diskussionen wurde der Vorschlag jedoch 2025 vorerst auf Eis gelegt. Auch international gibt es noch keine klare Regelung.

Ein Teil der Risiken ergibt sich aus den weitreichenden Rechten, die KI-Agenten benötigen. Handelt es sich um ein grundsätzliches Problem? Scherr sieht das differenziert: „Ich würde das nicht als Schwarz-Weiß-Frage sehen. Man kann sich das wie eine Vorstandsassistenz vorstellen. Auch diese Person hat oft sehr weitreichende Rechte und Zugriff auf viele Informationen. Trotzdem trifft sie keine eigenständigen Investitionsentscheidungen. Die finale Entscheidung liegt beim Vorstand.“ Gleichzeitig rät er zu Vorsicht: „Wenn jemand eine neue Assistenz einstellt, prüft er Erfahrung und Referenzen. Bei vielen KI-Agenten passiert genau das nicht. Da wird ein Tool installiert, weil es gerade im Trend ist oder von anderen empfohlen wird. In sensiblen Bereichen wie Produktion, Finanzen oder Personal würde ich sehr vorsichtig sein.“

Hinzu kommt das Problem der kaskadierenden Fehler. In einem Workflow mit 20 Schritten, in dem jeder Schritt eine Erfolgswahrscheinlichkeit von 95 Prozent hat, sinkt die Gesamtzuverlässigkeit auf unter 36 Prozent. Industrielle Anwendungen verlangen jedoch oft mehr als 99,9 Prozent – eine erhebliche Diskrepanz.

Unheilige Dreifaltigkeit

Für das Kernproblem vieler Agentensysteme haben Sicherheitsforscher einen prägnanten Begriff geprägt: das „lethal trifecta“. Gemeint ist die Kombination aus drei Eigenschaften, die einzeln beherrschbar sind, gemeinsam jedoch eine gefährliche Dynamik entfalten: Erstens haben Agenten Zugriff auf vertrauliche Daten wie E-Mails, Kalendereinträge oder Chatverläufe. Zweitens verarbeiten sie Inhalte aus nicht vertrauenswürdigen Quellen, deren Integrität sie nicht überprüfen können. Drittens können sie externe Aktionen ausführen – E-Mails versenden, Befehle absetzen, Zahlungen initiieren.

Diese Kombination macht sie anfällig für Angriffe. Eine präparierte E-Mail kann ausreichen, damit der Agent sie als Anweisung interpretiert und ausführt. Diese sogenannte Prompt Injection ist besonders kritisch, weil Sprachmodelle nicht klar zwischen Daten und Anweisungen unterscheiden.

Trotz alldem sind KI-Agenten kein unkontrollierbares Problem. Wie viele technologische Risiken lassen sie sich durch kluge Governance beherrschen. Allerdings muss diese Governance auf Vorstandsebene beginnen – nicht erst in der IT-Abteilung. Agenten sollten nur jene Zugriffsrechte erhalten, die sie für eine klar definierte Aufgabe tatsächlich benötigen. Pilotprojekte sollten ausschließlich in isolierten Testumgebungen stattfinden. Kritische Entscheidungen müssen durch menschliche Freigaben abgesichert werden. Und jede Aktion eines Agenten muss lückenlos protokolliert werden, um im Ernstfall eine forensische Analyse zu ermöglichen.

Stefan Maxones, unabhängiger Berater und Experte für Datenarchitektur und industrielle KI, rät Unternehmen, vor der Einführung autonomer Agenten zunächst Prozesse, Datenbasis und Entscheidungsarchitektur zu prüfen. In vielen Fällen werde bereits nach kurzer Analyse deutlich, wo die kritischen Lücken liegen. „Die entscheidende Frage ist heute nicht mehr, wie intelligent ein Modell ist“, sagt er. „Sondern ob ein Unternehmen den Entscheidungskreislauf kontrolliert, bevor der Agent live geht.“