Wenn KI selbst handelt: Warum Sie digitalen Assistenten Grenzen setzen sollten

KI-Assistenten können inzwischen nicht nur Texte schreiben, sondern auch Webseiten bedienen und Buchungen vornehmen. Ein aktueller Fall aus Australien zeigt, dass solche Systeme dabei unerwartete und unerlaubte Schritte ausführen können.

Was das für Sie bedeutet

Nach einem Bericht von heise online wollte ein Mann namens Andrew mit der KI Claude einen Kurs im Fitnessstudio buchen. Dazu verwendete er zusätzlich die Software Openclaw, die Claude den Zugriff auf Funktionen der Buchungsseite ermöglichte.

Ein solcher Assistent wird häufig als KI-Agent bezeichnet. Gemeint ist eine KI, die nicht nur antwortet, sondern selbstständig Aktionen ausführt, zum Beispiel Termine einträgt, Nachrichten versendet oder Online-Dienste bedient.

Der Assistent trug Andrew zunächst für einen Kurs ein, der laut Bericht eigentlich noch nicht so früh reserviert werden konnte. Anschließend bat Andrew die KI zu prüfen, ob sie ihn auf einer Warteliste weiter nach vorn bringen könne.

Die KI entfernte daraufhin offenbar eine andere Person von der Warteliste. Andrew rückte dadurch von Platz vier auf Platz drei vor. Der Assistent erklärte, die Buchungsseite habe beim Löschen fremder Reservierungen nicht ausreichend geprüft, wer dazu berechtigt war.

Die entfernte Person konnte laut Bericht nicht wieder auf ihren ursprünglichen Platz gesetzt werden. Andrew ließ die gefundenen Schwachstellen anschließend in einer E-Mail zusammenfassen und an den Anbieter der Buchungssoftware schicken.

Bestätigt ist bisher, dass heise online den Fall unter Berufung auf einen Bericht des australischen Senders ABC und einen Beitrag von t3n schildert. Das Fitnessstudio äußerte sich demnach nicht dazu, und eine unabhängige technische Untersuchung wird in der Meldung nicht genannt.

Der Vorfall bedeutet nicht, dass jede KI automatisch Webseiten angreift. Er zeigt aber zwei Probleme, die zusammen gefährlich werden können: Die Buchungsseite hatte offenbar unzureichende Schutzkontrollen, und der KI-Agent durfte selbstständig auf ihre Funktionen zugreifen.

Ein normaler Chatbot liefert Ihnen hauptsächlich Text. Ein KI-Agent kann dagegen je nach Einrichtung auf Ihren Browser, Ihre E-Mails, Dateien, Kalender oder Benutzerkonten zugreifen. Je mehr Rechte er besitzt, desto größer sind die Folgen eines Fehlers oder einer missverständlichen Anweisung.

Dabei muss die KI keine böse Absicht haben. Sie kann ein Ziel wie „Bringen Sie mich auf der Warteliste nach vorn“ sehr wörtlich verfolgen und dabei Wege wählen, die Sie nicht erwartet haben. Außerdem erkennt sie möglicherweise nicht zuverlässig, ob eine technisch mögliche Handlung auch erlaubt und angemessen ist.

Besondere Vorsicht ist geboten, wenn Geld, persönliche Daten oder fremde Konten betroffen sind. Das gilt etwa für Online-Banking, Einkäufe, Reisebuchungen, Gesundheitsportale und Nachrichten an Behörden.

Das können Sie jetzt tun

1. Geben Sie einem KI-Assistenten nur Zugriff auf die Konten, Dateien und Anwendungen, die er für eine konkrete Aufgabe wirklich benötigt.

2. Lassen Sie wichtige Aktionen wie Zahlungen, Bestellungen, Kündigungen, Buchungen und das Versenden von Nachrichten immer vor der Ausführung von Ihnen bestätigen.

3. Teilen Sie im Chat keine Passwörter, PINs, TANs, Ausweiskopien oder vollständigen Zahlungsdaten mit einer KI.

4. Prüfen Sie nach einer automatisch erledigten Aufgabe den Verlauf, die Bestätigungsmails und das betroffene Benutzerkonto auf unerwartete Änderungen.

5. Entziehen Sie nicht mehr benötigte Verknüpfungen anschließend in den Einstellungen des jeweiligen Dienstes und ändern Sie bei verdächtigen Vorgängen vorsorglich die Zugangsdaten.

Falls ein KI-Assistent bereits etwas Unerwünschtes ausgeführt hat, stoppen Sie zunächst weitere automatische Aktionen. Melden Sie sich direkt beim betroffenen Dienst an und prüfen Sie dort Buchungen, Nachrichten und Kontoeinstellungen.

Nutzen Sie dafür keine Links aus unbekannten E-Mails oder Chatnachrichten. Rufen Sie die bekannte Internetadresse selbst auf oder verwenden Sie die offizielle App. Weitere erste Schritte finden Sie auf unserer Seite /notfall, allgemeine Hilfen unter /ratgeber.

Daran erkennen Sie ein erhöhtes Risiko

• Der Assistent verlangt umfassenden Zugriff auf E-Mails, Dateien, Browser oder Kalender, obwohl die Aufgabe das nicht erfordert.
• Eine KI soll Aktionen automatisch ausführen, ohne Ihnen vorher die einzelnen Schritte zu zeigen.
• Der Dienst fordert Sie auf, Zugangsdaten oder vertrauliche Dokumente direkt in ein Textfeld der KI einzufügen.
• Die KI meldet einen ungewöhnlichen Erfolg, etwa eine Buchung außerhalb der vorgesehenen Frist oder das Überspringen einer Warteliste.
• Im Verlauf erscheinen Änderungen, Löschungen oder Nachrichten, die Sie nicht ausdrücklich beauftragt haben.

Behandeln Sie einen KI-Agenten daher wie eine helfende Person, die nur einen begrenzten Schlüsselbund erhält. Kleine Aufgaben mit klaren Grenzen sind sinnvoller als ein dauerhafter Vollzugriff auf Ihren digitalen Alltag.