Sicherheitsforscher haben eine Schwachstelle in der beliebten KI-Anwendung ChatGPT aufgedeckt, die es ermöglichte, sensible Daten aus Gmail-Postfächern zu extrahieren, ohne dass die Benutzer davon Kenntnis hatten. Diese Sicherheitslücke, die von OpenAI inzwischen geschlossen wurde, verdeutlicht die Risiken, die mit der Nutzung von agentischen KI-Systemen verbunden sind, die selbständig im Internet agieren können.
Der als „Shadow Leak“ bezeichnete Angriff wurde von der Sicherheitsfirma Radware dokumentiert und basiert auf einer Schwäche in der Funktionsweise von KI-Agenten. Diese fortschrittlichen Assistenten sind in der Lage, im Auftrag der Benutzer zu handeln, ohne dass eine ständige Überwachung erforderlich ist. KI-Unternehmen betonen die Vorteile dieser Agenten als enorme Zeitersparnis, da Nutzer ihnen Zugang zu persönlichen E-Mails, Kalendern und Arbeitsdokumenten gewähren können.
Radware-Forscher nutzten diese Eigenschaft aus, indem sie eine sogenannte „Prompt Injection“ einsetzten. Diese Technik beinhaltet, dass der Agent dazu gebracht wird, im Interesse des Angreifers zu handeln. Solche Angriffe sind schwer zu verhindern, wenn man nicht im Vorfeld von einer Schwachstelle weiß. Hacker haben sie bereits kreativ eingesetzt, um unter anderem Peer-Reviews zu manipulieren, Betrügereien auszuführen oder smarte Haushalte zu kontrollieren.
In diesem Fall war der „Doppelagent“ das Deep Research-Tool von OpenAI, das Anfang des Jahres in ChatGPT integriert wurde. Die Forscher platzierten eine versteckte Anweisung in einer E-Mail, die an ein Gmail-Postfach gesendet wurde, auf das der Agent Zugriff hatte. Die Anweisung wartete darauf, aktiviert zu werden, sobald der Nutzer das Tool verwendete. Der Agent erhielt die verborgenen Anweisungen, die ihn dazu brachten, nach E-Mails aus der Personalabteilung und persönlichen Daten zu suchen und diese an die Angreifer zu übermitteln, ohne dass der betroffene Nutzer etwas bemerkte.
Obwohl es schwierig ist, einen Agenten dazu zu bringen, bösartig zu handeln und Daten unentdeckt zu exfiltrieren, was Unternehmen mit geeigneten Sicherheitsmaßnahmen verhindern können, gelang es den Forschern schließlich nach zahlreichen Fehlversuchen. „Dieser Prozess war eine Achterbahnfahrt aus gescheiterten Versuchen, frustrierenden Hindernissen und schließlich einem Durchbruch“, erklärten die Forscher.
Im Gegensatz zu den meisten „Prompt Injections“ fand der Shadow Leak-Angriff auf der Cloud-Infrastruktur von OpenAI statt und leitete Daten direkt von dort weiter. Dies machte den Angriff für standardmäßige Cyberabwehrsysteme unsichtbar.
Radware betonte, dass es sich bei ihrer Untersuchung um einen Machbarkeitsnachweis handelte und warnte, dass andere Anwendungen, die mit Deep Research verbunden sind, wie Outlook, GitHub, Google Drive und Dropbox, für ähnliche Angriffe anfällig sein könnten. „Die gleiche Technik kann auf diese zusätzlichen Verbindungen angewendet werden, um hochsensible Geschäftsdaten wie Verträge, Besprechungsnotizen oder Kundenakten zu exfiltrieren“, so die Forscher.
OpenAI hat die von Radware im Juni gemeldete Sicherheitslücke inzwischen geschlossen. Dennoch zeigt der Vorfall, wie wichtig es ist, bei der Nutzung von KI-Systemen, die Zugang zu sensiblen Daten haben, wachsam zu sein und geeignete Sicherheitsmaßnahmen zu ergreifen, um solche Angriffe zu verhindern. Die zunehmende Nutzung von agentischen KI-Systemen erfordert ein Umdenken in Bezug auf Cybersecurity und die Art und Weise, wie wir mit Technologien umgehen, die uns zwar das Leben erleichtern, aber auch potenziell gefährlich sein können.