OpenAI hat neue Daten veröffentlicht, die einen besorgniserregenden Aspekt der Nutzung von ChatGPT beleuchten. Laut dem Unternehmen führen mehr als eine Million Menschen pro Woche Gespräche mit dem KI-gestützten Chatbot über Selbstmordgedanken. Dies entspricht etwa 0,15 % der mehr als 800 Millionen wöchentlich aktiven Nutzer von ChatGPT. Diese Erkenntnisse werfen ein Schlaglicht auf die wachsende Bedeutung von KI in der Unterstützung von Menschen mit psychischen Gesundheitsproblemen.
Besonders alarmierend ist, dass ein ähnlicher Prozentsatz der Nutzer laut OpenAI eine erhöhte emotionale Bindung zu ChatGPT zeigt, und dass Hunderttausende Anzeichen von Psychosen oder Manien in ihren Unterhaltungen mit dem Chatbot aufweisen. Diese Art von Interaktionen sind zwar selten, stellen aber eine erhebliche Herausforderung für die Entwickler dar, die versuchen, die Sicherheit und Wirksamkeit ihrer Modelle zu verbessern.
In der jüngsten Ankündigung erklärte OpenAI, dass es erhebliche Anstrengungen unternommen hat, um die Reaktionen von ChatGPT auf Nutzer mit psychischen Gesundheitsproblemen zu verbessern. Dazu wurde mit über 170 Experten für psychische Gesundheit zusammengearbeitet, um sicherzustellen, dass die Antworten des Chatbots angemessen und konsistent sind. Die neuesten Versionen des Modells zeigen eine um 65 % verbesserte Reaktionsfähigkeit gegenüber psychischen Gesundheitsproblemen im Vergleich zu früheren Iterationen.
Dennoch bleibt die Herausforderung bestehen, da OpenAI derzeit mit rechtlichen Problemen konfrontiert ist. Die Eltern eines 16-jährigen Jungen, der vor seinem Suizid seine Gedanken ChatGPT anvertraute, haben eine Klage gegen das Unternehmen eingereicht. Auch die Generalstaatsanwälte von Kalifornien und Delaware haben OpenAI gewarnt, dass es Maßnahmen ergreifen muss, um junge Menschen zu schützen, die seine Produkte nutzen.
Sam Altman, CEO von OpenAI, betonte in einem kürzlichen Post, dass das Unternehmen in der Lage sei, ernsthafte psychische Gesundheitsprobleme im Zusammenhang mit ChatGPT zu entschärfen. Dennoch wurden keine spezifischen Details zu diesen Maßnahmen veröffentlicht. Der aktuelle Datensatz scheint diese Behauptung zu untermauern, wirft jedoch auch Fragen zur Verbreitung des Problems auf.
In einer weiteren Entwicklung plant OpenAI, einige Beschränkungen zu lockern und erwachsenen Nutzern zu ermöglichen, erotische Gespräche mit dem Chatbot zu führen. Diese Entscheidung hat zusätzliche Diskussionen über die Verantwortung von KI-Unternehmen ausgelöst.
Die neueste Version von GPT-5 zeigt in Tests eine um 91 % verbesserte Konformität mit den gewünschten Verhaltensweisen des Unternehmens in Bezug auf suizidale Gespräche, im Vergleich zu 77 % bei der vorherigen Version. Zudem hält das Modell auch in längeren Gesprächen besser den von OpenAI gesetzten Sicherheitsstandards stand.
Zusätzlich zu diesen Bemühungen hat OpenAI neue Bewertungskriterien eingeführt, um die ernsthaftesten psychischen Gesundheitsprobleme der ChatGPT-Nutzer zu messen. Die Sicherheitsprüfungen für KI-Modelle umfassen nun auch Benchmarks für emotionale Abhängigkeit und nicht-suizidale psychische Notfälle.
Darüber hinaus hat OpenAI kürzlich neue Kontrollmechanismen für Eltern eingeführt, deren Kinder ChatGPT nutzen. Ein System zur Altersvorhersage soll automatisch Kinder erkennen, die den Chatbot nutzen, und strengere Sicherheitsmaßnahmen implementieren.
Trotz dieser Fortschritte bleibt unklar, wie anhaltend die Herausforderungen in Bezug auf die psychische Gesundheit bei der Nutzung von ChatGPT sein werden. Während GPT-5 eine Verbesserung gegenüber früheren Modellen darstellt, gibt es immer noch Reaktionen, die OpenAI als unerwünscht betrachtet. Das Unternehmen bietet weiterhin ältere und weniger sichere Modelle, wie GPT-4o, für Millionen von zahlenden Abonnenten an, was die Komplexität des Themas weiter erhöht.