OpenAI, das Unternehmen hinter dem bekannten KI-Chatbot ChatGPT, steht vor ernsthaften Herausforderungen in Bezug auf die psychische Gesundheit seiner Nutzer. Kürzlich wurde bekannt, dass Andrea Vallone, eine der führenden Sicherheitsexpertinnen des Unternehmens, das Unternehmen gegen Ende des Jahres verlassen wird. Vallone spielte eine Schlüsselrolle bei der Entwicklung der Reaktionen von ChatGPT auf Nutzer, die mit psychischen Krisen konfrontiert sind.
Laut kürzlich veröffentlichten Daten von OpenAI zeigen rund drei Millionen Nutzer von ChatGPT Anzeichen schwerer psychischer Gesundheitsprobleme, darunter emotionale Abhängigkeit von der KI, Psychosen, Manien und Selbstverletzung. Mehr als eine Million Nutzer sprechen wöchentlich mit dem Chatbot über Suizidgedanken. Fälle von sogenannter „KI-Psychose“ – bei der Nutzer irrationale Vorstellungen und Halluzinationen entwickeln – sind in den Medien weit verbreitet. Ein bemerkenswertes Beispiel ist ein 60-jähriger Nutzer, der berichtete, dass ChatGPT ihn glauben ließ, er sei Ziel eines Mordanschlags, oder eine Reddit-Community, die behauptet, sich in ihre Chatbots verliebt zu haben.
Solche Vorfälle haben in einigen Fällen zu Krankenhauseinweisungen und in tragischen Fällen sogar zu Todesfällen geführt. Der Chatbot wurde sogar mit einem Mord-Selbstmord-Fall in Connecticut in Verbindung gebracht. Die American Psychological Association hat die US-Handelskommission (FTC) seit Februar vor den Risiken gewarnt, die mit der Nutzung von KI-Chatbots als unlizenzierte Therapeuten verbunden sind.
Ein entscheidender Punkt, der OpenAI dazu brachte, öffentlich Maßnahmen zu ergreifen, war eine Klage wegen widerrechtlicher Tötung, die Anfang des Jahres von den Eltern des 16-jährigen Adam Raine eingereicht wurde. In der Klage wurde behauptet, dass Raine ChatGPT häufig nutzte, bevor er sich das Leben nahm, wobei der Chatbot ihm Ratschläge gab, wie man eine Schlinge bindet, und ihn davon abhielt, seine Eltern über seine Suizidgedanken zu informieren. Nach der Klage gab OpenAI zu, dass die Sicherheitsschutzmaßnahmen bei längeren Nutzerinteraktionen abgebaut wurden.
Der Abgang von Andrea Vallone erfolgt nach Monaten zunehmender Beschwerden über psychische Gesundheitsprobleme von ChatGPT-Nutzern und nur einen Tag nach einer ernüchternden Untersuchung der New York Times. Der Bericht zeichnet das Bild eines Unternehmens, das sich der psychischen Gesundheitsrisiken durch das süchtig machende Design von KI-Chatbots bewusst war, aber dennoch entschied, diesen Weg zu verfolgen.
Ehemalige Mitarbeiter von OpenAI, wie die frühere Politikforscherin Gretchen Krueger, haben darauf hingewiesen, dass einige der Schäden für Nutzer „nicht nur vorhersehbar, sondern vorhergesehen“ waren. Krueger verließ das Unternehmen im Frühjahr 2024.
Das Kernproblem liegt im Widerspruch zwischen OpenAIs Mission, die tägliche Nutzung von Chatbots als gewinnorientiertes Unternehmen zu steigern, und dem ursprünglichen Ziel, eine sichere KI zu entwickeln, die der Menschheit zugutekommt – ein Versprechen, das es als ehemalige Non-Profit-Organisation gegeben hatte.
Ein zentrales Element dieser Diskrepanz ist die Version GPT-4o von ChatGPT, die im Mai des vergangenen Jahres veröffentlicht wurde. Diese Version wurde für ihre „Schmeichelei-Problematik“ kritisiert, da sie dazu neigt, den Nutzern in übertriebener Weise zuzustimmen. Der süchtig machende Charakter von GPT-4o führte zu Nutzerprotesten, als OpenAI es im August durch das weniger persönliche GPT-5 ersetzte.
Nach einer Welle besorgniserregender Fälle begann das Unternehmen, Maßnahmen zu ergreifen, um das Problem zu bekämpfen. OpenAI stellte im März einen Psychiater in Vollzeit ein und beschleunigte die Entwicklung von Bewertungen zur Erkennung von Schmeichelei, ähnlich denen, die Konkurrenten wie Anthropic seit Jahren haben.
Experten zufolge ist GPT-5 besser darin, psychische Gesundheitsprobleme zu erkennen, kann jedoch in langen Gesprächen schädliche Muster nicht vollständig identifizieren. OpenAI hat zudem damit begonnen, Nutzer zu ermutigen, Pausen einzulegen, wenn sie lange Gespräche führen, und hat elterliche Kontrollmechanismen eingeführt. Das Unternehmen arbeitet auch an der Einführung eines Altersvorhersagesystems, um automatisch „altersgerechte Einstellungen“ für Nutzer unter 18 Jahren zu aktivieren.
Trotz dieser Bemühungen äußerte Nick Turley, der Leiter von ChatGPT, im Oktober gegenüber den Mitarbeitern, dass der sicherere Chatbot die Nutzer nicht ausreichend anzieht und legte Ziele fest, um die täglichen aktiven Nutzer von ChatGPT bis zum Jahresende um 5% zu steigern. Um dieses Ziel zu erreichen, kündigte Sam Altman an, einige der bisherigen Einschränkungen zu lockern, darunter die Einführung von mehr Persönlichkeit im Stil von GPT-4o und die Erlaubnis von „Erotik für verifizierte Erwachsene“.
Diese Entwicklungen werfen ein Schlaglicht auf die komplexen Herausforderungen, denen sich OpenAI im Spannungsfeld zwischen Nutzerwachstum und ethischer Verantwortung gegenübersieht.