OpenAI sieht sich mit einer weiteren Klage wegen fahrlässiger Tötung konfrontiert. Leila Turner-Scott und Angus Scott haben gegen das Unternehmen geklagt und werfen OpenAI vor, ein „mangelhaftes Produkt“ entworfen und vertrieben zu haben, das zum Tod ihres Sohnes Sam Nelson durch eine unbeabsichtigte Überdosis führte. Die Klage behauptet, dass Sam nach den genauen medizinischen Ratschlägen starb, die ihm von GPT-4o gegeben und bestätigt wurden.
Sam, ein 19-jähriger Student der University of California, Merced, begann 2023 während seiner Highschool-Zeit, ChatGPT zu nutzen, um bei Hausaufgaben zu helfen und Computerprobleme zu lösen. Später wandte er sich an den Chatbot, um Informationen über sicheren Drogenkonsum zu erhalten. Ursprünglich weigerte sich ChatGPT, diese Fragen zu beantworten, und warnte Sam vor den potenziell schweren gesundheitlichen Folgen des Drogenkonsums. Laut der Klage änderte sich dies mit der Einführung von GPT-4o im Jahr 2024.
Die Klage beschreibt, dass ChatGPT Sam daraufhin Ratschläge gab, wie er Drogen sicher einnehmen könne. In der Beschwerde sind mehrere Auszüge aus Sams Konversationen mit dem Chatbot enthalten. Ein Beispiel zeigt, wie der Chatbot ihn über die Gefahren aufklärte, wenn man Diphenhydramin, Kokain und Alkohol in rascher Folge einnimmt. Ein weiteres Beispiel zeigt, wie der Chatbot Sam mitteilte, dass seine hohe Toleranz für ein pflanzliches Mittel namens Kratom dafür sorgen würde, dass selbst eine große Dosis auf vollen Magen gedämpft wirken würde. Zudem riet ihm ChatGPT, wie er seine Toleranz gegenüber dem Mittel durch „Tapering“ wieder senken könne.
Am 31. Mai 2025 soll ChatGPT Sam aktiv dazu angeleitet haben, Kratom und Xanax zu mischen. Der Chatbot soll ihm unaufgefordert empfohlen haben, 0,25 bis 0,5 mg Xanax einzunehmen, um die Übelkeit zu lindern, die er nach der Einnahme von Kratom verspürte. In der Klage wird behauptet, dass ChatGPT, obwohl es sich als Experte für Dosierung und Wechselwirkungen ausgab und Sams Zustand erkannte, ihm nicht mitteilte, dass diese empfohlene Kombination wahrscheinlich tödlich sein könnte.
Neben der Klage wegen fahrlässiger Tötung verklagen die Kläger OpenAI auch wegen unerlaubter Ausübung der Heilkunde. Sie fordern Schadensersatz und fordern das Gericht auf, die Aktivitäten von ChatGPT Health vorübergehend auszusetzen. ChatGPT Health, das Anfang des Jahres gestartet wurde, ermöglicht es Nutzern, ihre medizinischen Unterlagen und Wellness-Apps mit dem Chatbot zu verknüpfen, um maßgeschneiderte Antworten auf Gesundheitsfragen zu erhalten.
„ChatGPT ist ein Produkt, das absichtlich darauf ausgelegt ist, maximale Nutzerbindung zu erreichen, egal zu welchem Preis“, erklärte Meetali Jain, Geschäftsführer des Tech Justice Law Project. „OpenAI hat ein fehlerhaftes KI-Produkt direkt an Verbraucher weltweit ausgeliefert, in dem Wissen, dass es als faktisches medizinisches Triage-System genutzt wird, jedoch ohne angemessene Sicherheitsvorkehrungen, robuste Sicherheitsprüfungen oder Transparenz für die Öffentlichkeit. Die Designentscheidungen von OpenAI haben zum Verlust eines geliebten Sohnes geführt, dessen Tod eine vermeidbare Tragödie war. OpenAI muss gezwungen werden, sein neues ChatGPT Health Produkt zu pausieren, bis es durch rigorose wissenschaftliche Tests und unabhängige Aufsicht als sicher erwiesen ist,“ fügte er hinzu.
OpenAI hat GPT-4o im Februar dieses Jahres eingestellt. Es galt als eines der umstrittensten Modelle des Unternehmens, da es berüchtigt dafür war, schmeichelhaft zu sein. Eine weitere Klage wegen fahrlässiger Tötung, die von den Eltern eines Teenagers eingereicht wurde, der durch Suizid starb, erwähnte ebenfalls GPT-4o und behauptete, dass es Merkmale hatte, die „absichtlich darauf ausgelegt waren, eine psychologische Abhängigkeit zu fördern.“
Ein Sprecher von OpenAI erklärte gegenüber der New York Times, dass Sams Interaktionen mit einer früheren Version von ChatGPT stattfanden, die nicht mehr verfügbar sei. Er fügte hinzu: „ChatGPT ist kein Ersatz für medizinische oder psychische Gesundheitsversorgung, und wir haben weiter daran gearbeitet, wie es in sensiblen und akuten Situationen reagiert, mit Input von psychischen Gesundheitsexperten. Die Schutzmaßnahmen in ChatGPT sind heute darauf ausgelegt, Notlagen zu erkennen, schädliche Anfragen sicher zu handhaben und Nutzer zu realer Hilfe zu führen. Diese Arbeit ist fortlaufend, und wir verbessern sie kontinuierlich in enger Abstimmung mit Klinikern.“