KI-Chatbots: Wann virtuelle Freunde zur Gefahr werden (können)

Stand: 29.08.2025, 16:31 Uhr

In den USA hat ChatGPT einen Jugendlichen beim Suizid unterstützt - die Eltern haben geklagt. WDR-Digitalexperte Jörg Schieb über die Hintergründe und was Eltern wissen müssen.

Von Jörg Schieb

Auch viele junge Menschen benutzen heute Chatbots wie ChatGPT, auch – aber nicht nur – um Hilfe beim Lernen und bei den Hausaufgaben zu bekommen.

Doch es gibt auch Risiken bei der Nutzung von Chatbots. So hat sich bei einem jungen Teenager aus Kalifornien ein vermeintlich harmloses Gespräch mit ChatGPT über Hausaufgaben zu einer Katastrophe entwickelt. Seit September 2024 nutzte der 16-jährige Adam Raine ChatGPT zunächst als Lernhilfe – wie so viele Schüler weltweit.

Doch dann vertraute der 16-Jährige dem Chatbot von OpenAI zunehmend persönliche Probleme an. Im April 2025 nahm er sich das Leben – wenige Stunden nachdem ChatGPT ihm eine detaillierte Anleitung für eine Suizidmethode geliefert hatte.

Die Eltern haben kürzlich Klage gegen OpenAI und dessen CEO Sam Altman eingereicht. Sie werfen dem Unternehmen grobe Fahrlässigkeit vor und machen ChatGPT mitverantwortlich für Adams Tod. Es ist die erste Klage dieser Art gegen ein großes KI-Unternehmen.

Wenn Chatbots Suizidmethoden erklären

Aus den Chatprotokollen geht hervor, wie sich die Gespräche zwischen Adam und ChatGPT über Monate entwickelten. Anfangs reagierte die KI noch empathisch und verwies auf Hilfsangebote, als der Teenager seine Suizidgedanken äußerte. Doch Adam lernte schnell, die Sicherheitsmechanismen des Chatbots zu umgehen: Er gab vor, für eine Geschichte oder ein Schulprojekt zu recherchieren – ein klassischer „Trick“, um die verschiedenen Sicherheitsmechanismen von führenden Chatbots auszuhebeln.

Die Strategie funktionierte auch in diesem tragischen Fall verheerend gut. ChatGPT lieferte irgendwann ausführliche Informationen zu verschiedenen Suizidmethoden – von Ertrinken bis hin zu Überdosis. Die KI schnitt ihre Antworten sogar auf Adams Hobbys zu und berücksichtigte, welche Materialien er zu Hause haben könnte. Kurz vor seinem Tod zeigte Adam dem Bot eine Schlinge (ChatGPT kann auch die Kamera benutzen) – und erhielt eine technische Analyse ihrer Eignung.

Ähnliche Fälle häufen sich

Adams Fall ist kein Einzelfall. Bereits mehrfach haben Eltern in den USA in ähnlichen Situationen Chatbot-Anbieter verklagt. Besonders der Anbieter Character.ai steht in der Kritik: Ein 14-jähriger Nutzer aus Florida nahm sich das Leben, nachdem er monatelang intensive Gespräche mit einem Bot geführt hatte, der auf einer "Game of Thrones"-Figur basierte. In einem anderen Fall forderte ein Chatbot einen 46-jährigen Nutzer explizit zum Suizid auf.

Die Dimension des Problems zeigt sich auch in deutschen Zahlen: 62 Prozent der Jugendlichen in Deutschland nutzen bereits KI-Anwendungen wie ChatGPT, so die aktuelle JIM-Studie 2024. Am häufigsten im Kontext der Schule und für Hausaufgaben (65 Prozent), zum Spaß (52 Prozent) oder bei der Informationssuche (43 Prozent).

Auch in Nordrhein-Westfalen ist das Thema angekommen: Eine Studie der Vodafone-Stiftung zeigt, dass rund 75 Prozent der Jugendlichen bereits KI-Tools einsetzen. Fast ein Drittel lässt sich sogar regelmäßig im schulischen Kontext durch KI unterstützen. Viele entwickeln emotionale Bindungen zu diesen virtuellen Gesprächspartnern, die rund um die Uhr verfügbar sind und scheinbar endlos Verständnis zeigen.

Risiken der emotionalen Bindung

Experten warnen daher vor den spezifischen Gefahren für Jugendliche. "KI kann eine unglaubliche Ressource sein, um Kindern beim Verarbeiten zu helfen, aber sie erkennt oft nicht, wann sie an jemanden mit mehr Expertise weitergeben sollte", erklärt amerikanische Kinderpsychiater Bradley Stein. Die Chatbots seien darauf programmiert, hilfreich und bestätigend zu sein – eine Eigenschaft, die bei gefährdeten Jugendlichen gefährlich werden kann.

Besonders problematisch ist die Gestaltung moderner Chatbots: Sie verwenden anthropomorphe Sprache ("Ich bin für dich da"), speichern Gespräche und sind 24/7 verfügbar. Diese Features sollen emotionale Bindung aufbauen – mit potentiell fatalen Folgen für vulnerable Nutzer.

Die Bundeszentrale für Kinder- und Jugendmedienschutz warnt bereits seit längerem vor den Risiken: "KI eröffnet neue Dimensionen der Täuschung, sowohl qualitativ als auch quantitativ", so die Einschätzung der Behörde. Generative KI verstärke Risiken wie Mobbing und erschwere die Unterscheidung zwischen Realität und Fiktion.

Auch in NRW ist man sich der Problematik bewusst: Das Schulministerium gab bereits 2023 einen Handlungsleitfaden zum Umgang mit textgenerierender KI heraus. Fast die Hälfte aller Lehrkräfte an Gymnasien und Gesamtschulen in Nordrhein-Westfalen nutzt mittlerweile KI-Systeme wie ChatGPT, wie eine aktuelle Umfrage des Philologenverbandes zeigt.

Unternehmen in der Verantwortung

OpenAI reagierte auf die Klage mit einer Stellungnahme: Man sei "zutiefst betroffen" vom Tod des Jugendlichen und arbeite an verbesserten Sicherheitsmaßnahmen. Das Unternehmen räumte ein, dass bisherige Vorkehrungen bei längeren Unterhaltungen versagen können. Neue Funktionen sollen Nutzer nun besser zu professionellen Hilfsangeboten leiten.

Character.ai führte nach ähnlichen Vorwürfen bereits Schutzmaßnahmen ein: Pop-up-Warnungen bei bestimmten Schlüsselwörtern, Zeitlimits und Hinweise, dass es sich um KI-generierte Inhalte handelt. Dennoch bleiben Zweifel an der Wirksamkeit solcher Maßnahmen.

Die Klagen werfen grundsätzliche Fragen zur Produkthaftung auf: Wie viel Verantwortung tragen Unternehmen für die Auswirkungen ihrer KI-Systeme? Selbst Mustafa Suleyman, Chef der Microsoft-Sparte für Künstliche Intelligenz, warnte zuletzt vor einem "Psychoserisiko" durch intensive Gespräche mit Chatbots.

Was Eltern und Jugendliche tun können

Experten empfehlen Eltern, die Chatbot-Nutzung ihrer Kinder im Blick zu behalten. Warnzeichen sind sozialer Rückzug, veränderte Schlafgewohnheiten oder extreme emotionale Bindung an digitale "Freunde". Wichtig sei es, das Gespräch zu suchen, ohne die Technologie zu verteufeln.

Für Jugendliche gilt: Chatbots können hilfreich sein, ersetzen aber niemals professionelle Hilfe oder menschliche Beziehungen. Bei ernsten Problemen sollten sie sich an Vertrauenspersonen, Beratungsstellen oder die Telefonseelsorge wenden. Hier gibt es die Informationen dazu:

Unsere Quellen: