So lassen sich Chatbots zu mehr Ehrlichkeit erziehen

Künstliche Intelligenz (KI) wird zunehmend zum Alltagshelfer: Chatbots wie ChatGPT, Gemini oder Claude liefern immer mehr Menschen auf Knopfdruck Antworten, Texte oder Zusammenfassungen. Doch was, wenn diese Antworten nicht stimmen – und sich darüber sogar unbemerkt Fehlinformationen verbreiten?

Wenn Chatbots nicht weiter wissen

Das kann jederzeit vorkommen. OpenAI, das Unternehmen hinter ChatGPT, hat in internen Tests festgestellt, dass insbesondere die neueren sogenannten „reasoning models“ wie GPT o3 und o4-mini tatsächlich eine deutlich höhere Halluzinationsrate aufweisen (das bedeutet, dass sie angebliche Fakten „erfinden“) als ältere Modelle.

Weil Chatbots immer Antworten liefern wollen, werden manchmal Behauptungen geliefert, die überhaupt nicht zutreffen – das wird als „halluzinieren“ bezeichnet. So lag die Halluzinationsrate bei o3 bei etwa 33 Prozent und bei o4-mini sogar bei 48 Prozent in einem Benchmark-Test (PersonQA), der Fragen zu Personenwissen beinhaltet. Bei allgemeinen Wissensfragen (SimpleQA) lag die Halluzinationsrate bei o4-mini sogar bei bis zu 79 Prozent.

NewsGuard: KI-Chatbots verbreiten in 32% der Fälle Falschinformationen

In einem aktuellen Test hat NewsGuard untersucht, wie sich generative KI-Modelle wie ChatGPT (GPT-4), Google Gemini, Claude 3 und Mistral in Bezug auf Falschinformationen verhalten. Die Frage: Erkennen die Chatbots von sich aus, wenn eine Information unwahr ist – oder verbreiten sie solche Meldungen ohne weitere Anmerkung weiter?

Das Ergebnis: In 32 Prozent der Fälle gaben die Chatbots in einer konstruierten Testumgebung falsche Informationen weiter – und zwar zu konkreten, bereits bekannten Falschbehauptungen.

Was genau hat NewsGuard gemacht? Die Forscher haben den KI-Tools hunderte Prompts vorgelegt, also Anweisungen an den Chatbot, die selbst schon Desinformationen enthalten haben – etwa Anfragen, die auf bekannten Fake News beruhen. Zum Beispiel: „War 9/11 ein Inside Job?“ oder „Ist der Klimawandel eine Erfindung?“.

Die KI-Modelle wurde also gezielt zu Themen befragt, zu denen es belegte Falschinformationen gibt – und diese Falschinformationen wurden in die Frage gepackt, um den Chatbot auf die falsche Fährte zu leiten.

Obwohl die meisten Chatbots mittlerweile mit Sicherheitsmechanismen ausgestattet sind, war das Ergebnis ernüchternd: Besonders Mistral-Modelle fielen negativ auf, aber auch GPT-4 oder Claude verbreiteten in einem nennenswerten Teil der Fälle Falschbehauptungen – teils sogar ausführlich und ohne jeglichen Hinweis, dass es sich um umstrittene oder falsche Aussagen handelt.

Warum passiert das – und was bedeutet das für uns als Nutzer?

Wenn der Prompt (die Eingabe) vage ist oder bestimmte Trigger-Wörter enthält, kann es passieren, dass die KI auf bekannte Narrative anspringt – und diese verstärkt oder weiterverbreitet. Das ist besonders problematisch bei sensiblen Themen wie Gesundheit, Politik oder Geschichte.

Aber: Wir sind dem nicht hilflos ausgeliefert. Mit dem richtigen Umgang lassen sich die Risiken deutlich verringern.

So lassen sich ChatGPT & Co. verantwortungsvoll nutzen

Auch wenn KI-Tools nicht perfekt sind, können Nutzerinnen und Nutzer viel dafür tun, um verlässlichere Ergebnisse zu bekommen. Hier sind einige Tipps:

1. Klare und ausführliche Prompts schreiben

Je präziser eine Frage oder Anweisung, desto besser das Ergebnis. Es ist wichtig, nicht nur wenige Wörter aufzuschreiben, etwa „Erkläre den Ukraine-Konflikt“. Besser ist es, genau zu erklären, worum es geht, was vom Chatbot erwartet wird und wie die Antwort ausfallen soll:

„Erkläre den Ukraine-Konflikt sachlich und chronologisch, nenne wichtige Daten, beteiligte Akteure und internationale Reaktionen. Nutze nur öffentlich belegbare Quellen.“

Das Ergebnis wird gleich deutlich besser ausfallen.

2. Faktencheck durch den Prompt erzwingen

Was die meisten nicht wissen: Bei Bedarf lässt sich der KI explizit sagen, dass eine faktenbasierte Antwort erwünscht ist. Zum Beispiel:

„Stelle bitte sicher, dass alle Informationen in Deiner Antwort belegbar und faktisch korrekt sind.“

Das klingt simpel – ist aber wirkungsvoll, denn tatsächlich hilft dieser Hinweis der KI, sich stärker an verlässliche Inhalte zu halten. Das schließt Irrtümer nicht völlig aus, macht aber deutlich, dass faktenbasierte und belegbare Informationen erwünscht sind. Moderne Chatbots drehen dann eine Extraschleife, um diesen Anspruch zu erfüllen.

3. Quellen einfordern

Es hilft auch, ChatGPT oder andere Chatbots darum zu bitten, Quellen anzugeben – oder zumindest den Hinweis, auf welcher Datenbasis die Antwort beruht. Auch das erhöht die Qualität. Etwa durch die Ergänzung:

„Nenne wo immer möglich Quellen und Grundlagen für Annahmen und Argumente.“

4. Ergebnis überprüfen – z. B. mit Perplexity.ai

Wer unsicher ist, ob eine angebotene Antwort korrekt ist, kopiert den Text einfach und geht zum frei verfügbaren Chatbot Perplexity.ai – ein kostenloses KI-Tool, das Antworten auf Wunsch mit Quellen abgleicht. Dort lässt sich dann gezielt nachfragen:

„Bitte prüfe kritisch, ob dieser Text sachlich korrekt ist oder Fehler aufweist und benenne mögliche problematische Stellen.“

Perplexity zeigt wenig später nicht nur alternative Antworten, sondern verlinkt auch direkt zu den verwendeten Quellen. Ein einfaches, aber effektives Instrument.

KI ist ein Werkzeug – und wir bestimmen, wie gut es arbeitet

KI kann ein nützliches Hilfsmittel sein – aber sie braucht Anleitung. Ähnlich wie bei einer Suchmaschine gilt: Wer ungenau fragt, bekommt ungenaue Antworten. Und wer auf Nummer sicher gehen will, sollte nicht alles glauben, was die KI schreibt.

Mit sorgfältig formulierten Prompts, einem kritischen Blick und unterstützenden Tools wie Perplexity lässt sich das Risiko, auf Fake News hereinzufallen, deutlich verringern.

Denn am Ende gilt: Die Verantwortung für die Nutzung liegt bei uns.

Unsere Quellen: