KI Halluzinationen: Was das ist und wie Mitarbeiter damit umgehen

ChatGPT zitiert ein Urteil des Bundesgerichtshofs – das es nie gegeben hat. Copilot nennt eine Studie mit Jahreszahl, Autoren und Zeitschrift – alles erfunden. Gemini beschreibt ein Gesetz mit konkreten Paragrafennummern – die im Original nicht existieren. Diese Phänomene heißen KI-Halluzinationen, und sie sind kein Randproblem für Technikenthusiasten, sondern ein alltägliches Risiko für jeden Mitarbeitenden, der KI-Tools im Beruf einsetzt.

Dieser Artikel erklärt, was Halluzinationen technisch sind, warum sie auftreten, welche typischen Schäden sie im Unternehmensalltag anrichten – und vor allem: wie Mitarbeiterinnen und Mitarbeiter konkret damit umgehen können. Denn das sichere Erkennen und Überprüfen von KI-Ausgaben gehört zum Kern dessen, was Artikel 4 des EU AI Act unter KI-Kompetenz versteht.

Hinweis: Dieser Artikel stellt keine Rechtsberatung dar. Für Ihre konkrete rechtliche Situation wenden Sie sich bitte an eine zugelassene Rechtsanwältin oder einen Rechtsanwalt.

Was sind KI-Halluzinationen?

Der Begriff „Halluzination" beschreibt in der KI-Forschung eine spezifische Fehlerklasse: Ein Sprachmodell erzeugt eine Aussage, die faktisch falsch ist, aber stilistisch und sprachlich völlig korrekt klingt. Das Modell „erfindet" Fakten, ohne dabei zu merken, dass es das tut – und ohne dem Leser einen sichtbaren Hinweis darauf zu geben.

Wichtig zum Verständnis: KI-Sprachmodelle wie ChatGPT oder Claude arbeiten nicht wie eine Suchmaschine. Sie durchsuchen kein Archiv von Fakten, prüfen keine Quellen und rufen keine Datenbank ab. Stattdessen berechnen sie beim Schreiben jedes einzelnen Wortes, welches Token – also welche Zeichenfolge – als Nächstes am wahrscheinlichsten auf den bisherigen Text folgt. Das Modell optimiert auf sprachliche Plausibilität, nicht auf inhaltliche Richtigkeit.

Das Ergebnis: Wenn ein Sprachmodell nach einem Gerichtsurteil gefragt wird, das in seinen Trainingsdaten nicht vorhanden ist, erzeugt es trotzdem eine Antwort – im Stil echter Urteile, mit Aktenzeichen, Datum und Leitsatz. Es folgt dem, was es aus Millionen von Texten über das Muster von Gerichtsurteilen gelernt hat. Ob der Inhalt wahr ist, spielt bei dieser Berechnung keine Rolle.

Typische Halluzinations-Szenarien im Unternehmensalltag

Halluzinationen sind keine Seltenheit. In der Praxis treten sie besonders häufig auf, wenn Mitarbeitende Sprachmodelle für Aufgaben einsetzen, bei denen Präzision entscheidend ist:

• Rechtliche Recherche: Ein Mitarbeitender fragt ChatGPT nach einem BGH-Urteil zu einem Vertragsstreit. Das Modell nennt ein Aktenzeichen, einen Senat und einen Leitsatz. Das Urteil existiert nicht.
• Wissenschaftliche Quellen: Eine Marketingleiterin lässt sich Studien zu einem Trendthema zusammenstellen. Die genannten Fachzeitschriften, Autoren und Jahreszahlen klingen real – drei von fünf Artikeln sind frei erfunden.
• Zahlen und Statistiken: Ein Analyst bittet das Modell um aktuelle Marktdaten. Die Prozentsätze, die das Modell nennt, hat es aus dem Kontext hochgerechnet – oder schlicht fabriziert.
• Gesetzliche Vorschriften: Ein HR-Mitarbeitender fragt nach konkreten Anforderungen aus dem Arbeitszeitgesetz. Das Modell nennt korrekte Paragrafennummern, aber einen falschen Inhalt – eine Variante, die es in der genannten Form nicht gibt.

Warum halluzinieren KI-Modelle – und wird es besser?

Das Halluzinations-Problem ist kein Programmierfehler, der einfach behoben werden kann. Es ist eine strukturelle Eigenschaft der zugrundeliegenden Technologie. Sprachmodelle lernen, sprachliche Muster aus riesigen Textmengen zu erkennen und fortzusetzen. Sie lernen, wie Texte über Urteile, Studien oder Gesetze aussehen. Aber sie lernen nicht, ob ein spezifisches Urteil, eine spezifische Studie oder ein spezifisches Gesetz wirklich existiert.

Die Hersteller arbeiten intensiv daran, Halluzinationen zu reduzieren – durch bessere Trainingsdaten, Feedback-Verfahren und ergänzende Systeme wie Retrieval-Augmented Generation (RAG), bei dem ein Modell auf echte Quellen zurückgreift. Neuere Modelle halluzinieren in vielen Bereichen weniger als ältere. Aber: Auf null sinkt die Fehlerquote nicht. Selbst die leistungsfähigsten Systeme können in bestimmten Kontexten überzeugende Fehlinformationen produzieren – ohne Warnung.

Für Mitarbeitende bedeutet das: Kein KI-Tool, das heute verfügbar ist, gibt eine Garantie auf faktische Richtigkeit. Das ist kein Argument gegen den Einsatz von KI – aber ein starkes Argument dafür, jeden Output kritisch zu behandeln.

Konkrete Gegenmaßnahmen: So gehen Mitarbeiter mit Halluzinationen um

Der Umgang mit Halluzinationen lässt sich lernen und systematisieren. Die folgenden vier Maßnahmen bilden einen robusten Schutz für den Arbeitsalltag:

1. Quellenprüfung als Pflichtschritt

Jede faktische Aussage aus einem KI-Output, die in einem Dokument, Angebot, einer E-Mail oder einer Entscheidung weiterverwendet wird, muss an einer unabhängigen Quelle geprüft werden. Das gilt besonders für:

• Gesetzestexte und Paragrafennummern → im offiziellen Bundesgesetzblatt oder auf gesetze-im-internet.de nachschlagen
• Gerichtsurteile → in juristischen Datenbanken wie juris oder dejure.org verifizieren
• Statistiken und Studienergebnisse → Originalpublikation oder offizielle Statistikämter aufrufen
• Unternehmensdaten → direkt im Unternehmensregister oder auf der Website des Unternehmens prüfen

Eine gute Faustregel: Vertrauen Sie einer KI-Quellenangabe erst dann, wenn Sie die Quelle selbst gefunden und geöffnet haben. Nicht wenn das Modell sagt, die Quelle existiert.

2. Kritisches Gegenlesen – mit Blick auf Plausibilität

Halluzinationen fallen manchmal gar nicht beim ersten Lesen auf, weil der Text flüssig und kompetent klingt. Schulen Sie sich und Ihr Team darin, aktiv nach Schwachstellen zu suchen:

• Sind die genannten Zahlen realistisch (Größenordnung, Einheit, Zeitraum)?
• Passen die genannten Personen, Institutionen oder Organisationen zum Kontext?
• Klingt ein zitierter Fachbegriff vertraut – oder leicht verdreht?
• Ist die genannte Quelle mit vollem Titel auffindbar?

Wer KI-Outputs mit dieser Brille liest, bemerkt Unstimmigkeiten, die beim passiven Lesen unsichtbar bleiben.

3. Prompt-Technik: Halluzinationen durch bessere Anfragen reduzieren

Die Art, wie eine Frage gestellt wird, beeinflusst, wie stark ein Modell halluziniert. Einige bewährte Prinzipien:

• Unsicherheit zulassen: Formulierungen wie „Sag mir, wenn du dir nicht sicher bist" oder „Antworte nur, wenn du es mit Sicherheit weißt" erhöhen die Chance, dass das Modell eine Einschränkung nennt statt zu erfinden.
• Keine spezifischen Fakten verlangen, wenn sie nicht nötig sind: Wer das Modell bittet, „einen Überblick über die Rechtslage zu geben" statt „das relevante BGH-Urteil zu nennen", reduziert den Druck zur Präzision – und damit das Halluzinations-Risiko.
• Quellen immer explizit anfragen: Bitten Sie das Modell, Quellen anzugeben und deren Fundstelle zu nennen. Das zwingt es nicht zur Wahrheit, aber es macht die Prüfbarkeit sichtbarer.
• Eigene Dokumente als Kontext mitgeben: Wenn Sie dem Modell ein konkretes Dokument, einen Gesetzestext oder einen Vertrag als Grundlage geben, arbeitet es mit echtem Material – statt aus dem Gedächtnis zu fabrizieren.

4. Keine ungeprüften KI-Outputs nach außen

Dies ist die wichtigste Schutzregel für das Unternehmen: KI-generierte Inhalte dürfen nicht ungeprüft an externe Empfänger weitergegeben werden. Das gilt für Kundenkommunikation, Angebote, rechtliche Schreiben, Pressemitteilungen und alles, was das Unternehmen nach außen repräsentiert.

Intern falsche Informationen können korrigiert werden. Extern falsche Informationen – insbesondere solche, die auf erfundenen Quellen beruhen – können das Vertrauen von Kunden, Partnern oder Gerichten nachhaltig beschädigen und rechtliche Konsequenzen haben.

Ein pragmatischer Ansatz für Teams: Legen Sie fest, welche Dokumenttypen grundsätzlich eine Vier-Augen-Prüfung erfordern, wenn KI beim Erstellen beteiligt war. Diese Liste sollte Teil Ihrer KI-Nutzungsrichtlinie sein. Wie Sie eine solche Richtlinie aufbauen, beschreiben wir auch in unserem Artikel 10 Regeln für den sicheren Umgang mit ChatGPT & Co. am Arbeitsplatz.

Warum der Umgang mit Halluzinationen zur KI-Kompetenz-Pflicht gehört

Der Umgang mit KI-Halluzinationen ist keine Frage des persönlichen Technikinteresses. Er ist Bestandteil der KI-Kompetenz, die Unternehmen seit dem 2. Februar 2025 nach Artikel 4 des EU AI Act sicherstellen müssen.

Art. 4 EU AI Act verpflichtet Anbieter und Betreiber von KI-Systemen, nach besten Kräften sicherzustellen, dass ihr Personal über ein ausreichendes Maß an KI-Kompetenz verfügt – unter Berücksichtigung ihrer technischen Kenntnisse, ihrer Erfahrung und der konkreten KI-Systeme, die sie einsetzen.

„KI-Kompetenz" im Sinne des Gesetzes umfasst ausdrücklich die Fähigkeit, Chancen und Risiken von KI-Systemen zu verstehen und angemessen darauf zu reagieren. Das Wissen darüber, dass KI-Ausgaben nicht automatisch korrekt sind und wie man damit umgeht, ist ein zentraler Baustein dieser Kompetenz.

Zur Einordnung: Art. 4 EU AI Act enthält keinen eigenen Bußgeldtatbestand. Die Pflicht ist dennoch verbindlich – sie ergibt sich aus dem Gesamtgefüge des Gesetzes, das auf Anbieter und Betreiber von KI-Systemen abstellt. Nicht nachweisbare KI-Kompetenz kann im Schadensfall Haftungsfragen aufwerfen und Compliance-Risiken erzeugen. Eine ausführlichere Einführung in das Gesetz finden Sie in unserem Artikel EU AI Act Artikel 4 einfach erklärt.

Entscheidend ist dabei der Aspekt der Nachweisbarkeit: Eine Schulung, die stattgefunden hat, aber nicht dokumentiert werden kann, ist im Streitfall so gut wie nicht vorhanden. Unternehmen, die KI-Kompetenz-Schulungen durchführen, sollten deshalb von Anfang an auf nachvollziehbare Dokumentation und zertifizierte Lernkontrolle setzen.

Fazit: Halluzinationen sind handhabbar – wenn man sie kennt

KI-Sprachmodelle sind leistungsfähige Werkzeuge, die viele Arbeitsabläufe beschleunigen und verbessern können. Aber sie sind keine Faktenautomaten. Sie erzeugen Text, der plausibel klingt – und manchmal ist dieser Text falsch, erfunden oder irreführend, ohne dass das auf den ersten Blick erkennbar ist.

Das ist kein Grund, KI nicht einzusetzen. Es ist ein Grund, sie kompetent einzusetzen: mit dem Wissen, dass Outputs geprüft werden müssen, mit Methoden zur Quellenverifikation, mit guten Prompt-Techniken und mit klaren Teamregeln darüber, was KI-generiertes Material darf und was nicht.

Genau dieses Wissen strukturiert zu vermitteln, zu überprüfen und zu dokumentieren – das ist die Aufgabe, die Art. 4 EU AI Act an Unternehmen stellt. Und es ist eine Aufgabe, die sich in einem strukturierten Schulungsformat deutlich effizienter lösen lässt als durch informelle Hinweise oder einmalige Team-Meetings.

Das KI-Kompetenz-Zertifikat von ki-zertifizieren.de umfasst 5–7 Lernmodule – darunter ein Modul zum kritischen Umgang mit KI-Outputs und Halluzinationen –, eine Abschlussprüfung und ein personalisiertes PDF-Zertifikat mit Verifizierungs-ID. Alles in unter 60 Minuten, für 47 € pro Person.

Für Unternehmen, die mehrere Mitarbeitende schulen möchten, steht das Firmenportal mit zentraler Verwaltung, Sammelabrechnung und automatisierten Zertifikaten zur Verfügung.

→ Jetzt KI-Kompetenz-Zertifikat erwerben (47 €)