KI-Halluzination

Hintergrund und Definition

Sprachmodelle erzeugen Wahrscheinlichkeiten — sie "wissen" nicht. Halluzinationen sind kein Bug, sondern Bestandteil der Architektur: Bei mehrdeutigem oder fehlendem Kontext erfindet das Modell Plausibles, weil es immer ein Token vorhersagen muss. Klassische Halluzinationsfälle in der Medizin sind erfundene Medikamente, falsche Dosierungen, ICD-Codes ohne Bezug, frei erfundene Studien-Zitate und nicht existierende Leitlinien. Die Forschung unterscheidet zwischen intrinsischen Halluzinationen (Widerspruch zum Eingabetext) und extrinsischen (frei erfundene Tatsachen). Reduziert werden Halluzinationen durch Retrieval-Augmented Generation (RAG), enge Quellenbindung, Konfidenz-Anzeigen, kleinere und auf das Fachgebiet trainierte Modelle, und durch das Vier-Augen-Prinzip. In sicherheitskritischen Bereichen wie Medizin sind Halluzinationen das zentrale Risiko von Sprachmodellen. Der EU AI Act verlangt deshalb explizit menschliche Aufsicht.

Was das für die Praxis bedeutet

Im Arztbrief lebensgefährlich: erfundene Medikamente, falsche Dosen, ICD-Codes ohne Bezug. Schutz: Vier-Augen-Prinzip, Konfidenz-Anzeige, lokale Verarbeitung mit klarer Quellenbindung an die echten Patientendaten. Eine pragmatische Routine: Brief nie ohne vollständige Lese-Kontrolle freigeben, bei niedriger Konfidenz aktiv hinterfragen. Frei erzeugte Texte ohne Quelle sollten in der Praxis grundsätzlich nicht direkt übernommen werden. Anbieter sollten transparent erklären, wie ihr System Halluzinationen reduziert (RAG, Quellenbindung, kleine Spezialmodelle). Eine interne Sammlung beobachteter Halluzinations-Fälle hilft beim Training des Teams und bei Anbieter-Feedback.

Beispiele aus dem Praxisalltag

• KI schlägt "Metamizol 1.000 mg 3 mal täglich" vor — die Patientin verträgt kein Metamizol.
• Erfundener ICD-Code mit gültiger Syntax, aber ohne medizinischen Bezug zur Anamnese.
• Frei erfundenes Studien-Zitat im Arztbrief — wirkt fundiert, ist aber Erfindung.
• Verallgemeinerung "wie bei vergleichbaren Patienten üblich" ohne reale Datenbasis.

Typische Stolperfallen

• Übernahme von KI-Texten ohne Lese-Kontrolle.
• Annahme, dass medizinisch klingender Text auch medizinisch korrekt sei.
• Verzicht auf Quellenbindung, weil "der Brief liest sich gut".
• Vertrauen in Modelle ohne Konfidenz-Anzeige.

Verwandte Begriffe

• Konfidenz-Markierung (KI): Bewertung, wie sicher sich eine KI bei einem Vorschlag ist.
• EU AI Act: EU-Verordnung zur Regulierung von Künstlicher Intelligenz, ab August 2026 weitgehend gültig.
• Arztbrief: Strukturierter Bericht eines Arztes an einen Kollegen über Patient, Diagnose und Therapie.

Quellen und weiterführende Hinweise

• arxiv.org — Übersichtsarbeiten zu Hallucination in LLMs
• nature.com — Studien zu KI-Sicherheit in der Medizin
• bundesaerztekammer.de — Stellungnahmen zur KI-Anwendung

Hinweis: Dieser Lexikon-Eintrag dient der Orientierung und ersetzt keine rechtliche oder medizinische Beratung im Einzelfall.