KI-Halluzinationen im Arztbrief — was sie sind und wie Sie sich schützen

Eine KI-Halluzination ist kein technischer Schluckauf, sondern eine Eigenschaft der Sprachmodelle. Sie erzeugen Text, der plausibel klingt — auch dort, wo sie nichts wissen. Im Arztbrief führt das zu erfundenen Laborwerten, falschen Dosierungen oder ausgedachten Vorerkrankungen. Der Effekt: Der Brief liest sich gut, der Inhalt ist falsch.

Dieser Artikel erklärt, wie Halluzinationen entstehen, woran Sie sie erkennen und welche Schritte im Praxisablauf sie verhindern.

Was eine Halluzination technisch ist

Ein Sprachmodell sagt das nächste Wort vorher. Wenn die Eingabe lückenhaft ist und das Modell trotzdem antworten muss, füllt es die Lücke mit dem statistisch wahrscheinlichsten Inhalt. Das Ergebnis sieht wie ein medizinisch korrekter Satz aus — auch wenn der Wert frei erfunden ist.

Beispiele aus realen Tests:

HbA1c „6,8 %” wird zu „7,2 %”, weil das Modell den Verlauf glättet.
Ein Medikament „Ramipril 5 mg” wird zu „Ramipril 10 mg”, weil die höhere Dosis häufiger trainiert wurde.
Eine Diagnose „Hypertonie” wird ergänzt um „bei bekannter KHK”, obwohl im Quelltext keine KHK steht.

Halluzinationen sind kein seltener Ausreißer, sondern in 1 bis 5 % aller Ausgaben enthalten — abhängig von Modell, Eingabequalität und Prompt-Disziplin.

Welche Brief-Bestandteile besonders gefährdet sind

Nicht alle Teile eines Arztbriefs sind gleich anfällig. Drei Bereiche fallen auf:

Zahlen: Laborwerte, Dosierungen, Datumsangaben. Halluziniert wird in Richtung „typische Werte” — eine 99,2 mg/dl Glukose wird zu „95 mg/dl”, weil das näher am Trainings-Mittelwert liegt.
Medikamentennamen: Ähnlich klingende Wirkstoffe werden vertauscht (Metoprolol/Metformin, Tramadol/Trazodon).
Anamnesen: Lückenhafte Angaben werden plausibel ergänzt — eine „Z. n. OP” wird zu „Z. n. Cholezystektomie”, obwohl das im Quelltext nicht steht.

Stabil sind dagegen Standardphrasen (Anrede, Schlussformeln, allgemeine Therapieempfehlungen).

„Mein Lieblingsbeispiel: Die KI hat einen Befund ‚unauffällig’ geschrieben, weil sie aus dem Kontext geschlossen hat, dass das passt. Tatsächlich war der Befund pathologisch. Ohne Vier-Augen-Prinzip hätten wir den Brief verschickt.” — Internist aus Hamburg

Drei Schritte, die Halluzinationen abfangen

Im Praxisalltag schützen drei Schritte zuverlässig — vorausgesetzt, sie werden konsequent angewendet.

Schritt 1: Quellenbindung. Die KI darf nur Inhalte verwenden, die in der Karteikarte oder im Originalbefund stehen. Was nicht da ist, darf nicht im Brief landen. Das ist eine Frage der Prompt-Disziplin und der Software-Architektur.
Schritt 2: Konfidenz-Anzeige. Werte, die das Modell aus dem Kontext erschließt, müssen sichtbar markiert sein — typischerweise mit einer Farbe oder einem Symbol. Der Arzt sieht auf einen Blick, was gesichert und was abgeleitet ist.
Schritt 3: Vier-Augen-Prinzip. Der Brief geht nicht ohne ärztliche Freigabe raus. Klingt selbstverständlich, wird aber in der Praxis aus Zeitdruck umgangen. Der Schutz funktioniert nur, wenn die Freigabe nicht zur Formalie wird.

Was Vorlagen-Modi bringen

Manche Praxis-KI bietet einen Vorlagen-Modus: Der Brief wird aus festen Bausteinen zusammengesetzt, freie Formulierungen sind nur in markierten Feldern erlaubt. Das reduziert die Angriffsfläche für Halluzinationen erheblich, kostet aber Flexibilität.

Empfehlung: Vorlagen-Modus für Standardfälle (Routinekontrollen, DMP-Briefe), freier Modus für komplexe Verläufe — dort aber mit besonderer Sorgfalt bei der Freigabe.

Was bei Cloud-Modellen zusätzlich problematisch ist

Cloud-Modelle (GPT, Claude, Gemini) werden ständig aktualisiert. Eine Version, die heute zuverlässig ist, kann morgen anders halluzinieren. Sie haben keinen Einfluss darauf und keine Versionskontrolle. In der medizinischen Doku ist das ein Strukturproblem.

Lokale Modelle in der otium.arx bleiben dagegen stabil. Updates erfolgen nur, wenn Sie sie einspielen — typischerweise nach interner Validierung.

Was die KI-Anbieter dazu sagen müssen

Bei jedem KI-Anbieter, mit dem Sie sprechen, sollten Sie drei Fragen schriftlich beantwortet bekommen:

Wie verhindert die Software, dass nicht-dokumentierte Inhalte im Brief landen?
Werden Konfidenz-Werte angezeigt, und wenn ja, wie?
Welche Validierungstests gibt es für deutschsprachige medizinische Texte?

Wer auf eine dieser Fragen ausweichend antwortet, hat das Problem nicht gelöst.

Praktischer Hinweis

Halluzinationen lassen sich nicht vollständig ausschließen — aber drastisch reduzieren. Lokale Verarbeitung mit klarer Quellenbindung, Konfidenz-Anzeige und konsequenter Freigabe ist der bewährte Weg. Otium setzt auf genau diese Architektur in der otium.arx, ohne dass Daten die Praxis verlassen.