SAFE-AI: Wie ontologiegestützte KI Medikationsfehler im Rettungsdienst abfängt

Wer regelmäßig mit großen Sprachmodellen arbeitet, kennt das Problem: Je seltener ein Ereignis, desto unzuverlässiger wird die Vorhersage. Genau das ist bei Medikationsfehlern fatal – sie sind selten, aber wenn sie auftreten, potenziell tödlich. Eine aktuelle Studie zeigt einen Weg, wie sich dieses Dilemma technisch lösen lässt, und liefert damit ein Muster, das weit über den untersuchten Anwendungsfall hinaus relevant ist.

Das Problem: Halluzinationen genau dort, wo es am meisten schadet

Schätzungen zufolge treten in den USA jährlich über 250.000 unerwünschte Sicherheitsereignisse (Adverse Safety Events, ASEs) in der Patientenversorgung auf, mehr als 100.000 Todesfälle stehen damit in Verbindung. Der Goldstandard zur Erkennung solcher Ereignisse ist bis heute die manuelle Aktendurchsicht durch Fachpersonal – aufwendig, teuer und deshalb nur stichprobenartig durchführbar. Über 95 % der dokumentierten ASEs schaffen es laut der Studie gar nicht erst in die offiziellen Meldesysteme.

LLMs gelten seit einiger Zeit als vielversprechender Ansatz, um diese Lücke zu schließen. Das grundlegende Problem bleibt jedoch bestehen: Ihre Treffsicherheit hängt stark von der Wahrscheinlichkeit des korrekten Ergebnisses ab. Bei seltenen, aber kritischen Ereignissen wie Medikationsfehlern ist genau das die Schwachstelle – die Modelle neigen dazu, Informationen zu erfinden oder falsch zu gewichten, insbesondere wenn Reasoning über mehrere Schritte gefragt ist.

Der Lösungsansatz: Extraktion trennen von Entscheidung

Das in SAFE-AI (Structured and Automated Framework for Explainable AI) vorgestellte Framework setzt an einem einfachen, aber wirkungsvollen Prinzip an: Es trennt strikt zwischen dem, was ein LLM gut kann – Informationen aus unstrukturiertem Text extrahieren –, und dem, was es schlecht kann – klinische Entscheidungen mit hartem Reasoning treffen.

Konkret funktioniert das in vier Schritten:

1. Klinische Expertinnen und Experten definieren eine Ontologie – ein regelbasiertes Wissensmodell – auf Basis etablierter Leitlinien, etwa der Pediatric Advanced Life Support (PALS)-Richtlinien der American Heart Association.
2. Ein LLM extrahiert aus der Patientenakte lediglich die Rohdaten: Alter, Gewicht, verabreichte Dosis, Zeitstempel.
3. Ein zweites, code-generierendes Modell übersetzt die Leitlinien in ausführbaren Programmcode, der von Fachleuten geprüft und fixiert wird.
4. Die eigentliche Entscheidung – liegt ein Fehler vor oder nicht – wird deterministisch über diesen Code berechnet, nicht vom Sprachmodell selbst.

Das Modell wird damit auf die Rolle des Informationslieferanten reduziert. Die eigentliche Fehlererkennung läuft über nachvollziehbare, überprüfbare Regeln – vergleichbar mit einem Taschenrechner, dem man nur die Zahlen zuruft, während die Rechenoperation fest programmiert bleibt.

Testfall: Epinephrin bei pädiatrischem Kreislaufstillstand

Getestet wurde das Framework an einem besonders heiklen Szenario: Über- oder Unterdosierung sowie verzögerte Gabe von Epinephrin bei außerklinischem Kreislaufstillstand im Kindesalter. Grundlage waren 300 Rettungsdienst-Akten mit 18.402 Zeilen klinischer Information, unabhängig doppelt begutachtet von Fachärztinnen und -ärzten mit einer Übereinstimmung von 96 %.

Die Ergebnisse im Vergleich zu zwei Ablations-Baselines (ein reines LLM ohne Struktur sowie ein LLM mit Ontologie-Kontext, aber weiterhin eigenständiger Entscheidungsfindung):

• Überdosierung erkennen: SAFE-AI erreichte 85 % Genauigkeit gegenüber 80 % (LLM allein) und 72 % (LLM mit Ontologie-Kontext).
• Verzögerte Gabe erkennen: 94 % Genauigkeit gegenüber 93 % bzw. 92 %.
• Der McNemar-Test zeigte einen systematischen Vorteil von SAFE-AI gegenüber dem reinen LLM-Ansatz (34 zusätzlich korrekt erkannte Verzögerungsfälle, 40 zusätzlich korrekte Überdosierungsfälle, jeweils ohne Gegenbeispiele).

Bemerkenswert: Das reine LLM war zwar sensitiver, produzierte aber deutlich mehr falsch-positive Befunde – etwa weil es vereinzelte Dokumentationsfragmente ohne globalen zeitlichen Kontext interpretierte oder mehrfache Nennungen derselben Dosis als separate Gaben zählte. Die Fehleranalyse der Autoren zeigt zudem: Ein relevanter Teil der verbleibenden Abweichungen war schlicht auf uneinheitliche Dokumentation in den Originalakten zurückzuführen – nicht auf einen Fehler des Systems.

Was das für Praxis und Klinik bedeutet

Für den Alltag in Praxen und Notaufnahmen lässt sich aus dieser Arbeit ein klares Prinzip ableiten: KI-gestützte Medikationsprüfung sollte nicht auf ein Sprachmodell allein setzen, das direkt "Ja/Nein" zu einem Fehler sagt. Vertrauenswürdiger wird ein System, wenn die Aufgabe geteilt wird – Extraktion durch das Sprachmodell, Bewertung durch festgelegte, auditierbare Regeln, die auf anerkannten Leitlinien beruhen.

Praktisch bedeutet das für die Bewertung KI-gestützter Tools in der eigenen Einrichtung:

• Fragen Sie Anbieter, ob eine Entscheidung durch das Sprachmodell selbst getroffen wird oder ob dahinter feste, prüfbare Regeln liegen.
• Prüfen Sie, ob sich jede Einzelentscheidung im Nachhinein nachvollziehen lässt – bis zur einzelnen extrahierten Zahl.
• Setzen Sie realistische Erwartungen an den Aufwand: Der Aufbau einer solchen Ontologie erfordert nach wie vor erhebliche fachliche und zeitliche Investition und lässt sich nicht auf Knopfdruck auf andere Fehlerarten übertragen.

Die Autoren betonen selbst, dass ihre Studie mit 300 Akten und einem einzelnen Anwendungsfall noch ein Proof of Concept ist. Der entscheidende Punkt bleibt aber unabhängig von der Fallzahl: SAFE-AI benötigte im Schnitt unter einer Minute pro Akte, während erfahrene Fachleute für eine zweiseitige Akte mehr als zehn Minuten brauchten. Bei Medikationsfehlern, die aktuell zu über 95 % unentdeckt bleiben, ist genau dieser Geschwindigkeitsgewinn – kombiniert mit nachvollziehbarer Logik statt Blackbox-Antwort – der eigentliche Fortschritt.