Strahlentherapie-Zwischenfälle: Können LLMs bei der Root-Cause-Analyse helfen?
Eine Machbarkeitsstudie mit vier LLMs an 19 realen RO-ILS-Fällen zeigt, wo KI-gestützte Fehleranalysen in der Strahlentherapie heute schon tragen – und wo Halluzinationsraten von bis zu 61 % zur Vorsicht mahnen.
Mit KI-Unterstützung erstellt · redaktionell geprüft und verantwortet von Steven Breuer.
Root-Cause-Analysen (RCA) gehören zu den aufwendigsten, aber auch wichtigsten Instrumenten der Qualitätssicherung in der Strahlentherapie. Nach den AAPM-Empfehlungen braucht es ein multidisziplinäres Team, eine chronologische Rekonstruktion des Vorfalls, die wiederholte „Warum-Frage" und am Ende belastbare Ursachen- und Maßnahmenkataloge. Das kostet Zeit – Zeit, die in vielen Abteilungen knapp ist. Eine aktuelle Machbarkeitsstudie untersucht deshalb, ob Large Language Models (LLMs) diesen Prozess sinnvoll unterstützen können. Die Ergebnisse sind differenziert, aber für Praxis-Verantwortliche durchaus handlungsrelevant.
Was genau wurde getestet?
Das Forschungsteam nutzte 19 öffentlich zugängliche Fälle aus dem Radiation Oncology Incident Learning System (RO-ILS), das von der American Society for Radiation Oncology (ASTRO) betrieben wird. Jeweils der Abschnitt „Background and Incident Overview" diente als Input für vier aktuelle Modelle: Gemini 2.5 Pro, GPT-4o, o3 (alle von Google bzw. OpenAI) und Grok 3. Die Modelle sollten – anhand eines standardisierten, an den AAPM-Vorgaben orientierten Prompts – eine vollständige RCA erstellen: chronologischer Ablauf, Ursache-Wirkungs-Diagramm, Kausalaussagen, Lessons Learned und konkrete Handlungsempfehlungen.
Die von Experten verfassten Originalabschnitte zu Root Causes, Lessons Learned und Suggestions dienten als Goldstandard. Fünf board-zertifizierte Medizinphysiker bewerteten die KI-Ausgaben anschließend nach Precision, Recall, F1-Score, expertenadjudizierter Positive-Predictive-Value (PPV), Halluzinationsrate sowie subjektiven Kriterien wie Relevanz, Vollständigkeit, Begründungsqualität und Lösungsqualität (Quelle).
Die Zahlen im Überblick
Bei der reinen Ursachenerkennung lagen alle vier Modelle statistisch gleichauf: Precision (0,61–0,70), Recall (0,69–0,80) und F1-Score (0,64–0,73) unterschieden sich nicht signifikant. Die semantische Ähnlichkeit zum Referenztext erreichte im Schnitt bis zu 0,83 (Kosinus-Ähnlichkeit, Gesamttext).
Deutliche Unterschiede zeigten sich jedoch bei der expertenadjudizierten PPV und – besonders relevant für die klinische Praxis – bei der Halluzinationsrate: Gemini 2.5 Pro erzielte mit 11 % die niedrigste Rate fabrizierter oder unbelegter Aussagen, gefolgt von Grok 3 (29 %) und GPT-4o (32 %). o3 fiel mit 61 % deutlich ab. Auch in den subjektiven Bewertungen – Begründungsqualität, Gesamtleistung, logisches Schlussfolgern – lag Gemini 2.5 Pro konsistent vorne, während o3 am schwächsten abschnitt.
Die Interrater-Übereinstimmung der Physiker war für die binäre Halluzinationsbewertung mit einem Gwet's AC1 von 0,623 moderat bis gut, für die ordinalen Kriterien lag sie im ähnlichen Bereich – ein Hinweis darauf, dass auch menschliche Experten bei der Bewertung von RCA-Qualität nicht immer einig sind.
Was bedeutet das für Ihre Abteilung?
Drei praktische Schlussfolgerungen lassen sich aus der Studie ableiten:
Erstens, LLMs können als Erstentwurf-Werkzeug im RCA-Prozess taugen. Die Autoren selbst rahmen den Einsatz explizit als unterstützenden, initialen Schritt – nicht als Ersatz für das multidisziplinäre Team. Ein Modell, das in Minuten einen strukturierten Entwurf mit chronologischer Rekonstruktion und Kausalaussagen liefert, kann die Sitzung des Sicherheitsteams vorbereiten, ersetzt aber nicht dessen fachliche Freigabe.
Zweitens, die Modellwahl ist keine Nebensächlichkeit. Eine Schwankung der Halluzinationsrate zwischen 11 % und 61 % ist in einem sicherheitskritischen Kontext ein erheblicher Unterschied. Wer ein solches Tool pilotiert, sollte nicht „ein LLM", sondern ein konkret evaluiertes Modell einsetzen und die Wahl dokumentieren.
Drittens, jede KI-generierte Ursachenanalyse muss von einem Medizinphysiker oder einer vergleichbar qualifizierten Fachkraft geprüft werden, bevor sie in Maßnahmen übersetzt wird. Die expertenadjudizierte PPV lag selbst beim besten Modell bei 0,92 – gut, aber kein Freifahrtschein für ungeprüfte Übernahme.
Fazit
Die Studie liefert damit eine seltene, methodisch saubere Grundlage für den Einsatz von LLMs in einem hochsensiblen Bereich der Medizin. Für Strahlentherapie-Zentren, die über den Einsatz solcher Werkzeuge nachdenken, heißt das konkret: Ein Pilotprojekt mit einem sorgfältig ausgewählten Modell, klar definierten Freigabeprozessen und einer kontinuierlichen Erfolgskontrolle ist machbar – ein unkontrollierter Produktiveinsatz ohne menschliche Letztprüfung dagegen nicht zu verantworten.