KI-Bilddiagnostik: Warum Regulierung Datenmanipulation nicht abfängt
Eine aktuelle Analyse zeigt, dass CE-Kennzeichnung und internationale Leitlinien Sicherheitslücken gegen gezielte Datenmanipulation bei KI-Bildanalyse nicht schließen – mit konkreten Konsequenzen für den Praxisalltag.
Mit KI-Unterstützung erstellt · redaktionell geprüft und verantwortet von Steven Breuer.
KI-gestützte Bildanalyse ist in vielen Fachbereichen längst Alltag – von der Mammographie-Befundung bis zur Erkennung von Lungenrundherden. Wer ein solches System in Betrieb nimmt, verlässt sich in der Regel auf die CE-Kennzeichnung und die damit verbundenen regulatorischen Vorgaben. Eine aktuelle Analyse in PLOS Digital Health zeigt jedoch: Diese Vorgaben schützen nicht ausreichend vor einem der konkretesten Risiken – der gezielten Manipulation der zugrunde liegenden Bilddaten (PMC13667779).
Was Regulierung heute leistet
Die Autorinnen und Autoren haben internationale und EU-Dokumente zu KI-Bilddiagnostik systematisch ausgewertet und fünf thematische Kategorien identifiziert, die den regulatorischen Rahmen prägen: Datenbasis, Zuverlässigkeit, Nachvollziehbarkeit, Offenlegung und Nutzbarkeit. In der EU sind viele dieser Punkte verbindlich geregelt – etwa die Pflicht zur klinischen Evaluation, zum Post-Market-Monitoring oder zur Datenvalidierung. International dagegen existiert kaum verbindliches Recht; es dominieren Empfehlungen, denen Staaten und Hersteller freiwillig folgen können.
Für die Praxis bedeutet das zunächst: Ein CE-gekennzeichnetes System hat einen definierten Mindeststandard durchlaufen. Es wurde getestet, die Datenbasis wurde bewertet, Gebrauchsanweisungen liegen vor. Das ist mehr, als viele andere Software-Kategorien im Gesundheitswesen vorweisen müssen.
Die Lücke: Angriffe auf die Bilddaten selbst
Der eigentliche Befund der Analyse betrifft jedoch etwas, das keine Konformitätsprüfung zuverlässig abdeckt: die Anfälligkeit bildbasierter KI-Systeme für sogenannte adversariale Angriffe. Medizinische Bilddaten sind komplex und hochvariabel – unterschiedliche Scanner, Protokolle, Kontrastmittel, Rauschpegel. Genau diese Komplexität macht sie anfällig für gezielte, oft für das menschliche Auge unsichtbare Veränderungen.
Die Studie verweist auf ein konkretes Beispiel: In einer Untersuchung gelang es, Mammographie-Bilder so zu manipulieren, dass diagnoserelevante Inhalte verändert wurden – mit dem Ergebnis, dass das KI-Modell zu falschen Brustkrebsdiagnosen kam. Ein zweites Risiko ist Data Poisoning: Werden bereits die Trainingsdaten eines Systems gezielt verfälscht, kann das zu systematisch verzerrten, diskriminierenden Ergebnissen führen – etwa zulasten bestimmter Patientengruppen.
Gegen beide Angriffsformen gibt es Abwehrmechanismen. Das Problem: Sie befinden sich in einem permanenten Wettlauf mit immer ausgefeilteren Angriffsmethoden. Die Analyse kommt zu dem Schluss, dass die technische Machbarkeit von Sicherheitsmaßnahmen gegen böswillige Datenmanipulation derzeit schlicht nicht ausreicht, um einen dauerhaft konformen, sicheren Diagnosebetrieb zu garantieren – unabhängig davon, wie gut ein System zum Zeitpunkt der Zulassung geprüft wurde.
Warum das für Sie relevant ist
Für Praxen und Kliniken folgt daraus eine wichtige Unterscheidung: Konformität zum Zeitpunkt der Markteinführung ist nicht gleichzusetzen mit dauerhafter Sicherheit im laufenden Betrieb. Ein System kann regulatorisch vollständig compliant sein und trotzdem im Alltag Schwachstellen gegenüber manipulierten Eingabedaten aufweisen – sei es durch gezielte Angriffe auf die IT-Infrastruktur oder durch unbemerkte Qualitätsmängel in der Bildakquisition.
Die Studie macht zudem deutlich, dass Post-Market-Monitoring zwar vorgeschrieben ist, aber nach aktuellem Stand keine vollständig verlässliche Bewertung der KI-Performance im Feld ermöglicht. Fehler, die in der Vorab-Prüfung nicht sichtbar wurden, lassen sich auch im laufenden Betrieb nicht zuverlässig aufdecken.
Praktische Konsequenzen
Daraus lassen sich für den Praxisalltag drei konkrete Ansatzpunkte ableiten:
- Herstellerangaben kritisch hinterfragen. CE-Kennzeichnung bedeutet erfüllte Mindeststandards, nicht Immunität gegen Datenmanipulation. Fragen Sie aktiv nach, welche Sicherheitstests über die reine Zulassung hinaus regelmäßig durchgeführt werden.
- Eigenes Monitoring etablieren. Auffällige Diagnosemuster, unerwartete Ausreißer oder Diskrepanzen zwischen KI-Befund und klinischem Bild sollten dokumentiert und – wo möglich – an Hersteller oder Meldestellen zurückgespielt werden. Post-Market-Monitoring lebt von genau diesen Rückmeldungen aus der Praxis.
- IT-Sicherheit der Bildketten mitdenken. Der Schutz vor Datenmanipulation beginnt nicht erst beim KI-Modell, sondern bei der Absicherung der gesamten Infrastruktur – von der Bildaufnahme über die Übertragung bis zur Speicherung.
Die Analyse liefert keinen Anlass, auf KI-Bildanalyse zu verzichten – ihr Nutzen für Diagnosegeschwindigkeit und -qualität ist unbestritten. Sie liefert aber einen klaren Hinweis darauf, dass regulatorische Konformität allein kein ausreichendes Sicherheitsnetz darstellt. Wer KI-Bildanalyse einsetzt, sollte Monitoring und kritische Prüfung als festen Bestandteil des Betriebs verstehen – nicht als einmalige Hürde bei der Einführung.