Die 'Drafting Fiction' bei KI-Scribes: Warum provisorische KI-Dokumentation zur Haftungsfalle wird

KI-gestützte Dokumentationsassistenten – sogenannte AI-Scribes – versprechen, Ärztinnen und Ärzten Schreibarbeit abzunehmen: Sie hören Konsultationen mit, erzeugen Transkripte und generieren strukturierte Zusammenfassungen für die elektronische Patientenakte. Die Einführung solcher Systeme läuft in vielen Kliniken bereits an, oft mit dem Argument, Zeit für Dokumentation gegen Zeit für Patientenversorgung zu tauschen. Was dabei regelmäßig untergeht: Wer genau prüft die KI-generierten Texte, wie gründlich, und wie viel Zeit dafür eingeplant ist, bleibt in den meisten offiziellen Leitlinien erstaunlich vage.

Eine aktuelle Analyse in PLOS Digital Health hat dieses Problem systematisch untersucht. Die Autorin bzw. der Autor wertete 74 öffentlich zugängliche, englischsprachige Regulierungsdokumente aus – von Gesundheitsbehörden, Datenschutzbeauftragten, Berufsregulatoren, Medizinprodukteaufsichten und Gesundheitssystemorganisationen (PMC13641376). Nur 13 dieser Dokumente adressieren AI-Scribes direkt, etwa Leitlinien des NHS England oder der Australian Commission on Safety and Quality in Health Care. Die übrigen 61 Dokumente betreffen das Thema nur indirekt – über Datenschutzrecht, Berufspflichten oder Medizinprodukterecht – regeln aber genau jene Mechanismen, die für den sicheren Einsatz von KI-Scribes entscheidend sind.

Der zentrale Befund: die „Drafting Fiction"

Die Studie prägt dafür den Begriff der „Drafting Fiction" – ein analytisches Konstrukt, das ein wiederkehrendes Muster über alle Dokumente hinweg beschreibt: KI-generierter klinischer Text gilt so lange als vorläufig, bis eine Ärztin oder ein Arzt ihn überprüft und autorisiert hat. Dieses Prinzip taucht in unterschiedlichster institutioneller Verpackung auf. Wenn NHS England von Organisationen verlangt, einen Clinical Safety Officer zu benennen und eine DCB0160-Dokumentation zu erstellen, konstruiert das lokale Sicherheitsverantwortung. Wenn die Datenschutzaufsicht Ontarios fordert, KI-generierte Einträge vor der Übernahme in die elektronische Akte zu überprüfen, geht es um Datenschutz und Dateneinheit. Wenn der Medical Council of New Zealand betont, KI sei „kein Ersatz" für klinisches Urteilsvermögen, geht es um die nicht delegierbare Berufspflicht.

Diese Aussagen klingen ähnlich, meinen aber Unterschiedliches – und keine von ihnen definiert, was eine „angemessene Überprüfung" konkret bedeutet: Wie lange sollte diese dauern? Welche Fehlerarten muss sie erkennen? Wer trägt die Verantwortung, wenn die Zeit dafür in der Praxis fehlt?

Verifikation als zentrales Sicherheitsversprechen – ohne operative Substanz

Die Studie zeigt, dass Verifikation in der direkten AI-Scribe-Guidance zwar als das zentrale Sicherheitsinstrument behandelt wird. Organisatorische Sicherheitsnachweise, Lieferanten-Due-Diligence und Datenschutz-Folgenabschätzungen reduzieren Unsicherheit auf Produktebene. Was diese Dokumente aber nicht leisten: Sie definieren nicht die konkrete Unterstützung, die Ärztinnen und Ärzte im Behandlungsmoment brauchen, um Halluzinationen, Auslassungen, Automatisierungsbias oder Modell-Drift zu erkennen.

Hinzu kommt ein regulatorisches Grenzproblem: Die Einordnung als Medizinprodukt verschiebt sich, sobald eine reine Transkription zu einer Zusammenfassung wird – denn Zusammenfassen interpretiert Daten und kann klinische Implikationen tragen. Für viele Systeme, die beides kombinieren, ist diese Grenze in der Praxis unscharf.

Praktische Konsequenzen für Kliniken und Praxen

Für Einrichtungen, die vor der Einführung von KI-Dokumentationsassistenten stehen, lassen sich aus den Befunden konkrete Handlungsfelder ableiten – auch wenn verbindliche deutsche oder EU-weite Standards für diese Fragen noch aussteht:

1. Verifikationszeit einplanen statt stillschweigend voraussetzen. Wenn Verifikation der zentrale Schutzmechanismus ist, muss sie als reservierte Arbeitszeit im Praxisablauf erscheinen – nicht als unbezahlte Zusatzaufgabe am Ende eines vollen Sprechstundentags.
2. Prüfkriterien konkretisieren. Eine interne Checkliste sollte festlegen, welche Textelemente besonders fehleranfällig sind (Medikation, Dosierung, Anamnese-Details, Negativbefunde) und wie Auslassungen systematisch erkannt werden.
3. Zuständigkeit klären, bevor das System läuft. Wer in der Organisation verantwortet die Freigabe – analog zum Clinical Safety Officer im NHS-Modell? Diese Rolle sollte benannt, nicht implizit vorausgesetzt werden.
4. Einwilligung und Widerspruch ernst nehmen. Die Studie weist darauf hin, dass Consent-Praktiken über die Dokumente hinweg uneinheitlich sind. Patientinnen und Patienten brauchen einen tatsächlich nutzbaren Weg, der Aufzeichnung zu widersprechen, ohne dass dies zur Hürde für die Behandlung wird.
5. Leistung über Sprachvarianten beobachten. Die Studie fordert ausdrücklich ein Monitoring der Systemleistung über Akzente, Sprachen und Sprechbesonderheiten hinweg – ein Punkt, der in heterogenen Patientenpopulationen direkt haftungsrelevant wird.

Die „Drafting Fiction" funktioniert nur so lange, wie tatsächlich jemand liest, prüft und korrigiert. Genau diese Arbeit ist in der aktuellen Regulierungslandschaft beschrieben, aber nicht abgesichert. Praxen und Kliniken, die das nicht selbst organisieren, übernehmen ein Risiko, das formal beim Vendor oder beim System zu liegen scheint – faktisch aber bei der unterschreibenden Ärztin oder dem unterschreibenden Arzt verbleibt.