Aufklärung bei KI-Studien: Wenn selbst Forscher die Black Box nicht verstehen

Wer in den letzten Jahren an einer klinischen Studie mit KI-Komponente beteiligt war – sei es als Prüfzentrum, als Kooperationspartner einer Klinik oder als niedergelassene Praxis, die Patientendaten für ein KI-gestütztes Forschungsprojekt bereitstellt –, kennt das Problem aus eigener Erfahrung: Der Aufklärungsbogen liest sich wie für ein klassisches Studienmedikament, obwohl das eigentliche "Prüfprodukt" ein neuronales Netz ist, dessen Entscheidungslogik niemand im Studienteam vollständig erklären kann. Genau diesen Widerspruch greift ein aktueller Beitrag auf, der sich mit der Frage befasst, wie Informed Consent in der KI-Forschung aussehen muss, wenn selbst die Entwickler die Funktionsweise ihrer Modelle nicht lückenlos durchschauen (Informed Consent in der KI-Forschung: Dokumentation muss sich ändern).

Das strukturelle Problem

Informed Consent basiert auf einem einfachen Prinzip: Patientinnen und Patienten müssen verstehen können, worauf sie sich einlassen, damit ihre Einwilligung tatsächlich informiert ist. Bei einem neuen Wirkstoff lässt sich das – mit allen Einschränkungen – abbilden: Wirkmechanismus, bekannte Nebenwirkungen, Studienablauf. Bei vielen KI-Systemen, insbesondere bei Deep-Learning-Modellen, fehlt genau diese Erklärbarkeit auf einer fundamentalen Ebene. Es geht nicht darum, dass die Aufklärung zu kompliziert formuliert wäre – es geht darum, dass die zugrunde liegende Entscheidungslogik des Systems selbst für die Forschenden eine Black Box ist.

Das ist mehr als ein Kommunikationsproblem. Es stellt die Grundannahme des Informed-Consent-Konzepts infrage: Wie kann eine Einwilligung "informiert" sein, wenn ein zentraler Bestandteil der Intervention – das KI-Modell – nicht transparent erklärbar ist? Die Dokumentation, die diesem Dilemma gerecht werden soll, muss sich dementsprechend von klassischen Aufklärungsbögen unterscheiden.

Warum das für Ihre Praxis relevant ist

Dieses Thema betrifft längst nicht nur große Universitätskliniken mit eigenen KI-Forschungsabteilungen. Immer mehr niedergelassene Praxen und kleinere Kliniken werden in Studiennetzwerke eingebunden, die KI-gestützte Diagnostik- oder Entscheidungsunterstützungssysteme evaluieren – etwa bei der Bildauswertung in der Radiologie, der Dermatologie oder bei KI-basierten Risikoscores in der Inneren Medizin. Wer solche Studien mitträgt, ist mitverantwortlich für die Qualität der Aufklärung, auch wenn der Studienleiter oder Sponsor die Dokumente vorgibt.

Wenn Sie mit Studienzentralen oder CROs zusammenarbeiten, lohnt sich ein kritischer Blick auf die vorgelegten Aufklärungsbögen: Wird dort tatsächlich benannt, dass die Funktionsweise des KI-Systems nicht vollständig erklärbar ist? Oder wird – wie bei klassischen Interventionen – suggeriert, man kenne den Wirkmechanismus im Detail? Eine Aufklärung, die Transparenz vortäuscht, wo keine besteht, ist rechtlich und ethisch angreifbar.

Praktische Konsequenzen für Consent-Prozesse

Aus der beschriebenen Problematik lassen sich mehrere konkrete Handlungsfelder ableiten, die Sie bei der Überarbeitung von Aufklärungsunterlagen oder bei der Prüfung fremder Dokumente beachten sollten:

• Grenzen explizit benennen. Statt pauschaler Formulierungen wie "die KI analysiert die Daten" sollte dokumentiert werden, dass die genaue Entscheidungslogik des Systems auch dem Forschungsteam nicht vollständig bekannt ist. Das ist unbequem, aber ehrlicher als eine Scheintransparenz.
• Unsicherheit als eigenständigen Aufklärungspunkt behandeln. Nicht nur Risiken und Nebenwirkungen gehören in die Aufklärung, sondern auch die methodische Unsicherheit, die aus der fehlenden Erklärbarkeit resultiert.
• Rolle des Menschen im Entscheidungsprozess klarstellen. Wird die KI-Ausgabe von einer ärztlichen Fachperson überprüft und final verantwortet, oder fließt sie unmittelbar in die Versorgung ein? Dieser Unterschied muss für Patientinnen und Patienten nachvollziehbar sein.
• Dokumentation laufend aktualisieren. KI-Modelle werden im Studienverlauf häufig weiterentwickelt oder nachtrainiert. Eine einmal erstellte Einwilligungserklärung kann veralten, ohne dass dies den Beteiligten auffällt.

Fazit

Der Beitrag macht ein Problem sichtbar, das in der Praxis oft unter den Tisch fällt: Informed Consent setzt Verständlichkeit voraus, nicht nur für Patientinnen und Patienten, sondern letztlich auch für die Forschenden selbst. Wo diese Verständlichkeit an technische Grenzen stößt, darf die Aufklärung das nicht verschleiern. Wenn Sie an KI-gestützten Studien beteiligt sind, lohnt sich ein zweiter Blick auf die vorliegenden Einwilligungsdokumente – nicht aus juristischer Vorsicht allein, sondern weil ehrliche Aufklärung über Unsicherheit am Ende auch das Vertrauen in KI-gestützte Medizin insgesamt stärkt.