Künstliche Intelligenz (KI) hält Einzug in den Klinikalltag: Zunehmend stützen sich medizinische Entscheidungen auf selbstlernende Systeme. Im Projekt vALID untersuchten Forschende, welche rechtlichen und ethischen Herausforderungen damit einhergehen.
Digitalisierung und KI revolutionieren auch die medizinische Forschung und Versorgung – hier gilt es, ethische, rechtliche und soziale Fragen von Anfang an mitzudenken.
ipopba/Adobe Stock
Künstliche Intelligenz kann – und soll – menschliche Expertise nicht ersetzen, doch haben computer- und KI-gestützte Systeme immer größeren Anteil an ärztlichen Entscheidungen. Datenanalysen zum Beispiel können das Verständnis von Krankheiten grundlegend verändern und Medizinerinnen und Mediziner bei der Wahl der bestmöglichen Therapie unterstützen. Je mehr Daten Ärztinnen und Ärzte auch mithilfe von KI analysieren können, desto präziser können sie ihre Patientinnen und Patienten beraten und behandeln. Umgekehrt können auch Patientinnen und Patienten sich dank der Digitalisierung besser informieren und sich damit stärker als zuvor in ärztliche Entscheidungen einbringen.
All dies wird nicht nur die Rolle von Behandelnden und Betroffenen verändern, sondern wirft auch grundsätzliche ethische und rechtliche Fragen auf. Wie vertrauenswürdig und transparent sind solche Systeme? Welche Erwartungen richten sich an ihre Entwicklung und Herstellung? Was müssen Ärztinnen und Ärzte von der Funktionsweise einer KI verstehen, um ihrer Empfehlung folgen zu können oder sie zu verwerfen? Im Interview erläutert der ehemalige Vorsitzende des Deutschen Ethikrates, der Theologe Professor Dr. Peter Dabrock, Erkenntnisse aus dem von ihm geleiteten Verbundvorhaben vALID, das sich diesen Fragen mit finanzieller Förderung des Bundesministeriums für Bildung und Forschung (BMBF) widmete.
Welche Voraussetzungen müssen KI-Anwendungen erfüllen, um nutzbringend im Klinikalltag eingesetzt zu werden?
Die Einsatzmöglichkeiten reichen von der Unterstützung bei administrativen Aufgaben bis hin zu konkreten Diagnosevorschlägen. Daher kann die Antwort auf diese Frage sehr unterschiedlich ausfallen. Wenn man davon ausgeht, dass ein KI-System für die Behandlung eingesetzt wird, spielen zunächst rechtliche Rahmenbedingungen eine Rolle, beispielsweise die Zulassung als Medizinprodukt.
Bevor ein solches Produkt endgültig zugelassen werden kann, muss in der Entwicklung bereits ein langer Weg zurückgelegt werden, um den Nutzen des jeweiligen Systems sicherzustellen. Denn selbst wenn ein KI-System die ihm zugedachte Aufgabe gut lösen kann, ist das noch kein Garant dafür, dass es im praktischen Einsatz auch tatsächlichen Nutzen bringt. Die Verwendung und Akzeptanz des jeweiligen Systems hängen stark vom Kontext ab. Es kommt darauf an, wie Ärztinnen und Ärzte es tatsächlich einsetzen, ob Patientinnen und Patienten es akzeptieren und wie es in bestehende Kommunikationsprozesse und Klinikstrukturen integriert werden kann.
Sind die Kliniken darauf überhaupt schon ausreichend vorbereitet?
In vielerlei Hinsicht besteht hier noch Handlungsbedarf, gerade was den Umgang mit großen Datenmengen angeht, die ja die Voraussetzung für leistungsfähige KI-Systeme sind. Eine wichtige Aufgabe ist hier zunächst, die elektronische Patientenakte flächendeckend einzuführen, und selbst diesbezüglich gibt es noch einiges zu tun. So könnte man medizinische Daten standardisieren und auf diese Weise auch für die Forschung im KI-Bereich besser verfügbar machen. Für den Gesundheitssektor gilt jedoch immer mehr auch, dass nicht medizinisch erhobene Daten wie solche von Fitness- oder Ernährungsapps fruchtbar genutzt werden können. Hier gibt es in Deutschland ebenfalls nach wie vor Diskussionsbedarf, wie die individuelle Freiheit sowie Privatheit der Menschen hochgehalten werden kann und dennoch Möglichkeiten gefunden werden können, Daten für die Entwicklung relevanter KI-Systeme bereitzustellen. Ein erster, aber keineswegs hinreichender Schritt wird die Ausarbeitung und Verabschiedung des Gesundheitsdatennutzungsgesetzes sein. Als Ethiker ergänze ich, dass die Themen Datenspende und Vertrauenswürdigkeit der Systeme von entscheidender Bedeutung sein werden.
BMBF-Förderung für vALID
Das Bundesministerium für Bildung und Forschung (BMBF) unterstützte das Verbundvorhaben vALID im Rahmen der Forschung zu ethischen, rechtlichen und sozialen Aspekten (ELSA) der Digitalisierung, von Big Data und Künstlicher Intelligenz in der Gesundheitsforschung und -versorgung. Die Federführung lag bei Professor Peter Dabrock; gemeinsam mit Projektpartnern an der Leibniz Universität Hannover, am Deutschen Forschungszentrum für Künstliche Intelligenz und der Berliner Charité analysierten die Forschenden die Frage, wie KI-gesteuerte klinische Entscheidungsunterstützungssysteme mit dem Ideal der Arzt- und Patientensouveränität in Einklang gebracht werden können. Eine empirische Fallstudie untersuchte, wie vertrauenswürdig und transparent solche Systeme sind. Hierzu entwickelten die Forschenden Versuchsmodelle (sog. Mock-up-Simulationen), um die Einstellung von Behandelnden und Betroffenen zu einer Bandbreite von Designs und Implementierungen systematisch zu erfassen.
Bei KI geht es immer auch um Transparenz und Verantwortung. Wer hat das letzte Wort und trägt die rechtliche und moralische Verantwortung?
Wie können KI-Systeme so entwickelt werden, dass sie vertrauenswürdig sind? Wie kann Transparenz hergestellt werden? Wem kann Verantwortung für potenzielle Fehler zugesprochen werden? Dies ist eine der zentral debattierten Fragen beim Einsatz von KI in der Klinik. Klar ist, dass unter Berücksichtigung von informierter Einwilligung und von Shared-Decision-Making Ärztinnen und Ärzten aufgrund ihrer Rolle als medizinisch Letztentscheidenden oft auch die Verantwortung für den Einsatz von KI-Systemen zukommt. Tatsächlich haben wir in unseren empirischen Studien auch festgestellt, dass Medizinerinnen und Mediziner selbst schnell bereit sind, die Verantwortung zu übernehmen. Ob das immer gerecht ist, ist jedoch eine andere Frage, zumal davon ausgegangen werden kann, dass eine vollständige Transparenz komplexer KI-Systeme in Zukunft nicht realistisch ist. Daher kann nicht davon ausgegangen werden, dass Behandelnde jederzeit in Gänze verstehen können, wie genau ein KI-System zu seinen Einschätzungen kommt. Es wird daher wichtig sein, Methoden zu entwickeln, die relevante Eigenschaften von KI-Systemen auch ohne vollständiges Verständnis des Systems erklärbar darstellen können. Dazu kann man überlegen, Verantwortungsfragen neu auszugestalten. Beispielsweise gibt es bereits Ansätze, bei denen durch sogenannte Quotelungen auch Entwickler und Hersteller rechtlich zur Verantwortung gezogen werden können. Aber für all das muss das Patientenschutz-, Produkt- und Arzthaftungsrecht nicht grundlegend neu erfunden werden.
Professor Dr. Peter Dabrock
FAU/Giulia Iannicelli
Ein Ziel des vALID-Verbundes war die Entwicklung von Handlungsempfehlungen – wo besteht aus Ihrer Sicht der dringendste Handlungsbedarf?
Am wichtigsten ist aus unserer Sicht eine anwendungsorientierte Entwicklung. All die ethischen, rechtlichen und sozialen Herausforderungen über die Frage nach Vertrauen und Transparenz bis hin zur Veränderung der Beziehung zwischen Ärztinnen und Ärzten und Patientinnen und Patienten müssen in der Entwicklung der KI-Systeme von Beginn an eine Rolle spielen. Deshalb gilt es, alle beteiligten Akteure partizipativ in die Entwicklung und Implementierung neuer KI-Systeme einzubeziehen.
Wie geht es nach dem Abschluss des Vorhabens weiter?
Oft werden im Forschungsprozess mehr Fragen aufgeworfen als beantwortet. Besonders relevant ist unserer Ansicht nach, mehr empirische Daten darüber zu sammeln, wie KI-Systeme die Arzt-Patienten-Beziehung beeinflussen. Dieser Frage geht eine ethische Debatte darüber voraus, wie klinische Entscheidungsfindung überhaupt ausgestaltet werden sollte. Als Goldstandard gelten hier das sogenannte Shared-Decision-Making bzw. die partizipative Entscheidungsfindung. Bei diesem Konzept geht es darum, gemeinsame und patientenorientierte Entscheidungen möglich zu machen. Die Erkenntnisse aus vALID wollen wir nutzen, um weiter an der Frage zu forschen, wie der Einsatz von KI mit dem Konzept des Shared-Decision-Making vereinbart werden kann.
Originalpublikation:
Samhammer, D., Beck, S., Budde, K., Dabrock, P., et al. (2023). Klinische Entscheidungsfindung mit Künstlicher Intelligenz. Ein interdisziplinärer Governance-Ansatz. Springer 2023, Open Access. DOI: 10.1007/978-3-662-67008-8
Ansprechpartner:
Prof. Dr. Peter Dabrock
Philosophische Fakultät und Fachbereich Theologie – Institut für Systematische Theologie – Lehrstuhl für Systematische Theologie II (Ethik)
Friedrich-Alexander-Universität Erlangen-Nürnberg
Kochstraße 6
91054 Erlangen
E-Mail: peter.dabrock@fau.de
