Der Einsatz von Künstlicher Intelligenz im Gesundheitswesen. Ausgewählte haftungsrechtliche Probleme gegenüber Patienten

Inhaltsverzeichnis

Abkürzungsverzeichnis

A. Einleitung

B. KI im Überblick
I. Abgrenzung der „schwachen" KI zur „starken" KI
1. Expertensysteme
2. Lernende Systeme
II. Einsatz von KI im Gesundheitswesen
1. Anwendungen in der Medizin
2. Einordnung der KI-Systeme als Medizinprodukt
III. Zwischenfazit

C. Ausgewählte haftungsrechtliche Probleme
I. Herausforderungen für das Haftungsrecht
II. Vertragliche Haftung
1. Abschluss eines Behandlungsvertrages durch eine KI
a) Abgabe einer Willenserklärung durch eine KI
b) Zurechnung der Willenserklärung zum Betreiber
aa) Analoge Anwendung der Computererklärung
bb) KI als Erklärungsbote
cc) KI als Vertreter
c) Zwischenfazit
2. Haftung des Betreibers aus §§ 280 Abs. 1 i.V.m. 630a BGB ..
a) Schuldverhältnis
b) Pflichtverletzungen
c) Vertretenmüssen des Vertragsschuldners
aa) Verletzung von Verkehrs- und Sorgfaltspflichten
bb) Abweichung vom Facharztstandard
cc) Aufklärungsfehler
dd) Zurechnung des Verschuldens Dritter
d) Haftungsbegründende Kausalität
aa) Äquivalente Kausalität
bb) Adäquate Kausalität
e) Beweislast bei voll beherrschbaren Behandlungsfehlern..
f) Zwischenfazit
III. Deliktische Haftung / Produkthaftung
1. Haftung der KI aus § 823 Abs. 1 BGB
2. Haftung des Betreibers aus § 823 Abs. 1 BGB
a) Analogie zur vertraglichen Haftung des Betreibers
aa) Zurechnung des Verschuldens Dritter
bb) Beweislast bei voll beherrschbaren Behandlungsfehlern
b) Zwischenfazit
3. Haftung des Betreibers aus § 831 Abs. 1 BGB
4. Haftung des Herstellers aus § 1 ProdHaftG
a) Inanspruchnahme und Herstellerverantwortung
b) KI-Systeme als Produkt im Sinne des ProdHaftG
c) Vorliegen eines Fehlers
aa) Berechtigterweise zu erwartende Sicherheit
bb) Zeitpunkt des Inverkehrbringens
cc) Haftungsentlastung für Entwicklungsfehler
d) Beweislast
e) Zwischenfazit
5. Haftung des Herstellers aus § 823 Abs. 1 BGB
a) Verantwortlichkeit des Herstellers
b) Beweislast
c) Zwischenfazit

D. Mögliche Lösungsansätze
I. Einführung einer digitalen Rechtsperson
1. Abgrenzungsproblematik
2. Fehlende Vermögensfähigkeit
3. Fehlender Wille und fehlende Moralvorstellung
4. Zwischenfazit
II. Einführung einer Gefährdungshaftung des Betreibers

E. Fazit

Schrifttumsverzeichnis

Rechtsprechungsverzeichnis

Quellenverzeichnis

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

A. Einleitung

Die heutige Welt befindet sich in einem sehr rasanten digitalen Wandel. Der digitale Wandel sorgt nicht nur im privaten Umfeld für Veränderungen, sondern auch die Arbeitswelt befindet sich branchenübergreifend im Umbruch. Immer bedeutender werden die Themen Internet of Things und Künstliche Intelligenz (KI). Ein Smart Home, virtuelle Chatbots, Sprachassistenten oder das assistierte Fahren sind für viele Menschen bereits ein fester Bestandteil des Alltags.

Mit dem Einsatz von KI sollen vor allem digitale Innovationen geschaffen werden, die die deutsche Wettbewerbsfähigkeit erhalten¹. Unter anderem hat die Bundesregierung hierzu die Strategie Künstliche Intelligenz im November 2018 verabschiedet. Diese sieht die Förderung von vielfältigen Anwendungsmöglichkeiten von KI in allen Bereichen der Gesellschaft vor. Deutschland soll zum führenden KI-Standort werden und hierbei soll immer der Nutzen für Mensch und Umwelt im Vordergrund stehen². Es ist zu erwarten, dass der Einsatz von KI das gesellschaftliche Leben enorm verändern wird.

Ein vielversprechendes Anwendungsgebiet für den Einsatz ist die Medizin. Der Ausbau der Digitalisierung im Gesundheitswesen ist bereits zu spüren³. Neben der Einführung der elektronischen Patientenakte, der Telemedizin und des 3D- Drucks, wird immer mehr an dem Einsatz und dem Ausbau von künstlich intelligenten Systemen geforscht⁴. Durch den Einsatz von KI soll u. a. die Diagnostik von Krankheiten präziser und schneller erfolgen. Weiterhin sollen besonders schwere und chronische Krankheiten besser behandelt werden, indem die KI auf eine Vielzahl von Datensätzen zurückgreift und Muster und Gesetzmäßigkeiten erkennt⁵.

Auch der Abschluss von Behandlungsverträgen mit den Patienten⁶ und die Durchführung von Operationen und Behandlungen durch eine KI ist in der Zukunft durchaus denkbar.

Doch wem wird das Handeln der künstlich intelligenten Systeme zugerechnet, wenn ein System allein Verträge schließt, eigenständig lernt und Entscheidungen trifft? Diese Frage stellt sich vor allem dann, wenn es zu einem Behandlungsfehler kommt und von dem Patienten Schadensersatzansprüche oder Schmerzensgelder geltend gemacht werden. Wen soll ein Geschädigter in Anspruch nehmen, wenn kein Mensch, sondern ein System gehandelt hat und wie werden Beweise geführt? Es ist zu bedenken, dass das nationale Haftungsrecht nicht nur darauf abzielt, dass Geschädigte eine berechtigte Entschädigung erhalten, sondern auch einen wirtschaftlichen Anreiz für haftende Personen darstellt, Schäden zu vermeiden⁷. Diese Grundsätze sollten auch bei dem Einsatz von KI eingehalten werden.

Spezifische Haftungsregelungen für KI-Systeme gibt es im nationalen Recht noch nicht. Da KI somit auch aus juristischer Sicht Neuland ist, wird von vielen Seiten von der Legislative gefordert, dass neue Haftungsregelungen eingeführt werden müssen. Fraglich ist, ob dies notwendig ist oder das nationale Zivilrecht auf den Einsatz von KI im Gesundheitswesen bereits vorbereitet ist und lediglich einzelne Rechtsnormen angepasst werden müssen.

Es ist einleuchtend, dass neue Technologien erst erfolgreich am Markt eingeführt werden können, wenn der Einsatz von KI in der Gesellschaft akzeptiert wird und das wird erst der Fall sein, sofern zumindest klare rechtliche und ethische Regelungen und Leitlinien auf europäischer oder nationaler Ebene be- stehen⁸. Im Jahr 2020 hat der TÜV Verband eine repräsentative Unternehmensbefragung in Deutschland in Bezug auf den Einsatz von KI durchgeführt. Die Studienergebnisse zeigen, dass gerade einmal 11% der befragten Unternehmen derzeit KI einsetzen, allerdings auch 19% den Einsatz planen und diskutieren⁹. Weiterhin befürchten 42% der Befragten rechtliche Probleme und 81% gehen davon aus, dass in den meisten Unternehmen Verunsicherung herrscht, wenn es um den Einsatz von KI geht¹⁰. 61% der Unternehmen wünschen sich gesetzliche Regelungen, um die Haftung bei KI-Systemen zu klären¹¹. Die Studie bestätigt, dass KI noch nicht flächendeckend Akzeptanz findet und ein Grund hierfür besonders auch in der Sorge vor rechtlichen Problemen liegen wird.

In der vorliegenden Bachelorarbeit wird untersucht, welche haftungsrechtlichen Fragestellungen bzw. Probleme sich bei dem Einsatz von KI im Gesundheitswesen gegenüber Patienten ergeben und ob die geforderte Einführung neuer Haftungsregelungen wirklich notwendig ist.

Hierzu wird zunächst eine Definition des Begriffs der KI herausgearbeitet und erläutert, wie der Einsatz im Gesundheitswesen erfolgen kann. Im Schwerpunkt werden sodann, beginnend mit dem Vertragsrecht, ausgewählte Haftungsrisiken analysiert. Es wird zudem geprüft, ob ein Vertragsabschluss durch eine KI rechtlich überhaupt möglich ist und eine KI somit Vertragsschuldner werden kann. Einzelne Rechtsnormen zum zivilrechtlichen Haftungsrecht werden auf die Anwendbarkeit geprüft und Problematiken herausgestellt. Abschließend werden mögliche Lösungsansätze skizziert.

B. KI im Überblick

KI ist ein Teilgebiet der Informatik, da KI auf Algorithmen basiert. Algorithmen sind programmierte Handlungsanweisungen, um ein Problem zu lösen¹². Um KI rechtlich einordnen und haftungsrechtliche Probleme diskutieren zu können, bedarf es zunächst einer Definition.

Eine einheitliche Definition für den Begriff KI gibt es nicht¹³. Der Begriff wurde bereits Ende der 50er Jahre entwickelt und da sich die technischen Entwicklungen seitdem sehr stark verändert haben, muss der Begriff immer wieder neu eingeordnet werden¹⁴. Gemäß dem aktuellen Forschungsstand besitzt ein System oder eine Maschine künstliche Intelligenz, wenn intelligente Verhaltensweisen und Grundzüge gezeigt werden, die der Vorgehensweise eines Menschen ähneln¹⁵.

Um intelligent zu sein, muss das System die vier Kernfähigkeiten Wahrnehmen, Verstehen, Handeln und Lernen ausweisen¹⁶. Abstrakt bedeutet dies, dass die KI durch Sensoren wie Kameras, Mikrofone, Tastsensoren etc. die Umgebung wahrnimmt, die wahrgenommenen Daten erfasst, analysiert und interpretiert, aus diesen Schlussfolgerungen zieht und sie letztendlich umsetzt¹⁷. Besonders relevant sind hierbei die Fähigkeiten Verstehen und Lernen, denn auszeichnend für eine KI ist im Gegensatz zu einem klassischen EDV- System, dass die KI in diesen Kernfähigkeiten trainiert werden kann und somit fortlaufend bessere Ergebnisse erzielen wird¹⁸.

Es handelt sich im Wesentlichen immer um Programme zur Datenverarbeitung, also um Softwaresysteme¹⁹. Ein KI-System kann in unterschiedlichen Erscheinungsformen auftreten. Es kann rein softwarebasiert arbeiten (z. B. Sprachassistenten, Bilderkennungssysteme) oder in einer Hardware eingearbeitet sein (z. B. Roboter)²⁰. Im Folgenden ist unter dem Begriff KI-System jede Form von KI-gestützter Software oder Hardware zu verstehen.

Im Speziellem gibt es unterschiedliche Ausprägungen von KI-Systemen und angewandte Methoden, die nachstehend abstrakt und vereinfacht dargestellt werden.

I. Abgrenzung der „schwachen“ KI zur „starken“ KI

Man kann zwischen zwei Arten der KI unterscheiden. Zum einen die „schwache" KI, die gegenwärtig bereits existiert, zum anderen die „starke" KI, die derzeit noch visionär ist²¹.

Die „starke" KI soll zukünftig in der Lage sein die meisten Aufgaben, zu denen auch ein Mensch befähigt ist, zu bewältigen²². Hierzu sind allerdings noch Forschungsentwicklungen notwendig, denn eine „starke" KI muss dann auch zu alltäglichem Denken und einem Ichbewusstsein in der Lage sein und mithin die Fähigkeit besitzen, ihren Zweck und das Ziel der Handlung selbst zu bestimmen²³.

Systeme, die über „schwache" KI verfügen, sind hingegen vom Menschen so vorprogrammiert, dass sie eine wesentliche Aufgabe erledigen können²⁴. Im Rahmen der bereits angewandten, „schwachen" KI-Systeme, gibt es Expertensysteme und lernende Systeme.

1. Expertensysteme

Bei Expertensystemen handelt es sich um KI-Systeme, die aufgrund einer großen Menge an Expertenwissen in Bezug auf ein spezifisches Fachgebiet Problemlösungen und Handlungsempfehlungen herleiten können²⁵. Ein Expertensystem funktioniert, indem das Wissen und die Schlussfolgerungen durch Wenn-Dann-Funktionen vorprogrammiert werden²⁶. Das System kann sich nicht verändern oder selbst optimieren.

2. Lernende Systeme

Lernende Systeme kennzeichnet im Gegensatz zu Expertensystemen, dass die Algorithmen ohne vorhergehende Programmierung für jeden Einzelfall insbesondere auch aus früheren Handlungen, gemachten Fehlern und Rückmeldungen lernen und das Verhalten bei neuen Situationen anpassen und optimieren können²⁷. Der zuvor festgelegte Algorithmus wird verändert und das KI-System wird somit autonom tätig. Um dies zu erreichen wird häufig maschinelles Lernen eingesetzt. Ein Teilgebiet des maschinellen Lernens sind die künstlich neuronalen Netze, die durch ihre enorme Verknüpfung der Funktionsweise eines menschlichen Gehirns ähneln sollen²⁸. Hierdurch können besonders komplexe Sachverhalte bewältigt werden, bei denen bisher angenommen wurde, dass sie einem Menschen vorbehalten sind. Werden große neuronale Netze eingesetzt, bezeichnet man dies als Deep Learning. Diese Methode zählt zu den derzeit erfolgreichsten Methoden im Rahmen von Künstlicher Intelligenz²⁹.

II. Einsatz von KI im Gesundheitswesen

Das deutsche Gesundheitswesen leidet unter einem Fachkräftemangel, der sich in den kommenden Jahren immer weiter zuspitzen wird³⁰. Durch den Einsatz von KI können Ärzte unterstützt werden, denn die Auswertung der großen vorhandenen Datenmenge kann durch eine KI schneller und effizienter erfolgen³¹. Im Vordergrund steht hierbei die Workflow-Unterstützung, Erfassung von Beschwerden, Diagnose von Krankheiten, Therapieentscheidung und die klinische Forschung durch ein KI-System³².

1. Anwendungen in der Medizin

Das bekannteste KI-System in der Medizin ist derzeit das Programm „Watson", das von IBM entwickelt wurde und vor allem in der Krebstherapie Anwendung finden wird, da das KI-System Daten aus verschiedensten Quellen zusammentragen und wichtige Zusammenhänge verstehen und wiedergeben kann³³.

Auch wurde bei einer Forschung bereits bewiesen, dass ein autonom operierender Roboter Darmsegmente besser nähen kann als ein Chirurg³⁴. Gegenwärtig unterstützen regelbasierte Expertensysteme bereits Radiologen bei Diagnosen oder der Auswertung von Röntgenaufnahmen (z. B. Erkennung von Tumoren, Infarkten oder Gewebestrukturen)³⁵.

2. Einordnung der KI-Systeme als Medizinprodukt

KI-Systeme, die medizinische Informationen erzeugen, verarbeiten, verändern oder analysieren, gelten lex lata nach Art. 2 Nr. 1 MDR aufgrund der Softwareeigenschaft und der Zweckausrichtung als Medizinprodukte³⁶. Das gilt auch dann, wenn die „Software nicht unmittelbar im oder am menschlichen Körper wirkt".³⁷ Vor dem Inverkehrbringen und der Inbetriebnahme müssen Medizinprodukte ein Zulassungsverfahren durchlaufen³⁸. Im Rahmen der Zulassung unterliegen sie einer Zuordnung zu Risikoklassen und einem Konformitätsbewertungsverfahren nach Art. 52 MDR³⁹. Das hat zur Folge, dass KI- Systeme, die nach der Zulassung weiterhin lernen, theoretisch immer wieder erneut bewertet und zugelassen werden müssten⁴⁰. Eine immer wieder neu durchzuführende Konformitätsbewertung könnte die Entwicklung innovativer KI-Systeme in der Medizin aufhalten⁴¹. Auf europäischer Ebene sind daher noch Entscheidungen zu treffen, wie zukünftig das Zulassungsverfahren von medizinischen KI-Systemen geregelt wird.

III. Zwischenfazit

KI ist sehr komplex und vielfältig gefächert. Der Einsatz von „schwacher" KI gewinnt immer stärker an Präsenz. In der Medizin führt die KI im Zusammenspiel mit den Ärzten bereits zu einer Steigerung der Effizienz und Qualität, so- dass diese zukünftig eine immer größere Rolle spielen wird. Die Vielfalt der technologischen Entwicklung zeigt deutlich, dass auch rechtlich keine pauschale Beurteilung erfolgen kann. Vielmehr ist eine detaillierte Betrachtung der jeweiligen Ausprägung erforderlich.

C. Ausgewählte haftungsrechtliche Probleme

Selbstverständlich wird auch ein KI-System nicht fehlerfrei agieren können und unweigerlich Schäden verursachen. Insbesondere im Gesundheitswesen können schnell sehr hohe Personenschäden entstehen, sodass die Verantwortung für Schäden bzw. Übernahme der Haftung gegenüber Patienten unumstritten feststehen sollte.

I. Herausforderungen für das Haftungsrecht

Die Handlungen von Expertensystemen sind durch die programmierten Wenn- Dann-Funktionen immer nachvollziehbar. Weiterhin handeln diese nur im vorprogrammierten Rahmen, sodass diese lediglich als Unterstützung für das Personal tätig werden und dies eine neue rechtliche Beurteilung nicht erforderlich macht⁴².

Fragestellungen in Bezug auf die Haftung ergeben sich daher derzeit vor allem bei dem Einsatz von lernenden KI-Systemen. Insbesondere das Verhalten von trainierten neuronalen Netzen kann aufgrund der Komplexität der Vernetzungen in Internet-of-Things-Umgebungen und der zunehmenden Autonomie zu einer eingeschränkten Nachvollziehbarkeit, Erklärbarkeit und Vorhersehbarkeit führen (sog. Black-Box-KI)⁴³. Weiterhin benötigt das KI-System eine enorme Datenmenge, um lernen zu können. Enthalten die Trainingsdaten Verzerrungen, kann das System ggf. falsche Entscheidungen herleiten. Auch können KI-Systeme nach dem Inverkehrbringen durch Updates aktualisiert und verbessert werden⁴⁴. Aufgrund der Offenheit muss mit Schäden aufgrund von Cyberangriffen gerechnet werden. Die Herausforderung für das nationale Haftungsrecht ist folglich die zunehmende Autonomie und die damit einhergehende Unvorhersehbarkeit und Intransparenz und Offenheit der neuen selbstlernenden Algorithmen⁴⁵.

Im Folgenden werden speziell die haftungsrechtlichen Probleme in Bezug auf die Verantwortlichkeit, Kausalität und Beweisführung bei der Anwendung lernenden KI-Systeme als Medizinprodukte im stationären Krankenhausbereich untersucht.

II. Vertragliche Haftung

Die vertragliche Haftung spielt im Gesundheitswesen eine entscheidende Rolle, da mit den Patienten Behandlungsverträge geschlossen werden. Dies wirft auch die Frage auf, ob eine KI überhaupt eigenständig mit den Patienten kontrahieren kann und somit Vertragsschuldner wird.

1. Abschluss eines Behandlungsvertrages durch eine KI

Der Behandlungsvertrag ist in §§ 630a ff. BGB geregelt. Gemäß § 630a Abs. 1 BGB wird durch den Behandlungsvertrag derjenige, der die medizinische Behandlung eines Patienten zusagt (Behandelnder), zur Leistung der versprochenen Behandlung, der andere Teil (Patient) zur Gewährung der vereinbarten Vergütung verpflichtet. Damit ein wirksamer Behandlungsvertrag zustande kommt, bedarf es eines Antrags und einer Annahme, also zwei übereinstimmender Willenserklärungen i.S.v. §§ 145 ff. BGB.

a) Abgabe einer Willenserklärung durch eine KI

Eine Willenserklärung ist eine Willensäußerung, die darauf gerichtet ist, eine Rechtsfolge herbeizuführen⁴⁶. Für die Wirksamkeit einer Willenserklärung bedarf es der Rechtsfähigkeit des Äußernden⁴⁷. Träger von Rechten und Pflichten können ausschließlich natürliche und juristische Personen (Rechtssubjekte) sein⁴⁸.

Eine KI hat keinen eigenen Willen, zumal ein Wille menschen- und nicht maschinenbasiert ist⁴⁹. Weiterhin ist sie kein Rechtssubjekt und somit nicht rechts- oder geschäftsfähig⁵⁰. Eine eigene Willenserklärung kann die KI somit nicht abgeben. Die Willenserklärung müsste daher immer einer hinter dem System stehenden Person automatisch zugerechnet werden können (z. B. dem Krankenhausträger)⁵¹.

b) Zurechnung der Willenserklärung zum Betreiber

Eine unmittelbare Zurechnung von Willenserklärungen autonomer Systeme zum Betreiber könnte sich dadurch ergeben, dass für die abgegebene Erklärung der KI das Recht der Computererklärung analog angewendet wird oder die autonome KI als Bote oder Stellvertreter tätig wird⁵².

aa) Analoge Anwendung der Computererklärung

Unter einer Computererklärung wird eine Willenserklärung verstanden, bei der die Erklärung mittels eines Computerprogramms und ohne menschliche Beteiligung, auf Grund vorheriger Programmierung, automatisiert erzeugt wird⁵³. Automatisierte Willenserklärungen sind immer dem Betreiber zuzurechnen⁵⁴. Die Kundgabe der KI wäre folglich nicht als eigene Willenserklärung, sondern als die Willenserklärung des Betreibers zu verstehen⁵⁵.

Fraglich ist, ob die automatische Zurechnung der Willenserklärung möglich und für den Betreiber risikobehaftet ist. Hierzu muss beachtet werden, dass eine Willenserklärung im Wesentlichen aus zwei Tatbeständen - dem objektiven und dem subjektiven Tatbestand - besteht (§§ 133, 157 BGB)⁵⁶. Es wird somit zwischen dem tatsächlichen Gesagtem und dem Gewolltem unterschieden.

Der objektive Tatbestand (das Gesagte) setzt die Kundgabe eines Rechtsfolgewillens voraus⁵⁷. Aus diesem Grund ist es erforderlich, dass die KI eine Handlung vornimmt, durch die der Rechtsbindungswille des Betreibers deutlich wird. Äußert sich die KI ausdrücklich oder konkludent z. B. in Form eines Roboters gegenüber dem Patienten, um mit diesem einen Behandlungsvertrag zu schließen, ist dieser Tatbestand erfüllt, da es nur darum geht Erklärungen auszutauschen⁵⁸.

Der subjektive Tatbestand (das Gewollte) wiederum ist vom inneren Willen geprägt und lässt sich in drei Elemente unterteilen: dem Handlungswillen, dem Erklärungsbewusstsein und dem Geschäftswillen⁵⁹. Der Handlungswille ist der Wille, überhaupt eine Äußerung vornehmen zu wollen und der Erklärungswille ist der Wille, eine rechtserhebliche Erklärung abzugeben⁶⁰. Diesen Handlungsund Erklärungswillen wird man dem Krankenhausträger, der das autonome KI- System bewusst in den Verkehr gebracht hat, um rechtserhebliche Erklärungen abzugeben, problemlos zurechnen können⁶¹. Die automatische Zurechnung könnte allerdings aufgrund des Geschäftswillens problematisch werden. Der Geschäftswille ist der Wille, durch ein Rechtsgeschäft eine bestimmte Rechtsfolge herbeiführen zu wollen⁶². Die lernende KI ist darauf ausgelegt, eigenständig zu entscheiden, ständig zu lernen und sich weiterzuentwickeln. Die Person hinter dem System hat ab einem gewissen Punkt keinen Einfluss darauf, dass die KI ein Rechtsgeschäft mit einem bestimmten Inhalt abschließt. Es wird für diese nicht mehr vorhersehbar welche Entscheidungen die KI trifft, sodass der Geschäftswille des Betreibers im Zweifel nicht erfüllt werden könnte⁶³.

Eine automatische Zurechnung der Willenserklärung zum Betreiber analog der Computererklärung könnte für den Verwender ein enormes Risiko bedeuten⁶⁴. Zu beachten ist auch, dass das Krankenhaus dann gemäß § 145 BGB an den abgegebenen Antrag gebunden wäre.

bb) KI als Erklärungsbote

Die KI könnte nur als Erklärungsbote für den Betreiber tätig werden. Ein Bote übermittelt lediglich eine fremde Willenserklärung⁶⁵. Das Handeln ist nicht von rechtsgeschäftlicher Natur und der Bote muss daher auch nicht geschäftsfähig sein⁶⁶.

Vorstellbar ist, dass das System von dem Betreiber zur Abgabe von bestimmten Willenserklärungen legitimiert wird und diese nur an die Vertragspartei übermittelt. Das Handeln wird dann ebenfalls dem Betreiber der KI zugerechnet⁶⁷. Der Betreiber wird nur an die abgegebene Willenserklärung gebunden, sofern die KI als Erklärungsbote im Rahmen der Legitimation handelt⁶⁸. Auch diese rechtliche Einstufung kann bei einem autonomen KI-System nicht angewendet werden. Sobald die KI diese Legitimation überschreitet und eigene, abweichende Entscheidungen trifft, handelt diese ohne Botenmacht⁶⁹. Die abgegebene Willenserklärung ist somit gemäß der analogen Anwendung des § 177 Abs. 1 BGB schwebend unwirksam⁷⁰. Dieser Ansatz lässt sich für autonome KI-Systeme daher ebenfalls nicht vertreten⁷¹.

cc) KI als Vertreter

Ein Stellvertreter gibt in Abgrenzung zum Boten eine eigene Willenserklärung ab und wird der rechtsgeschäftlich Handelnde⁷². Aufgrund der fehlenden Rechts- und Geschäftsfähigkeit und der Problematik, dass die KI keine eigene Willenserklärung abgeben kann, kommt ein Tätigwerden des KI-Systems als Stellvertreter gemäß §§ 164 ff. BGB nicht in Betracht⁷³.

c) Zwischenfazit

Da ein KI-System nicht rechtsfähig ist, muss jede Willenserklärung, die durch eine KI abgegeben wird, dem Betreiber zugerechnet werden. Die KI selbst wird somit nicht Vertragspartner. Aufgrund der Autonomie der KI-Systeme wird es voraussichtlich oft eine Diskrepanz zwischen dem Willen des Betreibers und der Entscheidung der KI geben, sodass eine automatische Zurechnung im Sinne einer Computererklärung oder einer Botenschaft zu etlichen Haftungsproblemen für den Betreiber führt. Das nationale Recht kommt hier somit nach der aktuellen Rechtslage deutlich an seine Grenzen.

2. Haftung des Betreibers aus §§ 280 Abs. 1 i.V.m. 630a BGB

Auch wenn ein KI-System nicht Vertragsschuldner werden kann, ist der Einsatz im Rahmen der Behandlung möglich. Es stellt sich die Frage der vertraglichen Haftungsregelung gegenüber den Patienten.

Im Arzthaftungsrecht kommen keine speziellen Anspruchsgrundlagen, sondern die allgemeinen Haftungsgrundsätze des BGB zum Tragen⁷⁴. Die Haftung aus einer schuldhaften Verletzung vertraglicher Pflichten ergibt sich somit aus §§ 280 Abs. 1 i.V.m. 630a BGB. Verletzt der Schuldner eine Pflicht aus dem Behandlungsvertrag und hat er diese Pflichtverletzung zu vertreten, so kann der Geschädigte gemäß § 280 Abs. 1 BGB Ersatz des hierdurch entstandenen Schadens verlangen.

a) Schuldverhältnis

Behandlungsverträge werden in der Regel zwischen dem Krankenhausträger und den Patienten geschlossen (totaler Krankenhausaufnahmevertrag)⁷⁵. Dabei ist es unerheblich, wenn der die Behandlung Zusagende (Krankenhausträger) und der die Behandlung tatsächlich Durchführende (KI) personenverschieden sind⁷⁶. Der Anspruchsgegner für Patienten ist somit der Krankenhausträger, also der Betreiber des KI-Systems.

b) Pflichtverletzungen

Bei vertraglichen Haftungsfragen ist es relevant, dass der Behandlungsvertrag ein besonderer Dienstvertrag und ausdrücklich kein Werkvertrag ist⁷⁷. Die Vertragspartei verspricht keinen Erfolg und übernimmt somit auch keine Haftung, wenn die getroffenen Maßnahmen erfolglos bleiben, vielmehr stellen Behand- lungs- und Aufklärungsfehler Pflichtverletzungen dar⁷⁸.

Ein Behandlungsfehler kann insbesondere in Folge einer fehlerhaften Diagnose, Therapie oder Organisation entstehen, sofern von der geschuldeten Leistung oder von dem Behandlungsmaßstab abgewichen wird⁷⁹.

Das KI-System kann direkte Schäden durch eine falsche Handlung oder Entscheidung herbeiführen. Aber auch den Betreiber treffen in Bezugnahme auf die Inbetriebnahme, der Nutzung und der Organisation des KI-Systems entsprechende Pflichten, deren Verletzung indirekt zu einem Schaden führen können⁸⁰.

c) Vertretenmüssen des Vertragsschuldners

Die Schadensersatzpflicht des Betreibers tritt gemäß § 280 Abs. 1 BGB nur ein, wenn er die Pflichtverletzung auch zu vertreten hat. Es muss ein fahrlässiges oder vorsätzliches Verhalten nach §§ 276, 278 BGB vorliegen.

aa) Verletzung von Verkehrs- und Sorgfaltspflichten

Von zentraler Bedeutung ist § 276 Abs. 2 BGB. Demnach liegt eine fahrlässige Handlung vor und es wird eine vertragliche Haftung nach § 280 Abs. 1 BGB ausgelöst, sofern die im Verkehr erforderliche Sorgfalt durch den Vertragsschuldner nicht eingehalten wird⁸¹. Die Handlung kann sowohl ein positives Tun als auch ein pflichtwidriges Unterlassen sein⁸².

Allgemein liegt eine fahrlässige Verletzung der Verkehrspflicht vor, wenn die Gefahr vorhersehbar und der Schaden vermeidbar war⁸³. Die Entwicklung von Risiken, die zum Zeitpunkt der Inverkehrbringung nicht vorhersehbar waren, sind nicht Gegenstand von Verkehrspflichten⁸⁴. Als Sorgfaltspflichtmaßstab dient der Erkenntnisstand von Wissenschaft und Technik⁸⁵. Führt die KI also eine Handlung aus oder trifft eine Entscheidung, die nach dem Stand der Wissenschaft und Technik nicht vorhersehbar war, kann keine Verletzung der Verkehrspflichten durch den Betreiber vorliegen. Aufgrund der Ausrichtung der Systeme, kann allerdings mit der Inbetriebnahme davon ausgegangen werden, dass das System auch falsche Entscheidungen trifft oder eine Handlung falsch durchführt. Die Gefahr einer schädigenden Handlung aufgrund der Ausrichtung der Systeme ist vorhersehbar.

[...]

---

¹ https://www.bmwi.de/Redaktion/DE/Dossier/digitalisierung.html, zuletzt abgerufen am 06.01.2021.

² BMWi, Strategie Künstlicher Intelligenz der Bundesregierung, 2018, 6.

³ Windeck/Förster, das Krankenhaus 4/2019, 290.

⁴ Windeck/Förster, das Krankenhaus 4/2019, 290.

⁵ Bundespresseamt, Digitalisierung gestalten - Umsetzungsstrategie der Bundesregierung, 2020, 58.

⁶ Genderhinweis: Aus Gründen der Lesbarkeit wird in der vorliegenden Arbeit die männliche Form gewählt. Nichtsdestotrotz beziehen sich die Angaben auf Angehörige aller Geschlechter (m/w/d) und es wird keine Benachteiligung anderer Geschlechter impliziert.

⁷ Parlamentsbericht, Voss, A9-0178/2020, 5.

⁸ Elmas, DIN-Mitteilungen + elektronorm 99/2020, 6.

⁹ TÜV-Verband, Studienbericht 2020, Künstliche Intelligenz in Unternehmen, 11.

¹⁰ TÜV-Verband, Studienbericht 2020, Künstliche Intelligenz in Unternehmen, 6, 46.

¹¹ TÜV-Verband, Studienbericht 2020, Künstliche Intelligenz in Unternehmen, 50.

¹² Ory/Sorge, NJW 2019, 710.

¹³ BMWi, Strategie Künstlicher Intelligenz der Bundesregierung, 2018, 4.

¹⁴ Bitkom / DFKI: Künstliche Intelligenz - Wirtschaftliche Bedeutung, gesellschaftliche Herausforderungen, menschliche Verantwortung, 2017, 14.

¹⁵ Bitkom / DFKI: Künstliche Intelligenz - Wirtschaftliche Bedeutung, gesellschaftliche Herausforderungen, menschliche Verantwortung, 2017, 28.

¹⁶ Bitkom / DFKI: Künstliche Intelligenz - Wirtschaftliche Bedeutung, gesellschaftliche Herausforderungen, menschliche Verantwortung, 2017, 29.

¹⁷ HEG-KI, Eine Definition der KI, 2019, 1f.

¹⁸ Bitkom / DFKI: Künstliche Intelligenz - Wirtschaftliche Bedeutung, gesellschaftliche Herausforderungen, menschliche Verantwortung, 2017, 31.

¹⁹ HEG-KI, Eine Definition der KI, 2019, 6.

²⁰ COM(2018) 237 final, 1.

²¹ Bitkom / DFKI: Künstliche Intelligenz - Wirtschaftliche Bedeutung, gesellschaftliche Herausforderungen, menschliche Verantwortung, 2017, 29.

²² HEG-KI, Eine Definition der KI, 2019, 5.

²³ HEG-KI, Eine Definition der KI, 2019, 6.

²⁴ HEG-KI, Eine Definition der KI, 2019, 5.

²⁵ https://www.bigdata-insider.de/was-ist-ein-expertensystem-a-819539/, zuletzt abgerufen am 07.01.2021.

²⁶ https://www.bigdata-insider.de/was-ist-ein-expertensystem-a-819539/, zuletzt abgerufen am 07.01.2021.

²⁷ HEG-KI, Eine Definition der KI, 2019, 3; Sahm, MedR 2019, 928.

²⁸ HEG-KI, Eine Definition der KI, 2019, 4.

²⁹ HEG-KI, Eine Definition der KI, 2019, 4.

³⁰ https://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/TB13_Fach- kraeftemangel1 .pdf, zuletzt abgerufen am 06.01.2021.

³¹ Schick/Paulus, das Krankenhaus 4/2019, 294.

³² Schick / Paulus, das Krankenhaus 4/2019, 294; Thun/Lehne, das Krankenhaus 4/2019, 286.

³³ Kowalewski/Kriegmair/Michel, MedR 2019, 927.

³⁴ Kowalewski/Kriegmair/Michel, MedR 2019, 927.

³⁵ Schick/Paulus, das Krankenhaus 4/2019, 295.

³⁶ Helle, MedR 2020, 994. Mit Wirkung zum 26.05.2021 tritt die Medizinprodukteverordnung (MDR) in Kraft. Es wird daher die künftige Rechtslage betrachtet.

³⁷ EuGH, Urt. v. 07.12.2017, Az. C-329/16, PharmR 2018, 88.

³⁸ Helle, MedR 2020, 995.

³⁹ Helle, MedR 2020, 995.

⁴⁰ Frost, MPR 2019, 120; Helle, MedR 2020, 995.

⁴¹ Frost, MPR 2019, 120.

⁴² Brand, MedR 2019, 947.

⁴³ COM(2020) 64 final, 11; Sahm, MedR 2019, 928.

⁴⁴ Westphalen, Produkthaftungsrechtliche Erwägungen beim Versagen Künstlicher Intelligenz (KI) unter Beachtung der Mitteilung der Kommission COM(2020) 64 final, VUR 2020, 248.

⁴⁵ Denga, CR 2018, 70; Meyer, ZRP 2018, 235; Westphalen, ZIP 2019, 889.

⁴⁶ Ellenberger, in: Palandt, Einf. v. § 116, Rn. 1; Pieper, GRUR-Prax 2019, 300.

⁴⁷ Pieper, GRUR-Prax 2019, 300.

⁴⁸ Ellenberger, in: Palandt, Einf. v. § 1 Rn. 1.

⁴⁹ Grützmacher/Heckmann, CR 2019, 554.

⁵⁰ Sester/Nitschke, CR 2004, 549f.

⁵¹ Pieper, GRUR-Prax 2019, 300.

⁵² Riehm / Meier, DGRI Jahrbuch 2018, Rn. 12.

⁵³ Cornelius, MMR 2002, 354.

⁵⁴ Ellenberger, in: Palandt, Einf. v. § 116, Rn. 1.

⁵⁵ Riehm / Meier, DGRI Jahrbuch 2018, Rn. 12.

⁵⁶ Grützmacher/Heckmann, CR 2019, 554; Lange, JA 2007, 687.

⁵⁷ Ellenberger, in: Palandt, Einf. v. § 116, Rn. 1; Lange, JA 2007, 688.

⁵⁸ Grützmacher/Heckmann, CR 2019, 554.

⁵⁹ Ellenberger, in: Palandt, Einf. v. § 116, Rn. 1; Pieper, GRUR-Prax 2019, 300.

⁶⁰ Ellenberger, in: Palandt, Einf. v. § 116, Rn. 1; Lange, JA 2007, 688, 689.

⁶¹ Pieper, GRUR-Prax 2019, 300.

⁶² Ellenberger, in: Palandt, Einf. v. § 116, Rn. 1; Lange, JA 2007, 689.

⁶³ Grützmacher/Heckmann, CR 2019, 554; Pieper, GRUR-Prax 2019, 300.

⁶⁴ Grützmacher/Heckmann, CR 2019, 554.

⁶⁵ Schubert, in: MüKo BGB, § 164, Rn. 71.

⁶⁶ Ellenberger, in: Palandt, Einf. v. § 164, Rn.

⁶⁷ Schubert, in: MüKo BGB, § 164, Rn. 73.

⁶⁸ Schubert, in: MüKo BGB, § 164, Rn. 73.

⁶⁹ Schubert, in: MüKo BGB, § 164, Rn. 79.

⁷⁰ Schubert, in: MüKo BGB, § 164, Rn. 79; Ellenberger, in: Palandt, Einf. v. § 164, Rn. 11.

⁷¹ Grützmacher/Heckmann, CR 2019, 555.

⁷² Ellenberger, in: Palandt, Einf. v. § 164, Rn. 11.

⁷³ Grützmacher/Heckmann, CR 2019, 555.

⁷⁴ Wagner, in: Müko BGB, § 630a, Rn. 105.

⁷⁵ Weidenkaff, in: Palandt, § 630a, Rn. 4; Brox/Walker, Besonderes Schuldrecht, § 22, Rn. 9.

⁷⁶ BT-Drs. 17/10488, 18; Weidenkaff, in: Palandt, Vorb. v. § 630a, Rn. 3.

⁷⁷ Wagner, in: MüKo BGB, § 630a, Rn. 3.

⁷⁸ Jung/Lichtschlag-Traut/Ratzel, in: Ratzel/Luxenburger, Handbuch Medizinrecht, Kap. 14, Rn. 3.

⁷⁹ Weidenkaff, in: Palandt, § 630a, Rn. 25, § 630h, Rn. 9.

⁸⁰ Horner/Kaulartz, CR 2016, 8.

⁸¹ Horner/Kaulartz, CR 2016, 8.

⁸² Sprau, in: Palandt, § 823, Rn. 2.

⁸³ Grüneberg, in: Palandt, § 276, Rn. 20f.

⁸⁴ Denga, CR 2018, 73.

⁸⁵ Denga, CR 2018, 74; Spindler, CR 2015, 770f.