Völkerrechtliche Probleme des Einsatzes von autonomen Waffensystemen

Inhaltsverzeichnis

Literaturverzeichnis

A.Einleitung

B. Autonome Waffensysteme und die Bedeutung von Autonomie
I. Die Autonomie von Waffensystemen
II. Halbautonome, automatisierte und autonome Waffensysteme
1. Halbautonome und automatisierte Waffensysteme
a) Halbautonome Waffensysteme
b) Automatisierte Waffensysteme
2. Halbautonome und automatisierte Waffensysteme: Ihr Verhältnis zu den drei Theorien der Autonomie
a) Die Definition von George A. Bekey und des Defense Science Boards
b) Die Definition von Stuart Russell und Peter Norvig
c) Die Definition von Christiano Castelfranchi und Rino Falcone
3. Autonome Waffensysteme als moralische und selbstbestimmende Systeme
III. Fazit

C. Völkerrechtliche Probleme bei einem zukünftigen Einsatz autonomer Waffensysteme
I. Der Unterscheidungsgrundsatz
1. Verbot von unterschiedslosen Angriffen
2. Programmierbarkeit des nötigen Unterscheidungsvermögens
3. Fazit
II. Der Verhältnismäßigkeitsgrundsatz
1. Unverhältnismäßiger Angriff als unterschiedsloser Angriff
2. Programmierbarkeit der Erkennung eines angemessenen Verhältnisses
3. Fazit
III. Verantwortlichkeits- und Haftungslücken
IV. Fazit

D. Schlussbetrachtung

Literaturverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

A. Einleitung

Die Menschheit tritt langsam in das Zeitalter der künstlichen Intelligenz (KI) ein.¹ KI ist daher zweifellos ein Thema, welches uns in Zukunft immer mehr beschäftigen wird. Als wissenschaftliche Disziplin, verfolgt KI das Ziel, „menschliche Wahrnehmungs- und Verstandesleistungen zu operationalisieren und durch Artefakte, kunstvoll gestaltete technische – insbesondere informationsverarbeitende – Systeme verfügbar zu machen.“² Immer mehr Branchen profitieren von maschinellem Lernen und der Automatisierung intelligenten Verhaltens. Doch während die Entwicklung von KI und ihr möglicher Einsatz in zahllosen Branchen bei manchen Menschen für Euphorie sorgt, schaut ein beträchtlicher Teil der Bevölkerung mit Sorge und Bedenken auf das sich anbahnende Zeitalter der künstlichen Intelligenz.

Laut einer Studie des Center for the Governence of AI der University of Oxford, welche in den Vereinigten Staaten von Amerika durchgeführt wurde, ist die Bevölkerung bezüglich der Entwicklung von künstlicher Intelligenz zwiegespalten. 41% der Probanden unterstützen die Entwicklung von KI teilweise oder stark, während 22% der Probanden jene Entwicklung teilweise oder stark ablehnen. Hervorzuheben ist auch, dass 82% der Teilnehmer glauben, dass vorsichtig und sorgfältig mit der Verwaltung von Robotern und/oder KI umgegangen werden muss.³

Sowohl die Euphorie, als auch die Sorge bezüglich des Einsatzes von KI spiegelt sich in den Aussagen vieler einflussreicher Personen wieder. Beispielsweise betonte der US-amerikanische Unternehmer Mark Zuckerberg 2018 in einem Interview auf der Viva Technology Konferenz in Paris, dass er glaubt, dass KI eine Vielzahl von positiven ‚Dingen‘ freisetzen wird.⁴ In einer Rede auf der South by Southwest Tech Konferenz in 2018 vertrat der südafrikanisch-kanadische Unternehmer Elon Musk hingegen die Sicht, dass KI gefährlicher sei als nukleare Waffen und die Entwicklung von KI deshalb von einer Regulierungsbehörde überwacht werden müsse.⁵

Eine Branche, in der KI immer häufiger zum Einsatz kommt, ist die Rüstungsindustrie. Eine der wahrscheinlich problematischsten Erscheinungsformen von KI, die in Zukunft militärisch zum Einsatz kommen könnte, sind autonome Waffensysteme (AWS). Ein autonomes Waffensystem kann grob als ein Waffensystem definiert werden, welches dazu in der Lage ist übergeordnete Absichten und Richtungen zu verstehen.⁶ Aus diesem Verständnis und seiner Wahrnehmung der Umgebung heraus ist ein solches System in der Lage, sobald es aktiviert ist, Ziele ohne weiteren Eingriff eines menschlichen Bedieners auszuwählen und zu bekämpfen.⁷ Der Einsatz eines solchen, mit KI ausgestatteten Waffensystems könnte zu unzähligen rechtlichen und ethischen Problemen führen.

In dieser Arbeit werde ich zunächst genauer erläutern, was autonome Waffensysteme sind, wie der Begriff der Autonomie in jenem Kontext zu verstehen ist und wie AWS sich von halbautonomen und automatisierten Waffensystemen unterscheiden. Ferner wird diese Arbeit sich mit den völkerrechtlichen Problemen auseinandersetzen, welche ein zukünftiger Einsatz von AWS nach sich ziehen würde. Der Fokus wird zum einen auf die Einhaltung der Normen des Kriegsvölkerrechts, welche durch den Einsatz von AWS erschwert werden könnte, und zum anderen auf die Probleme der rechtlichen Verantwortlichkeit und völkerstrafrechtlichen Haftung bei Verstößen gegen das Kriegsvölkerrecht durch ein AWS, gelegt. Zudem wird diese Arbeit konkretisieren, worauf bei einer zukünftigen Entwicklung von autonomen Waffensystemen geachtet werden muss, um die Rechtskonformität ihres Einsatzes zu gewährleisten.

B. Autonome Waffensysteme und die Bedeutung von Autonomie

Kriegsroboter, Kampfdrohnen und Raketenabwehrsysteme: An diese militärischen Maschinen denken vermutlich viele Menschen, wenn von autonomen Waffensystemen die Rede ist. Fraglich ist jedoch, ob es sich bei jenen Maschinen denn überhaupt um autonome Waffensysteme handelt.

In diesem Abschnitt werde ich erläutern, was genau ein autonomes Waffensystem ist und was es ausmacht. Im Genaueren werde ich ausführen, was ein Waffensystem autonom macht, in welchem Ausmaß Autonomie bereits Bestandteil gegenwärtiger Waffensysteme ist, und wieso zwischen autonomen, halbautonomen und automatisierten Waffensystemen unterschieden werden muss.

I. Die Autonomie von Waffensystemen

Um ein besseres Verständnis für mögliche, rechtliche und ethische Probleme des Einsatzes autonomer Waffensysteme zu erlangen, muss der Begriff der Autonomie im Rahmen autonomer Waffensysteme zunächst konkretisiert werden. Eine universelle Definition von autonomen Waffensystemen gibt es nicht.

Laut dem Defense Science Board (DSB), ein Ausschuss von zivilen Experten, die das Verteidigungsministerium der Vereinigten Staaten in wissenschaftlichen und technischen Fragen beraten, und des US-amerikanischen Robotikers George A. Bekey, zeichnet sich ein autonomes System dadurch aus, dass es eine Aufgabe selbstständig und ohne externe Anweisungen erledigen kann. Sobald das System aktiviert wird, besteht folglich keine Notwendigkeit für die Überwachung seines Verhaltens und die Steuerung seiner Funktionstüchtigkeit.⁸

Hingegen definieren die beiden Informatiker Stuart Russell und Peter Norvig Autonomie als die Fähigkeit, durch Interaktion mit der Umwelt, neues Wissen zu erlangen.⁹ In Anlehnung an diese Definition müsste ein Waffensystem hierdurch folglich in der Lage sein, seinen ursprünglichen Wissensstand zu überarbeiten oder zu erweitern.¹⁰

Eine weitere dritte Definition setzt den Fokus auf die kognitive Architektur des Waffensystems. Nach dieser Definition, welche von Christiano Castelfranchi und Rino Falcone stammt, kann ein autonomes System äußere Reize wahrnehmen, auf diese reagieren und sie in seine kognitiven Strukturen integrieren. Dies geschieht, indem das System seine internen Zustände nach eigenen Maßstäben und Verfahren entsprechend modifiziert, um sein Verhalten zu bestimmen.¹¹ Demnach müsste ein Waffensystem die Fähigkeit besitzen, seine Beziehung zur physischen oder virtuellen Umgebung selbständig und zielgerichtet zu verwalten, um als autonomes Waffensystem oder AWS bezeichnet zu werden.¹²

Obwohl alle drei Definitionen Ähnlichkeiten aufweisen, stellt die Definition von Castelfranchi und Falcone deutlich höhere Anforderungen an dem Begriff der Autonomie im Rahmen autonomer Systeme, als die des Defense Science Boards (DSB), und die der Informatiker Russel und Norvig. Es ist ferner festzustellen, dass die Definition des DSB, im Gegensatz zu den beiden anderen Definitionen, überhaupt keine hohen kognitiven Fähigkeiten voraussetzt.¹³ Sie beschreibt lediglich ein System, das selbstständig eine Aufgabe ausführen kann.¹⁴

Das Fehlen einer einheitlichen Definition führt dazu, dass die Unterscheidung verschiedener Waffensysteme nicht immer problemlos möglich ist. Aufgrund dessen ist es an dieser Stelle notwendig zu präzisieren, welche Anforderungen diese Arbeit an den Begriff der Autonomie setzt, und welche Gattungen von Waffensystemen folglich für die Analyse damit einhergehender völkerrechtlicher Probleme nicht berücksichtigt werden.

II. Halbautonome, automatisierte und autonome Waffensysteme

Waffensysteme, die die Anforderungen der drei Definitionen von Autonomie erfüllen, werden bereits von vielen Ländern zu militärischen Zwecken verwendet.¹⁵ Solche Systeme reichen von unbemannten Luftfahrzeugen, bis hin zu dem US-amerikanischen Nahbereichsverteidigungssystem Phalanx Mk-15. Während viele dieser gegenwärtigen Waffensysteme im gängigen Sprachgebrauch als autonome Waffensysteme bezeichnet werden, charakterisieren einige Theoretiker viele dieser Systeme, wie beispielsweise das Nahbereichsverteidigungssystem Phalanx, als halbautonome oder automatisierte Waffensysteme.¹⁶

1. Halbautonome und automatisierte Waffensysteme

Welches Waffensystem unter welche Kategorie fällt ist oftmals nicht ganz ersichtlich, da die Bezeichnung ,autonomes Waffensystem‘ oft für Missverständnisse sorgt.¹⁷ Zum besseren Verständnis des weiteren Verlaufs muss zunächst erläutert werden, was unter halbautonomen und automatisierten Waffensystemen zu verstehen ist.

a) Halbautonome Waffensysteme

Halbautonome Waffensysteme werden von dem US-amerikanischen Verteidigungsministerium als Systeme beschrieben, die zwar für eine ganze Reihe von einsatzbezogenen Funktionen autonom agieren, jedoch einzelne Ziele oder Zielgruppen lediglich dann angreifen können, wenn sie zuvor von einem menschlichen Bediener ausgewählt wurden.¹⁸ Was halbautonome Waffensysteme von autonomen Waffensystemen unterscheidet, ist somit der human in the loop (Mensch in der Schleife).¹⁹ Die Autonomie von halbautonomen Waffensystemen ist demnach nur vorprogrammiert, da ihre tödlichen Fähigkeiten vollständig das Vorrecht eines menschlichen Bedieners bleiben.²⁰

b) Automatisierte Waffensysteme

Hingegen sind automatisierte Waffensysteme in der Lage, auf bestimmte Ziele zu feuern, ohne dass ein menschlicher Bediener diesen Befehl vorher erteilt, oder den Angriff des Waffensystems genehmigt haben muss.²¹ Das Verteidigungsministerium des Vereinigten Königreiches ist in ihrer Definition etwas präziser und beschreibt automatisierte Waffensysteme, als Systeme, welche als Reaktion auf die Datenerfassung von einem oder mehreren Sensoren so programmiert sind, dass sie logisch einem vordefinierten Satz von Regeln folgen, um ein Ergebnis zu liefern.²² Somit ist der menschliche Eingriff in das Verhalten von automatisierten Waffensystemen, im Gegensatz zu halbautonomen Waffensystemen deutlich geringer.

2. Halbautonome und automatisierte Waffensysteme: Ihr Verhältnis zu den drei Theorien der Autonomie

Fraglich ist, inwiefern halbautonome Waffensysteme und automatisierte Waffensysteme sich von AWS unterscheiden. Um dies beurteilen zu können, muss zunächst geprüft werden, in welchem Verhältnis sie zu den drei Definitionen von Autonomie im Rahmen autonomer Systeme stehen.

a) Die Definition von George A. Bekey und des Defense Science Boards

Wie bereits oben erläutert, ist die Definition von Autonomie des Defense Science Boards (DSB) sehr vage. Sie beschreibt lediglich ein System, welches, sobald es aktiviert wurde, selbstständig agieren kann. Diese Definition trifft sowohl auf halbautonome und automatisierte Waffensysteme, als auch auf Systeme, welche erheblich höhere kognitive Fähigkeiten aufweisen, zu. Gerade die Vagheit dieser Definition erscheint jedoch problematisch, da nicht nur eine Kategorie von Waffensystemen, sondern gleich mehrere durch sie beschrieben werden. Der Definition des DSB nach zu urteilen, würde es sich beispielsweise auch bei einer Landmine um ein autonomes Waffensystem handeln. Eine Landmine ist zwar in ihrem Betrieb gänzlich selbstständig, weist jedoch wenig Unterscheidungsvermögen auf, und hat zudem keinen adaptiven oder teleologischen Aufbau.²³ Folglich ist eine Landmine nicht dazu in der Lage ‚Freund von Feind‘ zu unterscheiden und würde genauso schnell und effektiv die Person, die sie platziert hat, töten, wie einen feindlichen Soldaten. Es ist mit Sicherheit anzunehmen, dass die meisten Menschen nicht an Landminen denken, wenn sie den Begriff ‚autonome Waffensysteme‘ hören, zumal diese sich bereits seit mehreren Jahrhunderten im Einsatz befinden. Infolgedessen ist festzustellen, dass die sehr unpräzise Definition von George A. Bekey und des DSB für den Zweck dieser Arbeit ungeeignet ist.

b) Die Definition von Stuart Russell und Peter Norvig

Die Definition von Russell und Norvig, nach der ein autonomes System die Fähigkeit besitzt mit seiner Umwelt zu interagieren und dadurch seinen Wissensstand zu überarbeiten oder zu erweitern²⁴, setzt wesentlich höhere kognitive Anforderungen an den Begriff der Autonomie im Rahmen autonomer Systeme. Fraglich ist hingegen, ob diese Definition ausschließlich autonome Waffensysteme, oder auch die bereits zuvor erwähnten halbautonomen und automatisierten Waffensysteme beschreibt. Es ist hierbei festzustellen, dass sowohl halbautonome Waffensysteme, als auch automatisierte Waffensysteme, den Ansprüchen der Definition von Russell und Norvig gerecht werden. Halbautonome Waffensysteme, wie beispielsweise ferngesteuerte oder selbstfliegende Militärdrohnen²⁵, können mit ihrer Umwelt interagieren, diesbezüglich Daten sammeln, und diese in Echtzeit an ihren menschlichen Bediener senden. Automatisierte Waffensysteme können ebenfalls mit ihrer Umwelt interagieren, indem sie, wie beispielsweise das israelische Iron Dome oder das südkoreanische SGR-A1, feindliche Ziele erkennen und mit Wehr auf diese reagieren.²⁶ Der Wissensstand des Systems wird hierzu in Echtzeit überarbeitet, indem beispielsweise, im Fall des israelischen Iron Domes, die Flugbahnen anfliegender feindlicher Raketen berechnet werden, um diese möglichst effektiv abschießen zu können. Ferner ist festzustellen, dass selbst Kollisionsvermeidungssysteme von Flugzeugen dieser Definition genügen, obwohl diese nicht selbstständig eine Kollision vermeiden können und nur Bestandteil eines größeren Systems, namentlich des Flugzeugs, sind.²⁷ Zusammenfassend ist folglich auch diese Definition zu unpräzise und somit für den Zweck dieser Arbeit ungeeignet.

c) Die Definition von Christiano Castelfranchi und Rino Falcone

Hingegen ist die Definition von Castelfranchi und Falcone deutlich präziser. Sie stellt wesentlich höhere Anforderungen an den Begriff der Autonomie im Rahmen autonomer Systeme als die beiden anderen Definitionen, und legt den Fokus hierbei auf zwei Komponente: Anpassungsfähigkeit und Teleologie.

Unter einem adaptiven oder anpassungsfähigen System versteht man ein System, welches mit seiner Umwelt interagieren kann, und auf der Grundlage von Umweltreizen seine internen Zustände, von denen sein Verhalten abhängt, ändern kann.²⁸ Es ist offensichtlich, dass diese Beschreibung auf Systeme zutrifft, welche hohe kognitive Fähigkeiten besitzen.²⁹ Sowohl halbautonome, als auch automatisierte Waffensysteme sind demnach anpassungsfähig. Eine selbstfliegende Militärdrohne agiert beispielsweise adaptiv, wenn sie ihre Flugroute aufgrund sich ändernder Umweltbedingungen modifiziert. Automatisierte Waffensysteme agieren hingegen adaptiv, wenn sie die Bewegungsbahnen ihrer Ziele und die Distanz zu ihnen in Echtzeit kalkulieren, und sie den Angriff dieser Ziele an diese Berechnungen anpassen.

Dahingegen handelt es sich bei teleologischen Systemen um Systeme, welche Ziele, Überzeugungen und Werte besitzen. Zudem weisen sie genaue Pläne auf, die spezifizieren wie diese Ziele, mit Rücksicht auf die Überzeugungen und Werte des Systems, aktiv verfolgt werden können. Ein solches System ist somit zwingend anpassungsfähig, da es einen Plan auswählt, welcher, mit Rücksicht auf vorprogrammierte Überzeugungen und den gegebenen Umweltbedingungen gerade dazu geeignet ist, sein angestrebtes Ziel zu erreichen. Hingegen sind adaptive Systeme nicht zwingend teleologisch.³⁰ Im Fall komplexer Systeme, wie halbautonome und automatisierte Waffensysteme es sind, ist dies jedoch der Fall. Ein unbemanntes Flugobjekt des Militärs, welches beispielsweise das Ziel verfolgt einen bestimmten Angriff durchzuführen, würde auf der Grundlage aller relevanten Faktoren einen Plan erstellen, um diesen Angriff möglichst effektiv vollziehen zu können. Einige dieser relevanten Faktoren sind vorprogrammierte Werte, die beispielsweise den Schutz der eigenen und alliierten Soldaten, und den Schutz der zivilen Bevölkerung gewährleisten sollen. Automatisierte Waffensysteme, wie das israelische Iron Dome oder das südkoreanische SGR-A1, folgen ebenfalls, wie bereits zuvor erläutert, logisch einem vordefinierten Satz von Regeln um ein bestimmtes Ziel zu erreichen, und sind ferner dazu in der Lage sich hierzu an die sich stetig ändernden Umweltbedingungen anzupassen.³¹

[...]

¹ Vgl. Brynjolfsson/McAfee, The Second Machine Age, 1. Auflage, S. 11.

² Görz/Wachsmuth, Kapitel 1 Einleitung, in: Görz/Rollinger/Schneeberger, Handbuch der Künstlichen Intelligenz, 4. Auflage, S. 1.

³ Dafoe/Zhang, Artificial Intelligence: American Attitudes and Trends, S. 3.

⁴ Bhardwaj, Mark Zuckerberg responds to Elon Musk’s paranoia about AI: ‘AI is going to… help keep our communities safe.’, Business Insider, 24.05.2018.

⁵ Clifford, Elon Musk: ‘Mark my words – A.I. is far more dangerous than nukes’, CNBC, 13.03.2018.

⁶ U. S Department of Defense (DoD) Directive 3000.09, Autonomy in Weapon Systems, 21.11.2012, S. 13; United Kingdom Ministry of Defense (MoD), Unmanned Aircraft Systems, Joint Doctrine Publication 0-30.2, 12.09.2017 S. 13.

⁷ U. S Department of Defense (DoD) Directive 3000.09, Autonomy in Weapon Systems, 21.11.2012, S. 13; United Kingdom Ministry of Defense (MoD), Unmanned Aircraft Systems, Joint Doctrine Publication 0-30.2, 12.09.2017 S. 13.

⁸ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 39; U.S. Department of Defense (DoD): Defense Science Board, The Role of Autonomy in DoD Systems, Juli 2012, S. 1; Bekey, Current trends in robotics: technology and ethics, in: Abney/Bekey/Lin, Robot Ethics: The Ethical and Social Implications of Robotics, 1. Auflage, S. 18.

⁹ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 39; Norvig/ Russell, Artificial Intelligence: A Modern Approach, 3. Auflage, S. 39.

¹⁰ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 39-40.

¹¹ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 40; Castelfranchi/Falcone, Founding autonomy: The dialectics between (social) environment and agent’s architectures and powers, in: Nickles/Rovatsos/Weiss, Agents and Computational Autonomy: Potential, Risks, and Solutions, 2005, S. 40.

¹² Castelfranchi/Falcone, Founding autonomy: The dialectics between (social) environment and agent’s architectures and powers, in: Nickles/Rovatsos/Weiss, Agents and Computational Autonomy: Potential, Risks, and Solutions, 2004, S. 42.

¹³ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 58.

¹⁴ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 58.

¹⁵ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 59.

¹⁶ Vgl. Altmann, Zur ethischen Beurteilung automatisierter und autonomer Waffensystem, in: Ebeling/Werkner, Handbuch Friedensethik, 1. Auflage, S. 796; Caron, Digital War 2020, S. 173 (173); Bode/Huelss, Review of International Studies 2018, S.393 (399).

¹⁷ Caron, Digital War 2020, S. 173 (173).

¹⁸ U.S. Department of Defense (DoD) Directive 3000.09, Autonomy in Weapon Systems, 21.11.2012, S. 13; Bode/Huelss, Review of International Studies 2018, S.393 (399).

¹⁹ Caron, Digital War 2020, S. 173 (173).

²⁰ Caron, Digital War 2020, S. 173 (173).

²¹ Vgl. Caron, Digital War 2020, S. 173 (173-174).

²² United Kingdom Ministry of Defense (MoD), Unmanned Aircraft Systems, Joint Doctrine Publication 0-30.2, 12.09.2017, S. 72; Bode/Huelss, Review of International Studies 2018, S.393 (399).

²³ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 58.

²⁴ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 39-40.

²⁵ Vgl. Caron, Digital War 2020, S. 173 (173).

²⁶ Vgl. Caron, Digital War 2020, S. 173 (173-174).

²⁷ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 44.

²⁸ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 48-49; Vgl. Holland, Signals and Boundaries: Building Blocks for Complex Adaptive Systems, 1. Auflage, S. 24; Castelfranchi/Falcone, From automaticity to autonomy: the frontier of artificial agents, in: Castelfranchi/Falcone/Hexmoor, Agent Autonomy, 1. Auflage, S. 103.

²⁹ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 49.

³⁰ Omicini/Sartor, The autonomy of technological systems and responsibilities for their use, in: Beck/Bhuta/Kreß/Geiß/Liu, Autonomous Weapon Systems: Law, Ethics, Policy, 1. Auflage, S. 51-52; Georgeff/Rao, Modelling rational agents within a BDI architecture in: Fikes/Sandewall, Procedings of Knowledge Representation and Reasoning, 1. Auflage. S. 473.

³¹ United Kingdom Ministry of Defense (MoD), Unmanned Aircraft Systems, Joint Doctrine Publication 0-30.2, 12.09.2017, S. 72; Bode/Huelss, Review of International Studies 2018, S.393 (399).