Regulierung von autonomen Waffensystemen – TAB-Bericht

Autonome Waffensysteme, die größtenteils ohne Zutun eines Menschen handeln und militärische Ziele bekämpfen können, sind seit einigen Jahren ein kontroverses Thema. Als möglicher Vorteil gilt, dass autonome Waffen auf dem Schlachtfeld schneller als Menschen sind, Emotionen ausklammern und durch den Einsatz in gefährlichen Situationen eigene Soldatinnen und Soldaten schützen können. Doch bringt der Einsatz auch ethische und völkerrechtliche Bedenken mit sich, da bei komplett autonomen Waffensystemen die Maschine über Menschenleben entscheidet. Darüber hinaus stellt sich die Frage, inwiefern solche Technologien zu Aufrüstungsspiralen führen, die Hemmschwelle zum Einsatz militärischer Gewalt senken oder bei unkontrollierter Verbreitung eine Gefahr für die Allgemeinheit darstellen könnten.

Zu diesen Fragen hat das Büro für Technikfolgen-Abschätzung (TAB) im Oktober 2020 einen Bericht vorgelegt (siehe Primärquelle). In diesem geht es neben einer Darlegung des Forschungsstandes sowie technischen und militärischen Aspekten auch um sicherheitspolitische Implikationen, ethische wie rechtliche Fragen und Aspekte der Rüstungskontrolle. Am Mittwoch, den 04.11.2020, gab es dazu auch ein öffentliches Fachgespräch im Bundestag [I].

Auch wenn viele Eigenschaften und Einsatzszenarien von autonomen Waffensystemen momentan noch spekulativ sind, wird das Thema doch in absehbarer Zeit an Relevanz und Aktualität gewinnen. Das Büro für Technikfolgen-Abschätzung betont daher in seinem Abschlussbericht, dass momentan ein guter Zeitpunkt für die Debatte über und die Regulierung von autonomen Waffensystemen ist. Je weiter die Forschung in dem Bereich fortschreitet und je mehr automatisierte und auch autonome Waffensysteme in bestehende militärische Vorgänge integriert werden, desto schwerer fällt eine Regulierung.

 

• Prof. Dr. Christian Reuter, Inhaber des Lehrstuhls Wissenschaft und Technik für Frieden und Sicherheit (PEASEC), Technische Universität Darmstadt
  und Stefka Schmid, Wissenschaftliche Mitarbeiterin am Lehrstuhl Wissenschaft und Technik für Frieden und Sicherheit (PEASEC), Technische Universität Darmstadt

 

• Dr. Frank Sauer, Senior Research Fellow, Universität der Bundeswehr München

 

• Anja Dahlmann, Wissenschaftlerin, Forschungsgruppe Sicherheitspolitik und Leiterin des Projektes „The International Panel on the Regulation of Autonomous Weapons“, Stiftung Wissenschaft und Politik, Berlin
  und Dr. Elisabeth Hoffberger-Pippan, Wissenschaftlerin, Forschungsgruppe Sicherheitspolitik im Projekt „The International Panel on the Regulation of Autonomous Weapons“, Stiftung Wissenschaft und Politik, Berlin

 

• PD Dr. Robert Frau, Privatdozent für Öffentliches Recht, Europarecht und Völkerrecht, Europa-Universität Viadrina, Frankfurt (Oder)

 

• Prof. Dr. Silja Vöneky, Professorin für Völkerrecht und Rechtsethik, Universität Freiburg, und Mitglied der FRIAS Forschungsgruppe Responsible AI

 

Statements

Prof. Dr. Christian Reuter

Inhaber des Lehrstuhls Wissenschaft und Technik für Frieden und Sicherheit (PEASEC), Technische Universität Darmstadt und

Stefka Schmid

Wissenschaftliche Mitarbeiterin am Lehrstuhl Wissenschaft und Technik für Frieden und Sicherheit (PEASEC), Technische Universität Darmstadt

„Der Abschlussbericht zu autonomen Waffensystemen (AWS) des Büros für Technikfolgenabschätzung sollte sich auf ein Verständnis von AWS als Waffensysteme mit autonomen Funktionen fokussieren. Ob Funktionen automatisiert oder autonom sind, wird vor allem relevant, wenn sie Teil des ‚targeting cycles‘ (der militärische Prozess der Zielbekämpfung, bestehend aus den Schritten Finden, Fixieren, Verfolgen, Auswählen und Bekämpfen von Zielen, sowie abschließende Beurteilung; Anm. d. Red.) sind. Bedeutsame menschliche Kontrolle sollte sich ebenso an den unterschiedlichen Funktionen von AWS orientieren und kann zum gemeinsamen Verständnis auf verschiedene soziotechnische Eigenschaften wie Präzision oder Zuverlässigkeit heruntergebrochen werden [1].“

„Notwendig ist inter- und transdisziplinäre Forschung, die die einzelnen Debatten der (ingenieurswissenschaftlichen) Ethik, Politikwissenschaft, Informatik und Rechtswissenschaft verbindet. Dies schließt Perspektiven der Mensch-Computer-Interaktion wie ‚Value Sensitive Design‘ [1] (Wertempfindliches Design; Design von Technologie, bei dem menschliche Werte berücksichtigt werden; Anm. d. Red.), ‚Distributed Cognition‘ (über viele Agenten verteilte Kognition; Anm. d. Red.) oder auch ‚Cognitive Engineering‘ (Methode, bei der technische Systeme unter Zuhilfenahme kognitiver Psychologie so entwickelt werden, dass sie die kognitiven Prozesse der Nutzer unterstützen; Anm. d. Red.) ein, da sie eine Einordnung von militärischen Forschungsprojekten und Konzepten erlauben. Zukünftige Handlungsschritte beinhalten nicht nur die Förderung von Explainable AI wie sie im Bericht angesprochen wird. Es gilt, sich mit interpretierbaren Ansätzen auseinanderzusetzen, die transparent sind.“

„Während die ‚Group of Governmental Experts on Lethal Autonomous Weapons Systems‘ der UN Convention on Certain Conventional Weapons (CCW) in ihrer Effektivität kritisiert wurde, sollte sie als internationale Kooperationsplattform dennoch nicht unterschätzt werden. Gleichzeitig sollten auch immaterielle Güter wie Künstliche Intelligenz weiterhin mit Exportkontrollen reguliert werden und die internationale Kooperation zwischen den unterschiedlichen Staaten vorangetrieben werden.“

Dr. Frank Sauer

Senior Research Fellow, Universität der Bundeswehr München

Auf die Frage, wie weit die Forschung im Bereich autonomer Waffensysteme ist:
„Autonomie in Waffensystemen gibt es längst – sie ist weder neu noch per se schlecht. Zur Abwehr von Beschuss ist es bei bestimmten Verteidigungssystemen schon lange für den Notfall möglich, die Maschine statt den Menschen das Ziel auswählen und bekämpfen zu lassen. Das kann Menschenleben retten. In anderen Kontexten hingegen kann die gleiche autonome Funktionalität, also das maschinelle Auswählen und Bekämpfen des Ziels, extrem problematisch sein.“

„Aktuell wird in den Kampfhandlungen rund um Bergkarabach zum Beispiel das israelische System ‚Harpy‘ eingesetzt. Diese ‚Kamikazedrohne‘ ist in Fachkreisen schon lange als autonomes Waffensystem bekannt, weil sie in der Luft kreist, auf Ziele wartet und diese dann eigenständig ohne Rückversicherung bei einem menschlichen Bediener angreift. Das ist, anders als die Abwehr von Munition, völkerrechtlich hochproblematisch, weil das System zwischen Kombattanten und Zivilisten gar nicht unterscheiden kann – letztere also absolut inakzeptablen Risiken aussetzt.“

Auf die Frage, wie die Gefahr eines Wettrüstens bei autonomen Waffensystemen zu beurteilen ist:
„Der zentrale Vorteil von Waffensystemautonomie liegt ja auf der Hand: Entscheidet die Maschine und nicht der Mensch, dann bedeutet das einen gewaltigen Geschwindigkeitsvorteil. Das ist der ebenso einfache wie wirkmächtige Grund dafür, warum das Rennen um mehr Autonomie inzwischen voll entbrannt ist – insbesondere zwischen den USA und China. Das Risiko liegt ebenso klar auf der Hand: Entscheidet nur noch die Maschine, und entscheidet sie falsch – was ja durchaus mal vorkommen kann –, dann hat man militärische Eskalation in Maschinengeschwindigkeit. Das kann dann kein Mensch mehr einfangen. Die Chinesen nennen das ‚Schlachtfeldsingularität‘. Automatisiert man auch Abläufe in nuklearen Kontrollsystemen, was tatsächlich von einigen inzwischen gefordert wird, dann ist man sehr schnell bei den düsteren Szenarien vom ‚Atomkrieg aus Versehen‘, dem wir im Kalten Krieg ein paar Mal nur mit großem Glück entkommen sind.“

Auf die Frage, wie zuverlässig solche Systeme sein können:
„Die der Technologie inhärenten Schwächen sind einer der Gründe, weswegen so viele WissenschaftlerInnen, insbesondere aus dem Feld der Künstlichen Intelligenz, vor Autonomie in Waffensystemen warnen. KI denkt nicht, versteht Kontexte nicht, kann keine Konzepte bilden. Das ist im Kern der Grund, weswegen wir, trotz enormer Fortschritte beim maschinellen Lernen, zum Beispiel beim autonomen Fahren, immer noch nicht so weit sind, wie wir angeblich längst hätten sein sollen. Aber es ist eben leider so, dass auch im Jahr 2020 das autonome Auto das Stoppschild immer noch nicht erkennt und überfährt, wenn man an der richtigen Stelle ein wenig Klebeband angebracht hat. Einem Menschen würde das nicht passieren. Ergo ist die Technik schlichtweg nicht reif fürs Schlachtfeld. Und selbst wenn sie es irgendwann mal wäre, sollten wir die Entscheidungen über Leben und Tod trotzdem nicht an Algorithmen delegieren, sondern weiterhin unser menschliches Gewissen mit dem Tod unserer Mitmenschen – auch wenn sie unsere Kriegsgegner sein mögen – belasten.“

Auf die Frage, welche möglichen Gegenmaßnahmen und Konventionen es gegen den Einsatz dieser Waffensysteme geben könnte:
„Die Vereinten Nationen diskutieren in Genf schon seit ungefähr sieben Jahren über das Thema. Ein völkerrechtlich bindender Vertrag, wie ich ihn mir wünschen würde – also ein Abkommen, das differenziert und kontextabhängig echte menschliche Kontrolle über Waffensysteme als die Regel festschreibt und autonomes Feuer nur in Ausnahmefällen zur Verteidigung erlaubt – liegt dort aktuell noch in weiter Ferne.“

„Andererseits dauern solche Prozesse immer lange – internationale Regulierung ist ein Marathon, kein Sprint. In Deutschland und Europa könnten – und sollten – wir demgegenüber eigentlich umgehend derartige Regeln aufstellen. Das entspräche dem europäischen Verständnis völkerrechtlicher Kernprinzipien, wie dem Schutz von Zivilisten, sowie unseren humanitären Werten, insbesondere dem Gebot, Menschen nicht algorithmisch töten und damit zu Objekten degradieren zu lassen. Aber auch in der EU herrscht leider noch keine Einigkeit. Überprüfen könnte man die Einhaltung solcher Regeln vermutlich nur im Nachhinein. Und natürlich würden sie – wie alle Regeln – auch mal gebrochen. Aber das ist ja kein Grund, sie nicht aufzustellen. Chemiewaffen sind – und bleiben – ja zum Beispiel auch verboten, unabhängig davon, ob Assad sie in Syrien eingesetzt hat. Erst aus der Existenz der Regel ergibt sich ja die Möglichkeit, Verstöße zu sanktionieren.“

„Der Abschlussbericht ist von großer Bedeutung, weil er die wesentlichen Chancen und Herausforderungen von Waffensystemautonomie herausstellt und damit die Diskussion in Deutschland weiter substantiiert und politisch voranbringt. Zu Beginn des Jahres gab es bereits eine Diskussion im Plenum des Bundestags zur Frage der Ächtung autonomer Waffen. Dabei zeigte sich, dass über alle Parteien hinweg die Überzeugung vorherrscht, dass das Delegieren von Entscheidungen über Leben und Tod auf dem Schlachtfeld an Maschinen in Deutschland nicht akzeptabel ist. Nicht umsonst haben wir auch in den Koalitionsverträgen der letzten beiden Regierungen schon das klare Bekenntnis stehen gehabt, auf eine Regulierung hinzuarbeiten. Ich hoffe daher sehr, dass die nächste Bundesregierung hier auf europäischer und nationaler Ebene noch mehr Aktivität an den Tag legt. Eine offizielle Bundeswehr-Leitlinie zum Umgang mit Autonomie in Waffensystemen in den deutschen Streitkräften hielte ich so zum Beispiel für eine gute, sofort umsetzbare Initiative, die auch international Signalwirkung entfalten würde.“

Anja Dahlmann

Wissenschaftlerin, Forschungsgruppe Sicherheitspolitik und Leiterin des Projektes „The International Panel on the Regulation of Autonomous Weapons“, Stiftung Wissenschaft und Politik, Berlin und

Dr. Elisabeth Hoffberger-Pippan

Wissenschaftlerin, Forschungsgruppe Sicherheitspolitik im Projekt „The International Panel on the Regulation of Autonomous Weapons“, Stiftung Wissenschaft und Politik, Berlin

„Zahlreiche Staaten, allen voran die USA, China und Russland, forschen an Waffensystemen mit autonomen Fähigkeiten bei der Zielauswahl und -bekämpfung. Zwar gibt es bereits Systeme, die dies in begrenztem Umfang können – zum Beispiel bei der Flugabwehr –, doch in Zukunft werden breitere Anwendungen für dynamischere Situationen entstehen. Technische Fortschritte bei Sensoren, Prozessen und Software – zum Beispiel in den Bereichen Künstliche Intelligenz und maschinelles Lernen – ermöglichen dies.“

„Ziele dieser Entwicklung sind vor allem die Beschleunigung militärischer Entscheidungen, die Entlastung der Soldat*innen und das Erschließen neuer Einsatzoptionen.“

„Auch wenn technische Entwicklungen vieles ermöglichen werden, bleiben rechtliche und ethische Abwägungen Aufgabe des Menschen.“

„Im Rahmen der Waffenkonvention der Vereinten Nationen beraten Staaten über einen Rüstungskontrollvertrag zu sogenannten letalen autonomen Waffensystemen (LAWS). Die Aussichten auf eine Einigung sind gering, denn es mangelt an politischem Willen, da militärische Interessen bei vielen Staaten die rechtlichen, ethischen und sicherheitspolitischen Bedenken übertrumpfen.“

„Ein Erfolg ist aber zu verbuchen: Die Staaten setzen sich damit auseinander, welche Rolle der Mensch bei der Tötungsentscheidung spielen soll und muss. Diese Debatte über ‚meaningful human control‘ kann auch ohne ein rechtsverbindliches Verbot eine normative Wirkung entfalten.“

„Das Thema LAWS ist vielschichtig und benötigt neben technischem und militärischem Sachverstand auch ein Verständnis der rechtlichen und ethischen Anforderungen. Der TAB-Bericht beleuchtet all diese Facetten und bietet damit eine gute Grundlage für eine informierte Diskussion.“

PD Dr. Robert Frau

Privatdozent für Öffentliches Recht, Europarecht und Völkerrecht, Europa-Universität Viadrina, Frankfurt (Oder)

Auf die Frage, wie autonome Waffensysteme aus rechtlicher Perspektive zu betrachten sind:
„Die Völkerrechtsfragen sind einfach zu beantworten. Derzeit gibt es kein Verbot und das Gewaltverbot ist ebenso wie das humanitäre Völkerrecht auf autonome Systeme anwendbar. Umstritten ist eher die Frage, ob das auf Staaten und auf die für Staaten handelnden Menschen zugeschnittene Völkerrecht generell auf nicht-menschliche Intelligenz anwendbar ist. Nach der Mehrheitsauffassung der Staaten ist dies der Fall, sodass schon heute Regelungen bereitstehen. Die Herausforderungen liegen vielmehr auf der technischen Seite, ganz zu schweigen von ethischen Herausforderungen: Können autonome Systeme so gut sein, sich an die simplen Vorgaben des Völkerrechts zu halten? Können und wollen wir damit leben, dass Entscheidungen über Leben und Tod von Maschinen getroffen werden?“

„Herunterbrechen lassen sich die völkerrechtlichen Probleme von autonomen Waffensystemen auf drei Bereiche: Das Gewaltverbot, das humanitäre Völkerrecht beziehungsweise das Kriegsführungsrecht und die Menschenrechte.“

„Das Gewaltverbot verbietet jede Form der militärischen Gewaltanwendung zwischen Staaten, ob dies nun mit Schusswaffen, Panzern, Kampfflugzeugen oder eben autonomen Systemen passiert.“

„Das humanitäre Völkerrecht verlangt, dass zwei Kardinalprinzipien eingehalten werden: Der Unterscheidungsgrundsatz verlangt, dass stets zwischen Kombattanten und militärischen Zielen auf der einen und Zivilpersonen und zivilen Objekten auf der anderen Seite unterschieden wird. Das Verbot der Verursachung überflüssiger Leiden und unnötiger Verletzungen ist schwerer fassbar. Allerdings gibt es zahlreiche Verträge, die es konkretisieren. So dürfen solche autonomen Waffensysteme weder biologische noch chemische Waffen einsetzen oder etwa nichtentdeckbare Splitter verursachen. Wichtig ist zu betonen, dass es derzeit kein Verbot gibt, autonome Systeme zu entwickeln, zu beschaffen oder sie einzusetzen.“

„Die Menschenrechte sind die große Herausforderung: Menschenrechte sind nach derzeitiger Rechtslage nur einzuhalten, wenn der Staat ‚effektive Kontrolle‘ ausübt. Was das genau bedeuten soll ist unklar und im Fluss. Vom Straßburger Europäischen Gerichtshof für Menschenrechte wird in den nächsten Monaten dazu eine Grundsatzentscheidung erwartet.“

Auf die Frage, welche möglichen Gegenmaßnahmen und Konventionen es gegen den Einsatz dieser Waffensysteme geben könnte:
„Ein vollständiges Verbot autonomen Waffensysteme wird es nicht geben. Zu groß sind die Vorteile, die sich alle Staaten für ihre Streitkräfte und andere Politikbereiche versprechen. Rüstungsbeschränkungen sind ebenfalls unwahrscheinlich, allein schon, weil künstliche Intelligenz und Autonomie so viele unterschiedliche Formen annehmen kann. Viel realistischer ist, dass Staaten und Unternehmen sich einen Wettkampf in der Entwicklung liefern, um bessere Systeme zu haben als die ‚Konkurrenz‘. Es kommt dann auf die Einhaltung der bestehenden und weitgehend bewährten Regeln an.“

Auf die Frage, inwiefern der Abschlussbericht die für eine informierte gesellschaftliche Debatte relevanten Fragen und Probleme aufgezeigt hat:
„Der Bericht beleuchtet die maßgeblichen Herausforderungen und zeigt die Antwortmöglichkeiten auf. Gut ist, dass er keine endgültigen Wahrheiten verkündet, wie es in Bezug auf ‚Killer-Roboter‘ zu oft getan wird. Er bildet eine schöne Grundlage für eine dringend nötige, sachlich geführte gesamtgesellschaftliche Debatte.“

Prof. Dr. Silja Vöneky

Professorin für Völkerrecht und Rechtsethik, Universität Freiburg, und Mitglied der FRIAS Forschungsgruppe Responsible AI

Auf die Frage, wie autonome Waffensysteme aus rechtlicher Perspektive zu betrachten sind:
„Ein Staat, der in einem bewaffneten Konflikt autonome Waffen einsetzt, muss sich an die geltenden Normen des Kriegsvölkerrecht halten, also insbesondere die gewohnheitsrechtlichen Prinzipien, die Genfer Konventionen und – für Deutschland – die zwei Zusatzprotokolle zu diesen. Dies gilt für internationale bewaffnete Konflikte genauso wie für nicht-internationale, also Bürgerkriege oder Terrorismusbekämpfungsmaßnahmen, die in Situationen eingesetzt werden, die bereits bewaffnete Konflikte darstellen und damit über ‚innere Unruhen‘ hinausgehen.“

„Die Grundprinzipien und Regeln des Kriegsvölkerrecht gelten damit unverändert auch beim Einsatz autonomer Waffen. Dazu gehört insbesondere die Unterscheidung von Zivilisten und Kombattanten; das grundsätzliche Verbot zivile Ziele und Zivilisten anzugreifen und das Verbot bei dem Angriff von militärischen Zielen ‚exzessive Kollateralschäden‘ bei Zivilisten oder zivilen Zielen zu verursachen. Würden diese Normen von autonomen Waffen eingehalten werden, wäre dies zumindest eine Sicherheit, dass diese bekannten und geltende roten Linien des Kriegsvölkerrechts – die allerdings nur schlimmste Verfehlungen verbieten – nicht überschritten werden.“

„Die massiven Nachteile bei einem Einsatz autonomer Waffen sind aber:

- Es ist unklar, ob diese Normen eingehalten werden können, weil dies komplexe Abwägungen erfordert: Was ist ein militärisches Ziel; was sind unverhältnismäßige zivile Schäden?

- Es ist unklar, wie sichergestellt werden soll, dass diese eingehalten werden – wer muss diese Waffen wie testen, sodass ein Staat sich darauf verlassen darf, dass das Kriegsvölkerrecht eingehalten wird?

- Es besteht die Gefahr einer Verantwortungslücke in Bezug auf Schadensersatzfragen: Haftet der Staat völkerrechtlich, wenn diese Normen nicht eingehalten werden, wenn ein (privates) Unternehmen zuvor bestätigt hat, dass die Waffen ‚sicher‘ sind? Das ist völlig unklar und sicher nur der Fall, wenn der Staat seine Sorgfaltspflichten nicht eingehalten hat. Wie letzteres bewiesen werden könnte, ist wiederum zweifelhaft.

- Es besteht die große Gefahr einer Verantwortungslücke in Bezug auf persönliche Verantwortlichkeit: Wird es die Möglichkeit geben, Verantwortliche als Kriegsverbrecher zu verurteilen? Das ist ebenfalls unklar, da es ja nur einen generellen Einsatzbefehl für diese Waffen geben würde und nicht genau für den Fall, der zu dem Kriegsverbrechen geführt hat. Hier vorsätzliches Handeln nachzuweisen, wird schwer möglich sein. Wenn aber niemand mehr für Gräueltaten im Krieg persönlich verantwortlich gemacht werden kann, entfällt eine letzte Möglichkeit, fundamentale Normen im Krieg durchzusetzen.

- Es bleibt bei der Dehumanisierung des Krieges, wenn kein Mensch mehr über Leben und Tod entscheidet, wenn also autonomen Waffen die Entscheidung über Leben und Tod übertragen wird.“

Auf die Frage, welche möglichen Gegenmaßnahmen und Konventionen es gegen den Einsatz dieser Waffensysteme geben könnte:
„Wie biologische (B-Waffen) und chemische Waffen (C-Waffen) und auch bestimmte konventionelle Waffen können autonome Waffen unproblematisch durch einen völkerrechtlichen Vertrag verboten werden, wenn der politische Wille dafür besteht. Die Gegenargumente – Schwierigkeit der Definition, was eine ‚autonome Waffe‘ ist, wie diese abzugrenzen sind gegenüber von semi-autonomen Waffen und so weiter, halte ich für nicht überzeugend. Auch im Rahmen der C-Waffenkonvention konnte bestimmt werden, was eine verbotene C-Waffe ist; genauso konnte niedergelegt werden, was eine verbotene B-Waffe ist oder eine verbotene umweltmodifizierende Waffe im Rahmen der ENMOD-Konvention. Es bedarf nur des politischen Konsenses – juristisch kann dies umgesetzt werden. Dabei kann auch differenziert werden, beispielsweise könnten nur autonome Waffen verboten werden, die Menschen töten oder schwer verwunden könnten.“

„Im Rahmen der Erörterungen unter dem Dach der ‚Convention on Certain Conventional Weapons‘ (CCW) der Vereinten Nationen zeichnet sich solch ein Konsens aber gerade nicht ab. Staaten wie Russland und die USA sind gegen Verbote und Beschränkungen; auch Deutschland und Frankreich wollen kein vertraglich verankertes Verbot, sondern nur unverbindliche Leitlinien, also ‚soft law‘. Das steht im Widerspruch zu vielen Stimmen von Wissenschaftlern aus dem Bereich der KI und Robotik, die sich schon vor Jahren und weiterhin gegen die Entwicklung von autonomen Waffen ausgesprochen haben.“

„Die Einhaltung eines solchen Verbotes im bewaffneten Konflikt ist nicht unrealistisch, da dies nicht zu schwer zu beweisen wäre, wenn ein Staat diese Waffen einsetzt. Auch jetzt wissen wir bereits, welche Staaten in diesem Bereich forschen und Vorläuferwaffen einsetzen.“

„Schwieriger wäre ein Entwicklungs- und Herstellungsverbot durchzusetzen und die Durchsetzung zu kontrollieren. Auch hier gibt es aber mit der C-Waffenkonvention und deren Implementierungsprotokoll eine ‚Blaupause‘, um ein Waffenentwicklungsverbot auch im Frieden schon umzusetzen und dennoch friedliche Forschung zuzulassen. Wichtig ist allerdings, dass auch dafür der politische Wille gegeben ist – andernfalls bleibt es (wie bei der B-Waffenkonvention) bei einem Verbot, dessen Überwachung nicht vor Ort in den Staaten überprüft werden kann und bei dem man sich auf die Berichte der Staaten über die friedliche Forschung verlassen muss.“

Auf die Frage, inwiefern der Abschlussbericht die für eine informierte gesellschaftliche Debatte relevanten Fragen und Probleme aufgezeigt hat:
„Der Bericht nennt schon auf der ersten Seite der Zusammenfassung die militärischen Vorteile von autonomen Waffen; unter anderem schnellere Reaktionszeiten. Er zitiert auch Vorteile, die von Befürwortern den militärischen Waffen zugesprochen werden, wie eine größere Präzision bei militärischen Operationen, besserer Schutz von Zivilisten. Er benennt aber auch die Probleme, ob autonome Waffen in naher Zukunft die komplexen Anforderungen, die das Kriegsvölkerrecht niederlegt, einhalten können [S. 22].“

„Die politischen Aussichten und Möglichkeiten für internationale und nationale Verbote werden dargelegt, genauso wie unterschiedliche Definitionen und technische Möglichkeiten von KI-Systemen insgesamt und unbemannter (teil-)autonomer Waffensysteme. Das sind hilfreiche Darlegungen und Zusammenfassungen. Die Ausführungen zum Völkerrecht sind jedoch viel zu knapp [S. 137-148]; zu schnell wird auch von ‚Ethischen Fragestellungen‘ gesprochen in Bereichen, die schon rechtlich fundiert sind [S. 149 ff.].“

„Nicht überzeugt bin ich von den Ausführungen in dem Bericht zur Verantwortlichkeit unter der Überschrift zur ethischen Debatte [S. 23 ff., 149, 168 ff.]. Zwar wird hier noch einmal eine ‚Rechtliche Sicht‘ auf zwei Seiten eingefügt. Verantwortungszurechnung ist jedoch im Kern keine vorrangig ethische Frage, sondern eine rechtliche Frage, die zentral, wie bisher in bewaffneten Konflikten und im Frieden, rechtlich verankert und beantwortet werden muss.“

„Hier erscheint mir der Bericht zudem deutlich zu knapp, auch wenn die Problematik der Verurteilung als Kriegsverbrecher und die zivilrechtliche Haftung angesprochen werden – und an anderer Stelle die Verantwortlichkeit von Staaten [S. 144]. Zwar wird das Problem einer Verantwortungslücke aufgezeigt, aber die rechtlichen Anforderungen, wer wann auf welcher Grundlage haftet oder haften könnte, wenn eine autonome Waffe Kriegsvölkerrecht bricht, werden noch nicht hinreichend dargelegt. Wann es die Möglichkeit gibt, Kriegsverbrecher zu bestrafen, bleibt zu unklar; ob ein Hersteller wirklich zivilrechtlich verschuldensunabhängig haftet [S. 173], wenn ein Software-Fehler vorliegt, erscheint gerade noch nicht hinreichend geklärt. Hier insgesamt, wie es der Bericht tut, insbesondere auf die angehenden Diskussionen zu verweisen und die Möglichkeit und Notwendigkeit eine Lösung zu finden, reicht nicht aus.“

„‚Ethische Technikgestaltung‘ ist zu wenig (und zu wenig genau), wenn es um autonome Waffensysteme geht.“

„Auf eine Gefährdungshaftung (wie nach BGB im Bereich der Tierhalterhaftung) zu hoffen, wie es die Autoren des Berichts tun, scheint völlig unrealistisch und fernliegend. Dass im Rahmen einer Gefährdungshaftung sogar der verantwortliche Kommandeur haften könnte, liegt völlig quer zu den Grundprinzipien des bisherigen (nationalen) Staatshaftungsrechts und des Völkerrechts. Hier werden meines Erachtens zu optimistisch letztlich unrealistische, rechtliche Lösungsmöglichkeiten aufgezeigt.“

„Dies gilt auch, wenn es darum geht, ob Staaten haften beim Einsatz der Waffen: Dass das Internationale Komitee des Roten Kreuzes eine Gefährdungshaftung vorschlägt, sollte zwar benannt werden, wie es der Bericht auf S. 145 tut; dass es jedoch völlig unrealistisch ist, dass es zu einer solchen Vereinbarung im Rahmen eines Vertrages kommt oder die Staaten, die solche Waffen einsetzen wollen, unilateral erklären, sich an eine solche Haftung gebunden zu fühlen, sollte dann aber nicht fehlen, sondern klar benannt und betont werden [anders aber S. 146].“

„Damit wird insgesamt in dem Bericht ein rechtlicher Optimismus und eine rechtliche Sicherheit für Verantwortungszurechnung und Haftung (strafrechtlich, zivilrechtlich und völkerrechtlich) verbreitet, die – wenn es Normen zur Gefährdungshaftung überhaupt je geben wird – in weiter Ferne liegt. Gerade das ist für Gesellschaften und Staaten, die sich nicht (mehr) für ein Verbot dieser Waffen einsetzen, aber entscheidend zu wissen: Wie realistisch sind Aussichten, dass jemand oder ein Staat haftet oder bestraft wird, wenn etwas schiefgeht beim Einsatz dieser Waffen, und welche Sorgfalt muss – auf rechtlicher Grundlage verpflichtend – aufgewendet werden, damit nichts schiefgeht?“

Auf die Frage, wie zuverlässig solche Systeme sein können:
„Das ist die zweite wichtige Frage. Wenn wir autonome Waffen nicht verbieten, muss geklärt werden, welche Sorgfaltspflichten vor dem Einsatz erfüllt werden müssen und wie Staaten die Erfüllung nachweisen müssen. Es kann nicht ausreichen, dass es um bloße Berechnungen oder Modellierungen geht, sondern die Völkerrechtskonformität muss in der Praxis in vielfältigen Situationen belegt sein. Nur in Situationen, in denen dieser Test erfolgreich durchlaufen wird, dürfen Waffen eingesetzt werden, wenn wir sie nicht ganz verbieten; also beispielsweise in Situationen, in denen Menschen nicht getötet werden können, sondern nur bestimmte militärische Ziele angegriffen werden müssen (beispielsweise andere autonome Waffen; Raketensysteme; militärische Drohnen und so weiter).“

„Wir sollten daran denken, welche Tests und Ausbildung ein Soldat in vielen Staaten bewältigen muss – solche Tests muss es auch für autonome Waffen geben und diese müssen zeigen, dass eine autonome Waffe nicht schlechter die rechtlichen Grenzen einhalten kann als ein (durchschnittlicher) Soldat dieses Staates. Dies müsste der einsetzende Staat nachweisen können – allein sich auf Unternehmensaussagen zu verlassen, die die Waffen herstellen, darf nicht ausreichen, um diese einzusetzen oder nicht zu haften.“

Angaben zu möglichen Interessenkonflikten

Prof. Dr. Christian Reuter: „Interessenkonflikte bestehen keine.“

Dr. Frank Sauer: „Es bestehen keine Interessenkonflikte.“

PD Dr. Robert Frau: „Es bestehen keine Interessenkonflikte.“

Prof. Dr. Silja Vöneky: „Keine Interessenkonflikte vorhanden.“

Alle anderen: Keine Angaben erhalten.

Primärquelle

Grünwald R et al. (2020): Autonome Waffensysteme. Endbericht zum TA-Projekt. Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag.

Literaturstellen, die von den Experten zitiert wurden

[1] Riebe T, Schmid S und Reuter C (2020): Meaningful Human Control of Lethal Autonomous Weapon System: The CCW-Debate and its Implications for Value-Sensitive Design. IEEE Technology and Society Magazine (im Erscheinen).

Literaturstellen, die vom SMC zitiert wurden

[I] Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag: Öffentliches Fachgespräch „Autonome Waffensysteme“. 4. November 2020, 15.00 bis 17:30 Uhr.

Weitere Recherchequellen

Sauer F (2018): Sicherheitspolitische Auswirkungen der Digitalisierung: Zukünftige Konfliktformen und Konfliktbearbeitung. Metis Studien; Nr. 01.

Altmann J et al. (2017): Autonomous weapon systems and strategic stability. Survival; 59 (5): 117–142. DOI: 10.1080/00396338.2017.1375263.

Sicherheitshalber. „Der Podcast zur sicherheitspolitischen Lage in Deutschland, Europa und der Welt.“ Die Expertinnen und Experten Ulrike Franke, Carlo Masala, Frank Sauer und der Journalist Thomas Wiegold beschäftigen sich im Podcast mit sicherheitspolitischen Themen, unter anderem autonomen Waffensystemen.