Risiken aktueller KI-Forschung

03.04.2023

rasche Entwicklungen bei KI und Sprachmodellen führen zu gesellschaftlichen Diskussionen um Risiken

angeführte Risiken reichen von Diskriminierung über Artificial General Intelligence bis zum Ersetzen von Arbeitsplätzen durch KI

Forschende aus Bereichen KI, Jura und Ethik ordnen unterschiedliche Aspekte ein

Im Kontext der aktuellen Fortschritte und Veröffentlichungen im Bereich der KI und insbesondere bei Sprachmodellen kommen oft Fragen zu den Risiken dieser Entwicklungen auf. Viele der Risiken werden bereits in der Forschung behandelt und medial thematisiert: Mögliche Diskriminierung, wenn KI Vorurteile aus den Trainingsdatensätzen verinnerlicht, Implikationen für den Arbeitsmarkt, wenn KI immer mehr Aufgaben übernehmen kann, die Gefahr durch immer mächtiger werdende KI bis hin zu einer Artificial General Intelligence oder die mögliche einfachere Erstellung und Verbreitung von Desinformation. Ein kürzlich veröffentlichter offener Brief [I] mit prominenten Unterzeichnerinnen und Unterzeichnern auch aus der KI-Forschung fordert nun ein sechsmonatiges Moratorium für das Trainieren von KI-Systemen, die „mächtiger als GPT-4“ sind. Und in Italien soll ChatGPT aus Datenschutzgründen fürs Erste gesperrt werden.

Doch in welchen Bereichen kann KI wirklich gefährlich oder schädlich sein, bei welchen sind die Befürchtungen vielleicht übertrieben? Das ist in der Debatte oft nicht einfach zu beurteilen, da eine Darstellung der KI-Systeme als besonders fähig und damit gegebenenfalls besonders gefährlich auch Teil einer Marketingstrategie sein kann.

Angesichts der Risiken spielt auch die Regulierung von KI eine große Rolle. Auf EU-Ebene wird momentan über den AI Act verhandelt. Der Vorschlag der EU-Kommission liegt seit knapp zwei Jahren vor, seitdem wird über die Details diskutiert. Aber auch wenn der AI Act nach optimistischen Schätzungen noch dieses Jahr verabschiedet werden könnte, wird es dann wahrscheinlich noch zwei Jahre dauern, bis er in den EU-Staaten dann auch gilt – was die Frage aufkommen lässt, wie KI-Forschung und -Einsatz momentan reguliert ist.

Um diese unterschiedlichen Aspekte einordnen zu können, hat das SMC Expertinnen und Experten aus den Bereichen KI-Forschung, Ethik, KI-Recht und Technikfolgenabschätzung um Einschätzungen gebeten.

Übersicht

Ethik

Dr. Thilo Hagendorff, Forschungsgruppenleiter, Interchange Forum for Reflecting on Intelligent Systems (SRF IRIS), Universität Stuttgart

PD Dr. Jessica Heesen, Leiterin des Forschungsschwerpunkts Medienethik und Informationstechnik, Internationales Zentrum für Ethik in den Wissenschaften, Eberhard Karls Universität Tübingen

Prof. Dr. Peter Dabrock, Professor für Systematische Theologie/Ethik, Friedrich-Alexander-Universität Erlangen-Nürnberg, und von 2016-2020 Vorsitzender des Deutschen Ethikrates

Prof. Dr. Katharina Morik, Founding Director und Emerita, Lamarr Institut für Maschinelles Lernen und Künstliche Intelligenz

Prof. Dr. Florian Gallwitz, Professor Medieninformatik, Technische Hochschule Nürnberg Georg Simon Ohm

Prof. Dr. Ute Schmid, Inhaberin des Lehrstuhls für Kognitive Systeme, Otto-Friedrich-Universität Bamberg

Prof. Dr. Hinrich Schütze, Inhaber des Lehrstuhls für Computerlinguistik, und Direktor des Centrums für Informations- und Sprachverarbeitung, Ludwig-Maximilians-Universität München (LMU)

Prof. Dr. Frank Hutter, Leiter des Machine Learning Labs, Albert-Ludwigs-Universität Freiburg

Prof. Dr. Kristian Kersting, Leiter des Fachgebiets Maschinelles Lernen, Technische Universität Darmstadt

Recht und Regulierung

Prof. Dr. Silja Vöneky, Professorin für Völkerrecht und Rechtsethik, und Mitglied der interdisziplinären Forschungsgruppe Responsible AI, Albert-Ludwigs-Universität Freiburg

Prof. Dr. Matthias Kettemann, Professor für Innovationsrecht, Universität Innsbruck, Österreich, und Programmleiter Forschungsprogramm „Regelungsstrukturen und Regelbildung in digitalen Kommunikationsräumen“, Leibniz-Institut für Medienforschung | Hans-Bredow-Institut (HBI), Hamburg

Prof. Dr. Sandra Wachter, Professor of Technology and Regulation, Oxford Internet Institute, University of Oxford, Vereinigtes Königreich

Technikfolgenabschätzung

Prof. Dr. Armin Grunwald, Leiter am Institut für Technikfolgenabschätzung und Systemanalyse, Karlsruher Institut für Technologie (KIT) und Mitglied des Deutschen Ethikrats

Statements

Dr. Thilo Hagendorff

Forschungsgruppenleiter, Interchange Forum for Reflecting on Intelligent Systems (SRF IRIS), Universität Stuttgart

Auf die Frage nach konkreten ethischen Risiken und Chancen der aktuellen Entwicklung:
„Die Liste an ethischen Risiken durch Sprachmodelle umfasst sieben Bereiche. Erstens: Das Risiko der Diskriminierung betrifft die Generierung von Stereotypen oder toxischen Inhalten. Zweitens: Informationsrisiken beziehen sich auf die Möglichkeit, aus Sprachmodellen private Informationen extrahieren zu können. Drittens: Die automatische Erstellung von Desinformationen ist ein weiteres Risiko. Viertens: Ebenso das Risiko der bösartigen Nutzungsabsichten, etwa wenn Sprachmodelle zur Generierung von Code für IT-Angriffe missbraucht werden. Fünftens: Ein weiteres Problem betrifft das Risiko, dass Nutzer Sprachmodelle vermenschlichen oder übermäßig vertrauen und in der Folge intime Informationen preisgeben oder Ausgaben der Sprachmodelle nicht ausreichend hinterfragen. Sechstens: Ferner besteht das Risiko, dass Sprachmodelle negative wirtschaftliche Folgen haben, also etwa zu Verwerfungen am Arbeitsmarkt führen. Siebtens: Auch problematisiert werden die ökologischen Folgen des Trainings und der Nutzung von Sprachmodellen, das mit immensem Stromverbrauch einhergeht.“

Auf die Frage, inwiefern es problematisch ist, dass ein großer Teil der Forschung zu solchen KI-Systemen und Sprachmodellen bei großen Firmen und auf intransparente Art und Weise stattfindet:
„Die Firma OpenAI hat mit ihren technischen Durchbrüchen wichtige Beiträge für die Forschung im Bereich des maschinellen Lernens geleistet. Mit dem Erfolg von ChatGPT und zuletzt GPT-4 entstand jedoch die Tendenz, keine technischen Details zu den verwendeten KI-Systemen mehr zu veröffentlichen. Die Begleitpublikation zu GPT-4 etwa enthält nicht einmal Angaben zu den verwendeten Trainingsdaten für das Sprachmodell. Die Ironie dieser Entwicklung ist, dass der Erfolg von GPT-Modellen auf sogenannten Transformern beruht, also einer Architektur für künstliche neuronale Netze, die 2017 in einem frei zugänglichen Fachaufsatz durch Forscher von Google beschrieben wurde. Wäre der damalige Aufsatz ebenfalls unter Verschluss gehalten worden, wäre vermutlich nur Google in der Lage gewesen, bedeutende Fortschritte bei der Entwicklung von Sprachmodellen zu machen.“

„OpenAI rechtfertigt die neuerliche Intransparenz bezüglich technischer Details von GPT-4 nicht nur damit, einen ökonomischen Vorteil gegenüber Wettbewerbern haben zu wollen. Gleichzeitig verweist OpenAI auf angebliche Sicherheitsrisiken eines transparenteren Vorgehens. Ich halte dies für ein vorgeschobenes Argument. Die Risiken durch Sprachmodelle werden kaum dadurch abgemindert, als dass ihre technischen Details unter Verschluss gehalten werden. Vielmehr behindert dies den wissenschaftlichen Fortschritt in diesem Bereich.“

„Bereits bei GPT-2 hatte OpenAI Bedenken bezüglich der gesellschaftlichen Auswirkungen des Sprachmodells. Dies führte zu einer abgestuften Veröffentlichung, bei der anfangs nur schwächere Modelle bereitgestellt wurden. OpenAI beobachtete anschließend, ob diese akut missbraucht werden. Als dies nicht passierte, wurden auch stärkere Modelle mit mehr Parametern veröffentlicht.“

Auf die Frage, welche Richtlinien und Vorschläge für verantwortungsvolle KI-Forschung, Entwicklung und Einsatz wichtig und sinnvoll sind:
„Richtlinien zur KI-Ethik sehen gut aus, haben aber keine oder kaum nachweisbare Effekte. Es sind Listen an Prinzipien, die nach außen hin den Eindruck vermitteln, mit ihnen würden ethische Entscheidungen sichergestellt. Die Forschung zeigt aber, dass Ethikrichtlinien keinen messbaren Einfluss auf moralische Entscheidungen haben. Hinzu kommt, dass sich ethische Prinzipien nicht durchsetzen lassen. Ihre Verletzung hat außer möglichen Reputationsverlusten keine Folgen. Im schlimmsten Fall dienen sie dem Marketing für eine Firma oder der Abwehr von bindenden Gesetzesvorschlägen. Hinzu kommt, dass Ethik-Richtlinien in der Regel so abstrakt sind, dass sie sich nicht in die technische Praxis übersetzen lassen.“

Auf die Frage, wie er das im offenen Brief vorgeschlagene Moratorium beurteilt:
„Der offene Brief des Future of Life Instituts fordert ein Moratorium, also einen Stopp der Forschung an Sprachmodellen, die mächtiger sind als GPT-4. Sollte sich dies realisieren, wäre dies eine Gelegenheit für politische Systeme, um aufzuholen. Technische Innovationen sind langsameren sozialen Systemen wie der Politik oder dem Recht immer voraus. Daher sind politische Diskussionen oder die Rechtsetzung zumeist reaktiv. Ein Moratorium würde den Vorteil bringen, dass sich proaktiv Regulierungen beschließen ließen, bevor die Forschung weiter voranschreitet.“

„Gleichzeitig ist das Moratorium, das Risiken durch KI abwenden will, selbst ein Risiko. Niemand kann wirklich beurteilen, ob es weniger riskant ist, Sprachmodelle vorerst nicht zu verbessern, als sie weiter zu verbessern. Die Gefahren durch intelligentere KI-Systeme sind zwar präsent. Aber es ist auch gefährlich, erst verzögert intelligentere KI-Systeme zu besitzen, wie es das Moratorium fordert. Wenn eine Anfrage an ein Sprachmodell bessere Antworten liefern kann als menschliche Experten, dann macht dies die gesamte Wissensarbeit produktiver. Im Extremfall kann es sogar Leben retten. Sprachmodelle in der Medizin etwa sind eine große Chance, um mehr Leben retten oder Leiden reduzieren zu können. Forschung in diesen Bereichen ist extrem wichtig. Diese zu pausieren, halte ich für falsch.“

„Zudem sind die Bedenken, dass KI-Systeme in absehbarer Zeit eine existentielle Gefahr für die Menschheit darstellen, übertrieben. Es gibt keinerlei Entwicklungen, die auf etwas derartiges hindeuten würden. Vielmehr dient die ständige Betonung vermeintlich extremer Risiken der Erzeugung von Aufmerksamkeit. Extreme Botschaften sind immer interessanter als gemäßigte, begründet unsichere oder ambivalente Positionen. Mitunter wird bei KI-Systemen so getan, als könne in die Zukunft gesehen werden. Das ist unwissenschaftlich und verhindert, dass konkrete, in der Gegenwart wichtige Schritte zur Anpassung und Regulierung von KI-Systemen vollzogen werden. Zudem gilt es zu bedenken, dass neue Technologien historisch gesehen immer zu Phasen der gesellschaftlichen Unsicherheit geführt haben, die jedoch nur temporär sind.“

„Das Moratorium dient letztlich genau denjenigen Institutionen, deren Tätigkeit eigentlich problematisiert werden soll. Es suggeriert völlig übertriebene Fähigkeiten von KI-Systemen und stilisiert sie zu mächtigeren Werkzeugen, als sie eigentlich sind. Dadurch befeuert das Moratorium Missverständnisse und falsche Wahrnehmungen über KI. Er lenkt damit von faktisch vorliegenden Problemen eher ab.“

PD Dr. Jessica Heesen

Leiterin des Forschungsschwerpunkts Medienethik und Informationstechnik, Internationales Zentrum für Ethik in den Wissenschaften, Eberhard Karls Universität Tübingen

„Wir sehen im Moment, dass KI-Sprachmodelle beeindruckende Fortschritte machen, die zum einen dazu führen, dass ihre Verwendung nach und nach in den Alltag einsickert und zum anderen, dass es zunehmend schwierig wird, menschliche von maschineller Kommunikation zu unterscheiden. Und hier sehe ich auch einen der Negativpunkte: Für das Vertrauen in Kommunikation ist es sehr wichtig, dass wir wissen, ob ein Inhalt von einem Menschen oder einer KI erstellt wurde. In der Sprache geht es nicht nur um die Übermittlung von Inhalten, sondern auch um den Aufbau von Beziehungen. Um die Wahrheit, Wahrhaftigkeit und den Zweck von Kommunikation beurteilen zu können, brauchen wir eine Kennzeichnungspflicht für durch KI hergestellte Texte, Bilder und Videos.“

„Auf der Positivseite ist unter anderem zu verbuchen, dass KI-Sprachmodelle eine große Hilfe sein können bei der Erstellung von Texten. Insbesondere für Personen, die sich mit dem Schreiben schwertun, wie zum Beispiel Menschen mit Legasthenie, geistigen Einschränkungen oder Analphabeten und Analphabetinnen, bieten sich hier begrüßenswerte Möglichkeiten – nicht zuletzt auch für die Inklusion auf dem Arbeitsmarkt.“

Auf die Frage, inwiefern es problematisch ist, dass ein großer Teil der Forschung zu solchen KI-Systemen und Sprachmodellen bei großen Firmen und auf intransparente Art und Weise stattfindet:
„Im Bereich der KI-Forschung stoßen wir auf dieselben Strukturen wie im Digitalisierungsbereich generell. Das Motto lautet ‚The winner takes it all‘. Die KI-Forschung privater großer Unternehmen aus der Plattformökonomie profitiert davon, dass sie die immensen Datenbestände nutzen können, die sie durch ihre Aktivitäten zum Beispiel im Bereich Social Media angehäuft haben. Das ist problematisch, weil durch private Unternehmen auf diesem Wege wichtige Praxisfelder für die Gesellschaft geschaffen werden, die aber nicht demokratisch mitgestaltet und kontrolliert werden können.“

Auf die Frage, welche Richtlinien und Vorschläge für verantwortungsvolle KI-Forschung, Entwicklung und Einsatz wichtig und sinnvoll sind:
„An dieser Stelle ist es wichtig zwischen unterschiedlichen Formen der KI-Forschung zu unterscheiden. Es ist ein Unterschied, ob wir von Forschung in der Entwicklungsabteilung von Facebook sprechen oder von Forschung an der Universität. Im Übrigen betreiben auch Nichtregierungsorganisationen KI-Forschung, wenn sie zum Beispiel Algorithmen kritisch prüfen.“

„Es gibt eine Reihe von inzwischen etablierten Kriterien für die Forschung zu KI, dazu gehören zum Beispiel der sorgsame Umgang mit Trainingsdaten oder die Wahrung menschlicher Aufsicht. Für besonders wichtig halte ich es, nach den Zielen der Forschung für bestimmte Anwendungen zu fragen und ihr Missbrauchspotenzial systematisch im Blick zu halten. Wie kann man es beispielsweise verhindern, dass KI-Sprachmodelle für die massenhafte Verbreitung von Propaganda genutzt werden?“

„Um verantwortungsvolle KI-Forschung zu realisieren, brauchen wir die Integration von Ethik in den Forschungsprozess, der englische Fachausdruck hierfür lautet ‚ethics by design‘.“

Auf die Frage, wie sie das im offenen Brief vorgeschlagene Moratorium beurteilt:
„Aus Perspektive der Technikethik ist zu sagen, dass es grundsätzlich immer gut ist sich bewusst zu machen, dass nicht alles, was technisch möglich ist, gesellschaftlich wünschenswert ist. Techniken müssen nach menschlichen Wertvorstellungen gestaltet und unter Umständen auch verboten werden. In Bezug auf das Moratorium muss ich jedoch festhalten, dass ich es für einen Witz halte, dass hier Elon Musk unterschrieben hat, der sich als Unternehmer durch besonders unmoralisches Verhalten hervorgetan hat. Dies zeigt jedoch auch, dass technische Innovationen nicht durch individuelle Anstrengungen oder kurze Denkpausen gesellschaftsverträglich gestaltet werden können. Bedeutende und potenziell riskante Technikentwicklung muss von Beginn an unter Berücksichtigung ethischer Kriterien, transparent und partizipativ angelegt sein – das wäre der richtige Weg. In Bezug auf KI-Sprachmodelle ist der Geist jedoch schon aus der Flasche und wir müssen darauf setzen, dass der KI-Regulierungsvorschlag der EU in diesem Bereich Risiken minimieren und die Anwendungen verbessern kann.“

Prof. Dr. Peter Dabrock

Professor für Systematische Theologie/Ethik, Friedrich-Alexander-Universität Erlangen-Nürnberg, und von 2016-2020 Vorsitzender des Deutschen Ethikrates

„Wortwörtlich kann man den Brief nicht wirklich ernst nehmen – auch wenn ihn weltweit führende KI-Experten aus Wissenschaft und Tech-Industrie in großer Zahl unterschrieben haben. So viel Naivität will man diesen sicher mit allen Wassern gewaschen Menschen nicht unterstellen, als dass sie glauben könnten, auf ihren Appell hin klappten alle Programmierer von LLMs für sechs Monate ihre Laptops zu und setzten sich Politiker aus den USA, Europa, China und Russland hin, um in dieser knappen Zeitspanne verbindliche Regeln von Völker- bis nationalem Recht für die nächsten Jahre zu verabschieden. Man verbuche das Ganze daher besser schlicht als einen rhetorisch-performativen Akt, um Aufmerksamkeit auf ein extrem dringlich anzugehendes und wichtiges Problem zu lenken – oder um es mit Googles CEO Sundar Pichai auf den Punkt zu bringen: Der Brief‚is worth being out there‘ – nicht weniger, aber auch nicht mehr.“

„Wie wenig realistisch die Moratoriumsforderung ist, beweist schon die Zielperspektive, dass die Effekte der starken nächsten generischen KI-Anwendungen nach Ansicht der Autor:innen positiv und handhabbar seien sollen – ansonsten dürften diese machtvollen KI-Systeme nicht entwickelt werden. Abgesehen von der mangelnden Durchsetzbarkeit: Was heißt das im Einzelnen: ‚positiv‘ und ‚handhabbar‘? Was ist für wen wann wo und wie positiv, wann ist eine technische Entwicklung (für wen) nicht mehr händelbar? Die Menge der unbekannten – um nicht zu sagen bewusst unbestimmt und schwammig gelassenen – Variablen ist so groß, dass man alles und nichts in diese Forderung hineininterpretieren kann. Entsprechend würde man in der Technikfolgenabschätzung zum Schluss kommen, dass der Appell schon beim schlichten Vision-Assessment-Test durchgefallen wäre. In ethischer Terminologie verbucht man solche Befürchtungen unter Slippery-Slope oder Dammbruchargumente. Sie gelten wegen ihrer nach Zeit-, Raum-, Sach- und Sozialdimension quasi unformatierten Risikounterstellung als moraltheoretisch kaum rechtfertigungsfähig.“

„Stattdessen würde in einer konkreten Ethik nicht nur ein differenziertes Vision Assessment erwartet, sondern auch nach präventiven und kurativen Wegen gesucht, die Modelle in-, through- und output-orientiert auf die Voraussetzung, Kontexte und Folgen ihrer Nutzung verantwortungsethisch wetterfest zu machen. Über die schon im Zusammenhang von bisherigen Big Data und KI-Ethik debattierten Kriterien dürften‚Provenance and watermarking systems‘ – wie vom offenen Brief gefordert – als richtige technische und rechtliche Vorsichtsmaßnahme eingestuft werden. Auch ist zu begrüßen, dass Beschwerde, Haftungs- und Verbraucherschutzregime als effektive und nicht nur formale, aber kaum umsetzbare Maßnahmen gefordert werden. Damit kann man aber heute bei den gegenwärtigen KI-basierten Systemen, zum Beispiel bei Social Media, anfangen, mag man einem Elon Musk zurufen:‚Hic Rhodus, hic salta! – Dann glaube ich Dir Deine Besorgnis über die AI systems more powerful than GPT-4‘.“

„Die performative Sprachakt-Botschaft dieser Moratoriums-Forderung, nämlich‚Wissenschaft, Technik, Wirtschaft, Politik, Bildungsinstitutionen und Öffentlichkeit, und Menschen in all dem, realisiert, was ihr da in der Hand habt, schmiedet mächtige Allianzen, um as soon as possible Gestaltungsmacht zu behalten!‘, kann nur vollends unterstützt werden. Denn: Fundamentale Kulturtechniken wie Lesen und Schreiben sowie primäre Informationsverarbeitung werden sich in Kürze radikal verändern; eine maliziöse Flutung von schwer überprüfbaren Fakeinformationen via Schrift, Videos und Bildern werden Konzepte von Wahrheit und Wirklichkeit noch mehr unter Druck setzen. Entsprechend drohen den modernitätsaffinen Systemen von Wissenschaft und Demokratie schwerste Krisen, wenn kein Weg gefunden wird, die Entwicklung der Systeme regulatorisch und anspornend zu gestalten, dass sie Selbstbestimmung für möglichst viele stärken und Sozialkohäsion nicht zerstören. Entscheidend aber wird sein, dass alle Stufen und Organisationen von Bildungs- und nicht nur Kompetenzvermittlung realisieren, dass diese Modelle einen Epochenbruch darstellen und wir umgehend lernen, diese große Zeitwende zu kritisch und konstruktiv zu gestalten.“

Prof. Dr. Katharina Morik

Founding Director und Emerita, Lamarr Institut für Maschinelles Lernen und Künstliche Intelligenz

„Mit ChatGPT ist ein Meilenstein der KI erreicht worden. Jetzt wird daran geforscht, wie solche Systeme fair, in der Realität verankert und nützlich gemacht werden können. Ich glaube nicht, dass ein Stillstand der Forschung die Probleme beseitigen kann. Ich wüsste auch nicht, wie das kontrolliert und geahndet werden könnte. Vielmehr ist gerade Forschung dafür nötig, dass KI vertrauenswürdig ist. Diese Forschung sollte gerade auch in Europa stattfinden!“

„Die Fairness von generativen Systemen ist denen, die KI entwickeln, sehr wichtig. Es gibt schon jetzt Methoden, um automatisch Verzerrungen zu erkennen (debiasing). Nun wird daran gearbeitet, wie schon beim Training verhindert werden kann, dass diskriminierende und hetzerische Texte generiert werden. Ansätze, um auch bösartige Bildmontagen zu erkennen, sind ebenfalls notwendig.“

„Zur Verankerung in der Realität sind die ersten Ergebnisse gerade erreicht worden. Zum einen geht es darum, das generative System in Interaktion mit der Realität zu bringen, zum Beispiel durch den Anschluss an einen Roboter. Aber auch der Anschluss an Wissensdaten wie zum Beispiel Wikipedia oder offizielle Statistiken (fact checking), sowie Rechenprogramme kann dazu verwendet werden, dass keine unsinnigen Texte generiert werden.“

„Das Potenzial von generativen Systemen für Wirtschaft und Gesellschaft ist immens. Auf einer vortrainierten Grundlage können Dienste entwickelt werden für Berichte, Angebotserstellung, Kommunikation mit Kunden, es können mehr als nur die häufig gestellten Fragen beantwortet werden – um nur einige Anwendungen zu nennen. Die Programmierung wird einfacher und Programmfehler können schneller korrigiert werden. Eine enorme Produktivitätssteigerung steht an. Die Programmierassistenz könnte die Digitalisierung sogar demokratischer machen, mehr Menschen einbeziehen, Programme besser erklären.“

„Natürlich müssen Produkte getestet, zertifiziert und reguliert werden. Da ist auch ein generatives System, das eingesetzt werden soll, keine Ausnahme. Eine gesellschaftliche Diskussion über Regularien begrüße ich. Auf der Grundlage der Forschungen zu Fairness und Verankerung in der Realität sollten in Europa Tests und Kennzeichnungen entwickelt werden, die dann auch überprüfbar sind. Meiner Meinung nach erreichen wir das Ziel, das hinter dem Memorandum steht, so besser.“

Prof. Dr. Florian Gallwitz

Professor Medieninformatik, Technische Hochschule Nürnberg Georg Simon Ohm

„GPT-4 und andere KI-Modelle können schon jetzt oder sehr bald erhebliche Teile der Arbeit in verschiedenen Berufsfeldern automatisieren. Selbst bei anspruchsvollen und gut bezahlten Tätigkeiten wie der Softwareentwicklung kann die Produktivität erheblich gesteigert werden. Anwälte, Berater, Journalisten und Lehrer könnten bald ähnliche Veränderungen erleben. Ob dies zu Arbeitsplatzverlusten führt oder zumindest teilweise durch die Entstehung von neuen Marktsegmenten kompensiert wird, bleibt abzuwarten.“

Auf die Frage, wie er das im offenen Brief vorgeschlagene Moratorium beurteilt:
„Ein Moratorium für KI-Modelle, die mächtiger wären als GPT-4, halte ich schon aus praktischen Gründen für unrealistisch. Da die technischen Details und Möglichkeiten von GPT-4 nicht öffentlich bekannt sind, könnten Konkurrenten von OpenAI ungebremst weiterarbeiten. Wettbewerber wie Google und Facebook/Meta haben aktuell ganz offenbar einen deutlichen Rückstand in der technologischen Entwicklung. Zudem ist es ohnehin unwahrscheinlich, dass etwa chinesische Firmen sich an ein solches Moratorium halten würden.“

Prof. Dr. Ute Schmid

Inhaberin des Lehrstuhls für Kognitive Systeme, Otto-Friedrich-Universität Bamberg

„Ich habe den offenen Brief ‚Pause Giant AI Experiments‘ unterschrieben. Zwar glaube ich nicht, dass eine sechsmonatige Pause wirklich hilfreich sein kann. Aber ich stimmte mit den Verfassern des Briefs überein, dass es unabdingbar ist, auf die Risiken beim Einsatz großer Sprachmodelle und anderer aktueller KI-Technologien hinzuweisen und zu versuchen, in einen breiten demokratischen Diskurs zu treten, an dem sich die KI-Expertinnen und -Experten aus den Forschungsinstituten und den großen Tech-Unternehmen aktiv beteiligen.“

„Der offene Brief hilft, öffentlichkeitswirksam die Aufmerksamkeit auf schwer kontrollierbare Risiken bei der Nutzung großer Sprachmodelle wie dem Generative Transformer Netzwerk GPT-4 zu lenken. Als eine der größten Gefahren wird auf das Problem der unkontrollierbaren Überflutung mit Propaganda und Unwahrheiten hingewiesen. Diese Gefahr wird sehr real, sobald Systeme wie ChatGPT auch online Information aufnehmen und die darunterliegenden Sprachmodelle weiter trainiert werden. Weitere im Brief genannte Gefahren sind der Wegfall von Arbeitsplätzen – auch solchen, die Menschen erfüllend finden – sowie die Abgabe von Kontrolle. Alle genannten Gefahren sind durchaus realistisch. Allen dreien kann man versuchen, durch technische Maßnahmen und Regulierungen zu begegnen, aber es ist auch klar, dass die Gefahren nie gänzlich ausgeschlossen werden können – wie bei allen technischen Systemen bleibt immer ein Restrisiko.“

„Einen weiteren Aspekt, den ich im Zusammenhang mit den aktuellen sehr großen KI-Modellen als wichtig ansehe, ist das Thema Energieverbrauch bei Training und Betrieb. Die Ressourcen, um Modelle in der Größe von GPT-3 und GPT-4 zu entwickeln und zu betreiben, können nur wenige Organisationen aufbringen. Wenn man aber ein paar Nummern kleiner schaut, werden aktuell sehr viele Modelle trainiert und man muss sich – vielleicht ähnlich wie bei Tierversuchen – fragen, was das Verhältnis von Aufwand und Nutzen beziehungsweise Erkenntnisgewinn ist. Ein weiteres Problem ist die große Menge an schlecht bezahlter menschlicher Arbeit, die in das Training solcher KI-Systeme einfließt. Davon wird kaum gesprochen und stattdessen immer der Eindruck vermittelt, dass mit maschinellem Lernen aufgebaute Modelle rein aus den gesammelten Daten aufgebaut werden.“

„Neben den genannten Gefahren kann der Einsatz von großen Sprachmodellen aber auch nützlich und sinnvoll sein – etwa für Routineaufgaben der Textgenerierung, als Ideengeber, als neuer Zugang zu Named Entity Recognition oder auch für Codegenerierung. Bislang gibt es große Sprachmodelle in den USA und in China. Bei allen berechtigten Bedenken finde ich die Forderung nach einem europäischen Sprachmodell absolut sinnvoll. Ansonsten verlieren wir hier den Anschluss an eine relevante technologische Entwicklung. Außerdem vergeben wir uns viele Möglichkeiten, wenn wir Sprachmodelle nur zu den Konditionen der Anbietenden nutzen und nicht selber entwickeln können. Unter anderem kaufen wir uns über die bei GPT-3 beziehungsweise GPT-4 eingesetzten Content-Filter das US-amerikanische Wertesystem mit ein. Bayern ist durch die Schaffung von hundert neuen KI-Professuren und durch ein starkes Netzwerk von KI-Standorten sehr stark im Bereich der KI-Forschung und auch in der Entwicklung von KI-Technologien in zahlreichen Unternehmen.“

Prof. Dr. Hinrich Schütze

Inhaber des Lehrstuhls für Computerlinguistik, und Direktor des Centrums für Informations- und Sprachverarbeitung, Ludwig-Maximilians-Universität München (LMU)

Auf die Frage nach konkreten Risiken der aktuellen Entwicklung:
„Was mir persönlich am meisten Angst macht, ist der Werkzeuggebrauch. Werkzeuge waren in der Entwicklung des Menschen ein entscheidender Schritt hin zu komplexer Zivilisation. Dass wir jetzt KI-Agenten haben, die Werkzeuge virtuos benutzen – vielleicht schon jetzt, mit Sicherheit in naher Zukunft –, könnte leicht zu einer Katastrophe führen, zum Beispiel wenn das Kommando über ein tödliches Waffenarsenal an die KI übertragen wird.“

Auf die Frage, inwiefern es problematisch ist, dass ein großer Teil der Forschung zu solchen KI-Systemen und Sprachmodellen bei großen Firmen und auf intransparente Art und Weise stattfindet:
„Intransparenz hat zwei Aspekte: Zum einen geben uns die großen Firmen nur beschränkt Einblick in ihre Entwicklungen, zum anderen sind die Modelle selbst intransparent.“

„Intransparenz der Modelle ist subtiler, aber die größere Gefahr. Wir verstehen die generellen Prinzipien, aber zurzeit können wir nicht nachvollziehen, wie die Modelle zu einer bestimmten Entscheidung oder Handlung kommen. Darum werden sie als Blackboxes bezeichnet.“

„Diese Intransparenz liefert uns dem Modell aus: Wir müssen seinen Output so akzeptieren wie er ist. Mit einem Menschen, zum Beispiel einer Ärztin, können wir dagegen interagieren. Sie kann uns ihren Gedankenweg erklären und die Entscheidung ändern, wenn wir im Gespräch einen falschen Schritt aufdecken.“

„Langfristig brauchen wir Modelle, die sich daran orientieren, wie der Mensch denkt, entscheidet und handelt. Das heißt, wir müssen Kognitionswissenschaften und Linguistik zur Grundlage machen. Nur so werden wir transparente Modelle bauen können.“

Auf die Frage, welche Art von Regulierung oder Selbstkontrolle er befürworten würde:
„Hier gibt es zwei gute Modelle, an denen wir uns orientieren können: Waffen und Genetik. Wie in der Rüstungsindustrie muss reguliert werden, wer Zugang zur Technologie hat und an wen sie verkauft werden darf. Wie in der Genetik das Klonen von Menschen gesetzlich verboten ist, so muss es auch ein Regelwerk geben, das Sprachmodellen Grenzen setzt.“

„OpenAIs Modelle sind nicht zuletzt deswegen so erfolgreich, weil sie ausgeklügelte ‚Guardrails‘ haben – also Führungsschienen –, die Rassismus, medizinische Beratung, politische Einflussnahme und so weiter stark reduzieren.“

„Leider sind diese Führungsschienen nicht perfekt. Der Gesetzgeber wird also nicht verlangen können, dass nie eine rassistische Äußerung rauskommt. Wie genau das Gesetz formuliert werden muss, ist eine schwierige, aber lösbare Aufgabe, denke ich.“

Auf die Frage, wie er das im offenen Brief vorgeschlagene Moratorium beurteilt:
„Ich habe den Brief nicht unterschrieben, weil ein Moratorium Aktionismus ist, der nichts bringt. China wird sich sicher nicht daran halten und die Forschung bei großen Firmen wird auch ungezügelt weitergehen.“

„Selbst wenn es durchgesetzt werden könnte, wäre ich dagegen. Wir müssen so schnell wie möglich die Large Language Models wissenschaftlich verstehen, um zu lernen, wie wir sie zum Wohl der Menschheit einsetzen. Wir können die Modelle aber nicht optimal erforschen, wenn ihre Weiterentwicklung willkürlich hinausgeschoben wird.“

„Schließlich sollten wir ehrlich sein: OpenAI, Microsoft und Google sind zwar Wirtschaftsunternehmen, die primär Geld verdienen wollen. Aber ich habe mehr Vertrauen zu ihnen als zu undemokratischen Regimen und kriminellen Organisationen. Eile ist geboten: Sonst wird diese Technologie von ‚Bad Actors‘ beherrscht werden, nicht von Menschen und Organisationen, die sich ethischen Grundprinzipien und demokratischen Werten verpflichtet fühlen.“

Prof. Dr. Frank Hutter

Leiter des Machine Learning Labs, Albert-Ludwigs-Universität Freiburg

„Die jüngsten dramatischen Fortschritte im Bereich mächtiger Sprachmodelle von Tech-Riesen wie OpenAI, Google oder Meta werden disruptive Folgen haben — im positiven wie im negativen.“

„Ja, es braucht weltweit eine Refokussierung, weg vom Wettrennen um die größten Modelle und hin zu mehr Forschung an vertrauenswürdiger KI – einem Bereich, den wir in Europa schon länger im Fokus haben.“

„Aber während die USA jetzt auch vertrauenswürdige KI in den Blick nimmt, ist das Kernrisiko für Europa inzwischen ein anderes: Der Zug fährt einfach ohne uns ab. Man muss das leider in aller Klarheit sagen: Wir haben in Europa sowieso keine Chance, in den nächsten sechs Monaten ein mächtigeres Modell zu trainieren als GPT-4. Die besten Köpfe haben wir, aber wir brauchen öffentliche Unterstützung und massive Investitionen in top KI-Forschung. Die jüngsten Durchbrüche aus den USA und China sind eine direkte Folge riesiger öffentlicher und privater Investitionen in KI – siehe die jüngste Investitionsrunde von 20 Milliarden Dollar in OpenAI –, und selbst ein Leuchtturmprojekt wie das ELLIS Institut bleibt hier einige Größenordnungen dahinter. Wenn wir uns nicht in eine allumfassende Abhängigkeit begeben wollen, müssen wir massiv in KI investieren. Jetzt.“

Prof. Dr. Kristian Kersting

Leiter des Fachgebiets Maschinelles Lernen, Technische Universität Darmstadt

„Der Mensch war schon immer von sich selbst fasziniert. Unser Verhalten und unsere Vernunft zu entschlüsseln, wäre von großer Tragweite, ähnlich wie das Verstehen des Urknalls. Aktuelle KI-Modelle wie GPT-4 oder ChatGPT lassen hoffen, dass das nicht für immer ein Traum bleiben muss. Zukünftige Modelle, die noch größer sind als GPT-4, könnten uns mit zusätzlichen Fähigkeiten überraschen.“

„Ein am Dienstag, den 28. März 2023, veröffentlichter Brief des Future of Life Institute warnt uns davor, GPT-5 zu trainieren und fordert allgemein ein mindestens sechsmonatiges Moratorium für das ‚Training von KI-Systemen, die leistungsfähiger als GPT-4 sind.‘ Der Brief wurde von mehr als 2.000 Personen unterzeichnet, darunter der Turing-Preisträger (Nobelpreis für Informatik) Yoshua Bengio, der Bestseller-Autor Yuval Noah Harari und der Geschäftsmann Elon Musk.“

„Worum geht es? In den letzten Jahren hat das tiefe Lernen von immer größeren KI-Modellen auf immer größeren Datenmengen, auch bekannt als Deep Learning, zu bahnbrechenden Fortschritten geführt – sowohl bei den Methoden der KI als auch bei ihren Anwendungen in zahlreichen Bereichen der Wissenschaft, Wirtschaft und Gesellschaft. Die Welt wird jeden Tag mit Meldungen über KI-Erfolge überrascht, die noch vor wenigen Jahren wie Science-Fiction erschienen wären.“

„Aktuelle KI-Systeme können bereits ziemlich anspruchsvolle Fragen beantworten. Sie können uns helfen, Liedtexte, Gedichte, Zeitungsartikel und Computerprogramme zuschreiben. Sie können von uns geschriebene Texte als Bilder illustrieren. KI-Systeme können die Produktivität in der Fertigung erhöhen, Diagnosen in der Medizin verbessern, Kreislaufwirtschaft und Klimaschutz unterstützen. Es gibt kaum einen Lebensbereich, der nicht positiv von der KI beeinflusst würde. KI-Systeme können aber auch einer Diktatur helfen, Falschnachrichten zu generieren und zu verbreiten. Sie können uns die Arbeit durch die Übernahme einfacher Routinetätigkeiten erleichtern. Wie andere Innovationen können sie auch bestimmte, von Menschen ausgeführte Tätigkeiten übernehmen. Die KI-Forschung und ihre Innovationen bringen aber auch völlig neue Berufe hervor.“

„Aber die meisten der aktuell heiß diskutierten KI-Systeme sagen uns nichts über Ursache und Wirkung: Hat das hier jenes dort verursacht? Oder was würde passieren, wenn ich dies tue? Gerade unter KI-Forschern wächst deshalb wieder das Interesse, sich mit kausalen und logischen Schlussfolgerungen zu beschäftigen. Denn nur so können wir die Welt hinter den Daten verstehen und die fundamentalen Gesetzte von intelligentem Verhalten bei Mensch und Maschine finden.“

„Stephen Hawking sah in Intelligenz die Fähigkeit, sich an neue Situationen anzupassen – etwas, womit derzeitige KI-Systeme ganz klar Schwierigkeiten haben. Sie sind nach wie vor auf Aufgaben beschränkt, für die der Mensch sie trainiert hat, und können nicht ohne weiteres verlässlich mit ungewöhnlichen Situationen und Aufgaben umgehen. Noch größere Modelle und noch mehr Daten werden daran nichts ändern – ungewöhnliche Situationen bleiben ungewöhnlich, weil wir sie noch nicht ‚gesehen‘ und als Daten vorliegen haben.“

„Der Brief ist geprägt von Angstmacherei, die den öffentlichen Diskurs auf hypothetische Risiken einer ‚Konkurrenzintelligenz‘ lenkt und aktuelle Risiken beim Einsatz von KI-Systemen ignoriert. Der Brief enthält wichtige Elemente, beispielsweise Wasserzeichen in KI-generierten Inhalten und das Dokumentieren der verwendetet Daten, und ich begrüße es ausdrücklich, dass sich viele Menschen der Diskussion von Vor- und Nachteilen der KI stellen. Wenn wir die Vorteile der KI nutzen wollen, wenn wir vorankommen wollen, müssen wir ihre Vorteile betonen, aber eben auch die möglichen Nachteile und Kosten berücksichtigen und uns mit ihnen auseinandersetzen.“

„Ein hypothetische ‚Konkurrenzintelligenz‘ darf nicht von den aktuellen Problemen und den Bemühungen aus der KI-Forschung, diese zu adressieren, ablenken. Es gibt wichtige technische, ethische und politische Fragen zu KI, und viele von uns arbeiten daran, sie zu adressieren. Emily Bender, Abeba Birhane, Yejin Choi, Timnit Gebru, Been Kim, Sasha Luccioni, Margaret Mitchell, Isabel Valera und Toby Walsh sind nur einige, die auf etablierten Konferenzen wie AAAI, AIES, und FAccT zu diesen Themen publizieren. Meine Arbeitsgruppe arbeitet beispielsweise erfolgreich daran, wie wir die in aktuellen KI-Systemen programmierten Wertvorstellungen besser in den Einklang mit den Werten unserer Gesellschaft bringen können.“

„Der Brief nennt leider keine einzige andere Initiative. Ein aktuelles Beispiel ist die Stellungnahme ‚Mensch und Maschine‘ des Deutschen Ethikrats [9]: ‚Für die ethische Bewertung solcher Entwicklungen und ihres Einsatzes in verschiedenen Bereichen ist es nötig, nicht nur die Technologien zu verstehen, sondern auch ihre Wechselwirkungen mit den Personen, die sie verwenden oder von ihrer Anwendung betroffen sind.‘ Dem kann man sich nur anschließen.“

„Ich bin froh, dass die EU eine Vorreiterrolle bei der Regulierung von KI-Systemen einnimmt. Regulierung wie im AI Act der EU ist ein natürlicher Schritt, den wir aus vielen anderen wissenschaftlichen Disziplinen und Anwendungssektoren wie der Medizin, der Chemie oder der Physik kennen. Mal führt sie beim Tanz mit der Innovation, mal führt die Innovation.“

„Neben Wasserzeichen, einer Dokumentation der Daten und Modelle sowie dem Bilden von diversen Entwicklerteams sollten wir KI-Systeme und ihre Ausgaben mit einer ‚Roten Flagge‘ kennzeichnen. 1865 wurde im Vereinigten Königreich der ‚Red Flag Act‘ eingeführt, um Unfälle im Straßenverkehr durch die immer weiter verbreiteten Dampfwagen zu vermeiden. Das Gesetz schrieb nicht nur eine Höchstgeschwindigkeit von vier Meilen pro Stunde vor, es hatte auch bei jedem Automobil ein Fußgänger vorauszulaufen, der zur Warnung der Bevölkerung eine rote Flagge (englisch: red flag) tragen musste. Zum Glück brauchen wir keine Fußgänger, um KI zu kennzeichnen.“

„Ich werde den Brief aktuell nicht unterschreiben. Eine sechsmonatige Pause wird nicht funktionieren und ist die falsche Maßnahme. Sie bevorteilt die Firmen, die solche Modelle bereits haben. Eine Entschleunigung des Wettrennens wäre gut, aber das wird eine Pause nicht erreichen. Wir müssen lernen, KI-Systeme sorgfältiger einzusetzen, anstatt die (öffentliche) Forschung daran zu stoppen. Das Problem ist nicht, dass KI-Systeme aktuell oder in naher Zukunft zu intelligent sind – sie sind eher zu dumm.“

„Daten führen uns nicht direkt zur Wahrheit, sind sie doch selbst durch Annahmen und Theorien ‚aufgeladen‘. Schon Einstein war sich bewusst, dass seine Relativitätstheorie durch qualifizierte Experimente überprüft werden müsse. So eben auch KI-Systeme. Wir hinterfragen ihre Prognosen durch Beobachtungen in der realen Welt und verwerfen sie gegebenenfalls. So ist das in den Wissenschaften, so ist das in der KI.“

Prof. Dr. Silja Vöneky

Professorin für Völkerrecht und Rechtsethik, und Mitglied der interdisziplinären Forschungsgruppe Responsible AI, Albert-Ludwigs-Universität Freiburg

Auf die Frage, wie Forschung, Entwicklung und Einsatz solcher KI-Systeme bisher reguliert sind:
„Es gibt bisher keine allgemeine Regulierung von KI-Systemen, auch nicht von denen, die so gut oder besser sind als GPT-4, die bereits in Kraft getreten ist – weder in Europa, noch den USA, auch nicht völkerrechtlich.“

„Die EU diskutiert über eine KI-Verordnung und ein Entwurf liegt vor, ist aber nicht in Kraft und erfasst meines Erachtens bisher auch nicht hinreichend die Risiken von generativer KI – also Systemen wie ChatGPT und GPT-4.“

„Ein regionaler KI-Europarats-Menschenrechtsvertrag wird erst verhandelt.“

„International gibt es nur ein ‚soft law‘ der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), also sogenanntes weiches Recht, keinen völkerrechtlichen Vertrag. Echte Rechtspflichten ergeben sich daraus weder für Unternehmen noch für Staaten.“

„Verbindliche Rechtsnormen, die schon in Kraft sind, gibt es nur in spezifischen Teilbereichen der KI-basierten Technologie, wie im deutschen Straßenverkehrsgesetz für (voll) autonome Fahrzeuge (§§ 1a-1l StVG) oder in der Medizinprodukte-Verordnung, beispielsweise für Gehirn-Chips (Neuroimplantate), die auch KI basiert sein können (Risikoklasse III, aber keine echtes Genehmigungsverfahren – anders als bei Arzneimitteln).“

Auf die Frage, was sich durch den AI Act ändern wird und was da die wichtigsten Aspekte sind:
„Kern des Entwurfs der EU KI-Verordnung ist ein risikobasiertes, dreistufiges Regulierungskonzept für KI-Systeme insgesamt. Diese Abstufung und den Menschenrechtsbezug halte ich für sinnvoll. Gut ist also, dass die Anforderungen gestaffelt sein sollen, je nach den Risiken eines KI-Systems für Menschenrechte. Nicht gut ist, dass die Regulierung bisher zu ‚statisch‘ gedacht ist, nicht schnell genug auf neue Risikolagen durch neue KI-Systeme reagieren kann.“

„Im Detail werden danach im Entwurf der EU KI-Verordnung drei Gruppen unterschieden: Erstens: Verbotene KI-Systeme/KI-Systeme mit untragbarem Risiko (Art. 5 KI-VOE) – wie zum Beispiel Social Scoring, verhaltensbeeinflussende KI-Systeme, Echtzeitidentifizierungssysteme in der Strafverfolgung.“

„Zweitens: Hochrisiko-KI-Systeme (Art. 6 ff.): Erforderlich sind für solche Systeme unter anderem menschliche Aufsicht, erhöhte Sicherheitsanforderungen, ein Risiko- sowie ein Qualitätsmanagementsystem. Hochrisiko-KI-Systeme sind nach Anhang III unter anderem solche zur biometrischen Identifizierung von Personen und zur Überprüfung der Kreditwürdigkeit.“

„Drittens: KI-Systeme mit niedrigem Risiko (Art. 52 KI-VOE): Für diese KI-Systeme werden lediglich allgemeine Transparenzregeln benannt. Darunter fallen auch Chatbots. Daneben wird für Chatbots wie zum Beispiel ChatGPT gefordert, dass sie sich Nutzern gegenüber als Chatbot zu erkennen geben müssen.“

„Sehr viel ändert sich also durch die KI-Verordnung nicht für KI-Systeme, die so gut oder besser sind wie GPT-4, wenn die Verordnung so bleibt, wie sie ist – das ist das Problem der zu statischen Regulierung, siehe oben.“

Auf die Frage, ob es Regulierungsaspekte gibt, die weder durch aktuelle Gesetze noch den AI Act abgedeckt werden:
„Ja, der Entwurf der EU KI-Verordnung und die OECD soft law KI guidelines sparen unter anderem militärische Forschung und Anwendung aus.“

„Zudem wird der Weg zu einer sogenannten AGI, also Artificial General Intelligence – auch als starke KI bezeichnet – nicht behandelt und nicht reguliert. Unternehmen wie Open AI forschen aber gerade daran, auch diese zu entwickeln.“

„Langfristig geht es damit auch darum, ob es zur Entwicklung von Artifical General Intelligence kommen soll, also starker KI, die besser als wir Menschen wäre, und ob beziehungsweise wie wir dies regulieren und deren Risiken minimieren wollen – oder ob wir es den forschenden Unternehmen wie Open AI überlassen wollen, das zu entscheiden.“

Auf die Frage, wie sie das im offenen Brief vorgeschlagene Moratorium beurteilt:
„Ich habe den Brief unterzeichnet, weil ich es richtig finde, dass es eine mindestens sechsmonatige Pause gibt in Bezug auf die Weiterentwicklung von KI-Systemen, die besser sind als GPT-4. Wichtig: Es geht nicht um einen Stopp von KI-Forschung oder Entwicklung allgemein, sondern nur von KI-Systemen, die besser sind als ChatGPT-4. Die Pause betrifft also keine Forschung in der EU.“

„Meine Sorge ist, dass wir mit der Regulierung – also unseren Normen, die Risiken dieser Systeme, die besser sind als GPT-4, minimieren sollen – nicht hinterherkommen. Die KI-Verordnung der EU ist noch nicht in Kraft – und stuft diese Systeme auch nur als niedriges Risiko ein, reguliert sie also kaum –, und die Menschenrechts-Europaratskonvention zur KI ist auch noch nicht in Kraft. Einen anderen völkerrechtlichen Vertrag zu KI gibt es nicht – nur das OECD soft law, also ‚weiches‘, nicht-verbindliches Recht.“

„Rechtlich durchgesetzt werden könnte es nur mit einem Forschungsverbot für die betreffenden Unternehmen auf nationaler – oder eher utopisch: internationaler – Ebene. Dieses müsste verfassungs- und auch menschenrechtskonform sein, also wegen legitimer Zwecke – wie besonders hohe Risiken beispielsweise für die Demokratie oder andere Rechte – Eingriffe in die Berufsfreiheit und gegebenenfalls auch Wissenschaftsfreiheit der Unternehmen rechtfertigen.“

„Davor ist meines Erachtens aber noch eine breite gesellschaftliche Debatte über die Risiken und deren Ausmaß Voraussetzung. Und wie gesagt: Ein Verbot betrifft nicht KI-Unternehmen oder andere KI-Forschung in der EU, da wir solche generativen KI-Systeme wie ChatGPT bisher meines Erachtens nicht betreiben.“

Prof. Dr. Matthias Kettemann

Professor für Innovationsrecht, Universität Innsbruck, Österreich, und Programmleiter Forschungsprogramm „Regelungsstrukturen und Regelbildung in digitalen Kommunikationsräumen“, Leibniz-Institut für Medienforschung | Hans-Bredow-Institut (HBI), Hamburg

Auf die Frage, wie Forschung, Entwicklung und Einsatz solcher KI-Systeme bisher reguliert sind:
„Auf internationaler Ebene gibt es verschiedene Dokumente, die die Entwicklung sowie den Einsatz von KI adressieren, wie die OECD-Empfehlung zu Künstlicher Intelligenz [1] oder die UNESCO-Empfehlung zur Ethik künstlicher Intelligenz [2].“

„Darüber hinaus beschäftigt sich auch die Europäische Union mit der Erstellung einer Konvention über KI und Menschenrechte durch ein Komitee [3]. Auf europäischer Ebene findet bei Verarbeitung personenbezogener Daten durch die KI auch die DSGVO Anwendung, besonders hervorzuheben ist in diesem Rahmen das Recht einer Person, nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, Artikel 22 der DSGVO [4].“

„Auf nationaler Ebene gibt es erste Entscheidungen zum Einsatz automatisierter Software in der Strafverfolgung, so geschehen durch das Bundesverfassungsgericht am 16.02.2023 [5]. Danach ergibt sich aus der automatisierten Analyse von Daten ein spezifischer Belastungseffekt, weswegen höhere Anforderungen an deren Einsatz zu stellen sind. Außerdem gibt es Selbstregulierungsinitiativen, wie die Partnership on AI to Benefit People and Society [6], die aus Forschenden, Unternehmen sowie zivilgesellschaftlichen Akteuren besteht und etwa Best Practices des Einsatzes von KI entwickeln.“

Auf die Frage, was sich durch den AI Act ändern wird und was da die wichtigsten Aspekte sind:
„Der AI Act differenziert zwischen verschiedenen Risikolevels von KI-Systemen, wobei KI weit definiert wird, um sowohl Rechtssicherheit als auch die Zukunftsoffenheit des AI Acts zu gewährleisten [7, S. 21f.].“

„Besonders zentral sind hier die Pflichten zum Risikomanagement, zur Dokumentation und Aufsicht sowie zur Qualität der Trainingsdaten, die erfüllt werden müssen, bevor ein Hochrisiko-KI-System auf den Markt gebracht werden darf (Artikel 9-14 im Entwurf des AI Acts), sowie Pflichten der Anbieter von Hochrisiko-KI-Systemen unter anderem zum Qualitätsmanagement ihrer Systeme (Artikel 17 ff. AI Act).“

„Darüber hinaus sind auch die weiterführenden Transparenzpflichten zu nennen, die bewirken, dass bei Anwendung bestimmter KI-Systeme die Betroffenen hiervon informiert werden müssen, was auch der genannten Gefahr parasozialer Interaktionen vorbeugt (Artikel 52 AI Act).“

„Es wird erwartet [8], dass in diesem Jahr die Trilogphase über den Entwurf des AI Acts startet, nach deren Abschluss der AI Act beschlossen werden kann und eine zweijährige Übergangsfrist startet (Artikel 85 Absatz 2 AI Act).“

Auf die Frage, ob es Regulierungsaspekte gibt, die weder durch aktuelle Gesetze noch den AI Act abgedeckt werden:
„KI muss zum Zwecke der Überwindung von digitalen Gräben eingesetzt werden und Nachhaltigkeitsgewinne erzielen können. Dazu muss KI diskriminierungsfrei ausgestaltet sein und soziale Kosten schon während der Trainingsdatenauswahl und der Architekturmodellierung mitgedacht werden.“

„Eine übergreifende Zusammenarbeit könnte den Schwerpunkt auf nachhaltige Entwicklungen von KI auf ökologischer und sozialer Ebene legen, wohingegen europäische Staaten meist den Wirtschaftsstandort in den Blick nehmen.“

„Daneben muss auch das Feld von Gender und KI beachtet werden: KI-Systeme dürfen bestehende geschlechtsspezifische Unterschiede nicht verschärfen. Den Systemen inhärente Vorurteile und Stereotype müssen identifiziert und beseitigt werden, wobei auch die Einbeziehung diverser Forschender eine Rolle spielt.“

„Zuletzt ist die Gefahr der Vermenschlichung von KI-Systemen zu nennen, die sowohl in der Interaktion mit dem System als auch in Berichten über KI stattfindet. Stattdessen sollte deutlich benannt werden, dass KI keine Empathie lernt, sondern die bloße Modellierung dieser.“

„Fragt man ChatGPT übrigens selbst, wie parasoziale Interaktionen verhindert werden sollen, gibt es einige Tipps, darunter das Trainieren der KI auf neutrale Antworten, ein Limit der Länge einer Konversation und möglicher Themen sowie der Verweis der KI selbst auf das Aufsuchen sozialer Interaktion. Neben der Regulierung dieser ‚blind spots‘ ist auch der Einsatz von Ethik-Teams in Unternehmen weiter unerlässlich.“

Auf die Frage, wie er das im offenen Brief vorgeschlagene Moratorium beurteilt:
„In sechs Monaten kann man nicht Versäumnisse von Jahren wettmachen. Klar: Es ist gut, bereits vorhandene Systeme besser zu machen, indem klar definiert wird, worauf die KI-Systeme optimiert werden sollen: öffentliche und ethische Werte. Aber es ist unauthentisch, dass gerade jene – wie etwa Elon Musk –, die Ethik-Expertise abbauen und KI-Ethik-Teams auflösen nun nach mehr ethischen Standards rufen. Außerdem bestehen diese Standards schon, wie etwa die UNESCO-KI-Ethik Empfehlung, mitsamt Vorschlägen zur Umsetzung in Deutschland [2].“

Prof. Dr. Sandra Wachter

Professor of Technology and Regulation, Oxford Internet Institute, University of Oxford, Vereinigtes Königreich

„Dem offenen Brief stehe ich gespalten gegenüber. Grundsätzlich finde ich es gut, dass sich viele Menschen Gedanken machen, wie neue Technologien verantwortungsvoll genutzt werden können. Und in dieser Hinsicht sorgt der Brief sicher für mehr Aufmerksamkeit für das Thema.“

„Einige der im Brief angeführten Gründen für das Moratorium erscheinen mir einleuchtend, andere nicht. Die Frage, was algorithmischen Automatisierung für die Arbeitswelt bedeutet, ist zum Beispiel sehr wichtig. Allerdings ist diese Frage auch nicht neu, sie müssen wir uns schon seit Jahrzehnten stellen. Und was in dieser Hinsicht in sechs Monaten erreicht werden soll, ist mir auch nicht klar. Auch das potenzielle Problem von Desinformation wird im Brief erwähnt.“

„Andere angeführte Gründe sind eher fiktional. Der Punkt der ‚human-competitive intelligence‘ erinnert eher an Terminator-Szenarien. Generell kann man sagen, dass es im Feld der KI-Ethik und Regulierung zwei Sichtweisen gibt. Die eine Gruppe betrachtet Probleme, die aktuell und in naher Zukunft relevant sind. Dazu zähle ich mich auch. Und die andere Gruppe schaut langfristig, was in 100 oder 200 Jahren sein soll. Dabei geht es dann auch um Fragen beispielsweise nach dem Bewusstsein von Robotern. Das ist nach aktuellem technischem Kenntnisstand so unrealistisch, dass wir uns da meiner Meinung nach keine Gedanken zu machen müssen. Und in dem Brief angeführte Punkte wie die Frage, ob man eine KI entwickeln sollte, die irgendwann Menschen obsolet macht, sind zwar interessant, lenken aber von wichtigen Themen ab, über die wir uns jetzt schon Gedanken machen müssen.“

„Zu diesen Themen zählen unterschiedliche Fragen. Wie gehen wir mit Bias bei KI um? Der Tatsache, dass wir viel mehr maßgeschneiderte Informationen bekommen, dass bestimmte, bereits privilegierte Stimmen in Trainingsdatensätzen präsenter sind und dadurch das Gefälle noch weiter vergrößert wird, ist ein Problem. Was bedeutet diese Technologie für Desinformation? Auch die Arbeitsbedingungen von Menschen, die die Trainingsdaten kuratieren, sollten betrachtet werden. Diese Daten wachsen nicht auf Bäumen und die Personen arbeiten zum Teil unter unbeschreiblichen Bedingungen. Und auch der ‚Carbon Footprint‘ von KI-Modellen ist wichtig. KI-Systeme werden zum Teil unter großen Energiekosten trainiert und betrieben und da sollte man genau schauen, wann was sinnvoll ist.“

„Das sind wichtige Fragen, über die wir uns jetzt Gedanken machen müssen. Und diese Aspekte werden in dem Brief zu wenig thematisiert. Diese Ablenkung von den eigentlichen, akuten Problemen halte ich für kritikwürdig.“

Auf die Frage, was sich in der Regulierung durch den AI Act ändern wird und was da die wichtigsten Aspekte sind:
„Was im AI Act stehen wird, ist in Teilen noch offen. Momentan ist ein wichtiges Diskussionsthema, ob generative KI als Hochrisikogruppe gewertet und reguliert wird. Darunter fällt zum Beispiel der Einsatz von KI in der Arbeitswelt, der Kreditvergabe oder der Strafjustiz. Alternativ könnte generative KI nur als Hochrisikogruppe behandelt werden, wenn sie solche Hochrisikobereiche betrifft. Es ist noch schwierig zu sagen, wie diese Diskussion ausgehen wird.“

„Technologie entwickelt sich manchmal auf eine Art und Weise, die schwer vorherzusehen ist. Beim AI Act wird stark auf spezielle Risiken geschaut. Diese Beurteilung der Risiken hängt immer von dem Zweck einer bestimmten Anwendung ab. Und bei einer ‚General-Purpose-Technologie‘ wie ChatGPT oder generativer KI generell, die recht allgemein und in vielen unterschiedlichen Bereichen angewandt werden kann, fällt so eine Zuteilung zu bestimmten Risikogebieten natürlich schwer. Da wird man sich überlegen müssen, wie man die Gruppe der generativen KI regelt, da diese Zuteilung in Risikogruppen in dem Bereich nicht immer passt.“

„Das heißt aber nicht, dass es bei generativer KI nicht trotzdem bestimmte Gefahren gibt, die zu beachten sind. Bias wird in absehbarer Zeit immer ein Problem sein. Auch Probleme beim Datenschutz werden relevant bleiben. Aber es ist noch Zeit. Der AI Act ist noch nicht final verabschiedet, in den Verhandlungen wird es wohl noch ein paar Mal hin und her gehen. Und auch andere Gesetze spielen in die Regulierung generativer KI herein und können gegebenenfalls noch nachbessern. Da gibt es zum Beispiel das Anti-Diskriminierungs-Recht bei Fragen zum Bias sowie das Datenschutzrecht. Auch das immaterielle Güterrecht wird eine Rolle spielen – gerade bei der Frage nach möglicherweise urheberrechtlich geschützten Trainingsdaten einer KI –, ebenso wie der Digital Services Act.“

Auf die Frage, welche Richtlinien und Vorschläge für verantwortungsvolle KI-Forschung, Entwicklung und Einsatz wichtig und sinnvoll sind:
„Selbstverpflichtungen und Leitlinien sind immer zu einem gewissen Grad problematisch, wenn zum Beispiel Firmen selbst Regeln schreiben und dann auch selbst entscheiden, ob sie diesen Regeln folgen. Standards sind als solche gut und wichtig – aber man muss überlegen, wie man diese Standards tatsächlich implementiert und wie Aufsicht und Prüfung geregelt sind.“

Prof. Dr. Armin Grunwald

Leiter am Institut für Technikfolgenabschätzung und Systemanalyse, Karlsruher Institut für Technologie (KIT) und Mitglied des Deutschen Ethikrats

„Sorgen und apokalyptische Befürchtungen vor KI treten, genauso wie teils extrem hohe Erwartungen, seit den 1970er Jahren in wiederkehrenden Wellen auf. Die aktuelle Aufregung um ChatGPT ist der jüngste Ausdruck dieser Geschichte. Darin werden meist ähnliche Geschichten in unterschiedlichen Formen erzählt: Kontrollverlust, Machtübernahme durch Algorithmen, vielleicht gar ihre Weltherrschaft, Zusammenbruch des Arbeitsmarkts, Manipulation, Unterdrückung und Ausbeutung der Menschen durch technische Systeme. Es fällt auf, dass dies die großen Themen der Science-Fiction der letzten Jahrzehnte sind, so etwa der Matrix-Trilogie. Ob allerdings die Science-Fiction prophetisch drohendes Unheil ankündigt oder umgekehrt übertriebene Ängste schürt, ist eine offene Frage.“

„ChatGPT hat die Welt überrascht und dem KI-Hype der letzten Jahre, der bereits wieder deutlich im Abklingen begriffen war, neuen Schwung gegeben. Es ist faszinierend oder erschreckend, je nach Perspektive, wie gut diese Technik menschliche Fähigkeiten simulieren kann. Eigentlich ist das aber ein normaler Vorgang. Denn viele, vielleicht die meisten Techniken wurden entwickelt, um menschliche Tätigkeiten und Fähigkeiten nachzubauen, zu verbessern und dann zu ergänzen oder zu ersetzen. So gesehen liegt ChatGPT ganz auf der Linie der Zivilisationsentwicklung zumindest seit der Industriellen Revolution. Dies wäre auch der Fall, wenn der zukünftige Fortschritt ChatGPT in die Lage versetzen würde, sogar bessere Texte als Menschen zu schreiben. Es wäre kein Zivilisationsbruch, denn Technik wird dazu entwickelt, in bestimmten Hinsichten besser als Menschen zu sein, sonst bräuchten wir sie nicht. Dass Computerprogramme seit fast 30 Jahren besser Schach spielen können als Menschen, war ein Schritt auf diesem Weg, aber keine Katastrophe.“

„So gesehen, ist mit ChatGPT ein mächtiges, aber auch interessantes neues technisches Werkzeug Teil der menschlichen Welt geworden. Spannend wird die Art und Weise sein, wie Menschen dieses Werkzeug in ihre Handlungsfelder einbauen. Besonders aufgeschreckt ist mit Recht zurzeit der Bildungsbereich, weil etwa Hausarbeiten als schriftliche Prüfungsleistungen in Zukunft wegfallen könnten, wenn ihre Autorschaft – Studierende oder ChatGPT? – nicht mehr feststellbar wäre. Umgekehrt kann die algorithmische Texterzeugung aber auch ein neues Medium des Lernens werden, vielleicht auch zu einem neuen Textbewusstsein in einer ansonsten immer stärker an Bildern orientierten Welt beitragen. In den Anwendungsfeldern kommt es auf das ‚Kleingedruckte‘ an, auf Fantasie im Einsatz von ChatGPT. Hierbei ist die Sicht auf Technik als Mittel zum Zweck entscheidend: ChatGPT ist eine hochkomplexe Software, ein technisches Tool, eine datenbasierte und mit statistischen Verfahren arbeitende Rechenmaschine. Sie soll das tun, was Menschen von ihr wollen. Weder hat sie eigenen Willen noch ‚versteht‘ sie die selbst produzierten Texte. Ob diese Texte gut sind, müssen Menschen entscheiden. Sie müssen auch darüber befinden, wie ChatGPT eingesetzt wird, so auch im Sinne der jüngsten Stellungnahme des Deutschen Ethikrates zur KI. Dazu müssen Menschen freilich so kompetent sein, dass sie dies auch können – und kritisch, damit sie auch ein eigenes Urteil bilden wollen, statt dem Algorithmus blind zu vertrauen.“

„Ein unverhältnismäßig großer Teil der Forschung zur Digitalisierung allgemein und zur KI speziell ist bei privat geführten Unternehmen konzentriert, vor allem in den großen Datenkonzernen aus den USA und China. Dies ist hoch problematisch in einem Feld, in dem nicht einfach inkrementelle Produktinnovationen erzeugt, sondern weitreichende und die zukünftige Gesellschaft stark beeinflussende Entwicklungen in Gang gesetzt werden. Denn jede technische Entwicklung basiert auf menschlichen Entscheidungen, hier also den Interessen, Werten, Geschäftsmodellen und vielleicht sogar Gesellschafts- und Zukunftsvorstellungen weniger Manager und Multimilliardäre in den Monopolkonzernen. Diese prägen durch avancierte KI-Entwicklungen unsere Zukunft in einem hohen Maß ohne jede öffentliche Debatte und ohne demokratische Legitimierung. Wenn in den Sorgen um KI, wie sie in dem offenen Brief angesprochen werden, vor Kontrollverlust gewarnt wird, dann ist es nicht der Verlust der Kontrolle an die Algorithmen. Das wäre eine sinnlose Sorge, denn Algorithmen sind Rechenprogramme und haben weder Intentionen noch Machtinstinkt. Ihre Macher jedoch haben diese reichlich. Das Problem der aktuellen KI-Entwicklung ist nicht der drohende Machtverlust an Algorithmen, sondern die Machtkonzentration über die zukünftige Gesellschaft in den intransparenten Händen weniger.“

„Selbstverständlich sind zur zukünftigen Entwicklung der KI vorausschauende Überlegungen, Folgenforschung und Ethik gefragt. Aber diese bleiben zahnlos, wenn sich an der genannten Machtkonstellation nichts ändert, da können noch so viele Ethikkommissionen kluge Leitlinien verabschieden. Auch die Forderung nach einem Moratorium wirkt hilflos. Warum sollten die führenden Akteure der KI-Entwicklung ihren Vorsprung freiwillig riskieren? Und wie wäre, wenn sie es nicht tun, eine international vereinbarte und durchsetzbare Regulierung in der aktuellen geopolitischen Situation vorstellbar? Das hauptsächliche Verdienst der Forderung nach einem Moratorium in der KI-Forschung besteht wohl in einem sicher notwendigen Beitrag zur Sensibilisierung größerer Bevölkerungsteile, dass es hier tatsächlich um relevante Dinge geht.“

Angaben zu möglichen Interessenkonflikten

Dr. Thilo Hagendorff: „Ich habe keine konfligierenden Interessen.“

Prof. Dr. Peter Dabrock: „Ich habe keine Interessenkonflikte.“

Prof. Dr. Ute Schmid: „Ich habe keine Interessenkonflikte.“

Prof. Dr. Hinrich Schütze: „Ich habe keine Interessenkonflikte.“

Prof. Dr. Frank Hutter: „Interessenkonflikte habe ich keine, außer dass ich KI Professor bin und denke, dass wir deutlich mehr Funding für KI Forschung in Deutschland brauchen und dass ich ELLIS Fellow und Director der ELLIS Unit Freiburg bin.“

Prof. Dr. Matthias Kettemann: „Interessenkonflikte bestehen keine.“

Alle anderen: Keine Angaben erhalten.

Weiterführende Recherchequellen

Prof. Dr. Silja Vöneky gibt folgende Quellen zur weiterführenden Recherche an:

Vöneky S et al. (2022): The Cambridge Handbook of Responsible Artificial Intelligence. Cambridge University Press. DOI: 10.1017/9781009207898.

Responsible AI. Webseite der Arbeitsgruppe.

Prof. Dr. Ingrid Schneider hatte leider keine Zeit für ein Statement, empfiehlt aber folgende weitere Quellen:

Gebru T et al. (31.03.2023): Statement from the listed authors of Stochastic Parrots on the “AI pause” letter. Distributed AI Research Institute.

Kapoor S et al. (29.03.2023): A misleading open letter about sci-fi AI dangers ignores the real risks. Substack.

Literaturstellen, die von den Experten zitiert wurden

[1] OECD (22.05.2019): Recommendation of the Council on Artificial Intelligence.

[2] Kettemann MC et al. (2022): UNESCO-Empfehlung zur Ethik Künstlicher Intelligenz. Bedingungen zur Implementierung in Deutschland. Deutsche UNESCO-Kommission.

[3] Europarat: Committee on Artificial Intelligence.

[4] DSGVO: Automatisierte Entscheidungen im Einzelfall einschließlich Profiling. Art. 22 DSGVO.

[5] Bundesverfassungsgericht: Urteil des Ersten Senats vom 16. Februar 2023.

[6] Partnership on AI. Homepage.

[7] Europäische Kommission (21.04.2021): Vorschlag für eine Verordnung des europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union. Vorschlag des AI Acts.

[8] Bertuzzi L (10.01.2023): Deutschland geht KI-Gesetz nicht weit genug. Euractiv.

[9] Deutscher Ethikrat (2023): Mensch und Maschine – Herausforderungen durch Künstliche Intelligenz. Stellungnahme.

Literaturstellen, die vom SMC zitiert wurden

[I] Future of Life Institute (22.03.2023): Pause Giant AI Experiments: An Open Letter.