EU will Künstliche Intelligenz regulieren

„Die Verordnung ist eine hochspannende Entwicklung in einem Regulierungsfeld, das weltweit erst zaghaft in den Blick genommen wird. Die EU-Kommission zeigt hier, dass sie die gesellschaftliche Relevanz der strukturverändernden Potenziale des Einsatzes von KI-Systemen erkannt hat und in möglichst grundrechtswahrende Bahnen lenken will.“

„Positiv zu bewerten ist, dass nicht KI-Technologie als solche reguliert wird, sondern ihr Einsatz in Softwaresystemen in bestimmten Einsatzbereichen beziehungsweise in Szenarien mit besonderen Risikopotenzialen für Grund- und Menschenrechte. Der im Entwurf gewählte Weg einer abgestuften Regulierung, bei der für den besonders risikobehafteten KI-Einsatz die restriktivsten rechtlichen Anforderungen gelten, ist ein bewährter Regulierungsansatz im Europäischen Recht. Hier schreibt der Verordnungsentwurf die grundsätzlich positiven Erfahrungen aus anderen Bereichen fort – zum Beispiel bei der Datenschutz-Grundverordnung (DSGVO) oder der Richtlinie über audiovisuelle Mediendienste (AVMD-RL).“

„Als großer Spagat zu werten ist der Versuch, hier nicht vertikale oder bereichsspezifische Vorgaben zu machen, sondern horizontal wirkende Regeln quer über alle Wirtschafts- und Industriebereiche zu etablieren. Die so betroffenen Grundrechte, die die Verordnung schützen will, sind vielfältig und stellen den EU-Gesetzgeber vor besondere Herausforderungen. Die DSGVO war da vergleichsweise ‚einfach‘ mit dem Hauptfokus auf ‚nur‘ das Recht auf Datenschutz.“

„Kommt eine Verordnung wie diese zur Anwendung, wirkt sie als unmittelbar geltendes und von staatlichen Behörden umzusetzendes Recht. Einen Umsetzungsspielraum wie bei EU-Richtlinien haben die Mitgliedstaaten hier nicht. Das erhöht die Anforderungen an die Rechtsstaatlichkeit und Bestimmtheit der Vorgaben.“

„Hier liegt meines Erachtens ein Hauptproblem der Verordnung: Schon der Anwendungsbereich ist massiv unklar. Das Verständnis von KI ist mit Blick auf den Annex I so weit gefasst, dass fast jede derzeit eingesetzte Software darunter fallen kann. Dabei bleibt auch unklar, was konkret der Regelungsgegenstand sein soll: Softwaresysteme bestehen aus einer Vielzahl von eng miteinander verschränkten Funktionen, Modulen, Programmbibliotheken und so weiter. Einige davon nutzen gegebenenfalls KI-Technologien, andere nicht. Was ist der Gegenstand der KI-Regulierung, wenn die Verordnung ‚Software‘ nennt? Beispiele können Betriebssysteme sein, die KI-basierte Funktionen bereitstellen, zum Beispiel sprachbasierte Assistenten wie Siri oder Cortana, oder softwarebetriebene Plattformen wie Amazon oder Facebook. Fallen hier die gesamten Betriebssysteme beziehungsweise Onlineangebote unter die Verordnung?“

„Je höher die von der Verordnung vorgesehenen Anforderungen oder Restriktionen sind, desto stärker erscheinen diese als Eingriffe in die Grund- und Menschenrechte der Anbieter von KI-Systemen.“

„Als erstes kommen hier die vorgesehenen absoluten Verbote in den Blick: Sicherlich gibt es gesellschaftliche Mehrheiten für die Ächtung oder Verbannung von bestimmten Einsatzzwecken von KI. Inwieweit aber etwa das grundsätzliche Verbot von staatlichen Social Scoring-Systemen oder Gesichtserkennungssystemen in der Öffentlichkeit dem Verhältnismäßigkeitsgrundsatz standhält, wird Gegenstand juristischer Debatten sein. Absolute Verbote führen zudem zum Wegfall dieser Optionen in bislang nicht erkannten Ausnahmesituationen – man beschränkt sich selber in seinen politischen Einschätzungs- und Ermessensspielräumen. Beispiele dafür können Anwendungen sein, bei denen KI-Technologie nicht bei einem zentralen, übermächtigen Anbieter zum Einsatz kommt, sondern lokal auf Endgeräten – etwa zur (Ab-)Sicherung von eigenen Individualgrundrechten. Der Verordnungsentwurf geht dagegen implizit immer von einem Machtgefälle zwischen KI-Systemanbieter und KI-Betroffenem aus.“

„Social-Scoring-Verfahren sollen im staatlichen Bereich nach Artikel 5 verboten werden, im privaten Bereich sind sie zulässig, fallen aber gegebenenfalls unter High Risk KI-Systeme nach Artikel 6 (siehe Annex III 5. (b)). Im Vergleich zum Leak von letzter Woche ist das liberaler, die Definition im Leak wäre aber gegebenenfalls auch auf private Wirtschaftsauskunfteien anwendbar gewesen wäre – unter anderem die Schufa. Für private Social-Scoring-Verfahren finden nun also die restriktivsten Anforderungen Anwendung, sie sind aber zulässig. Dass staatliches Social Scoring verboten bleibt, ist möglicherweise dem Gedanken an Social Scoring Systeme wie in China geschuldet. Die anderen in Artikel 5 genannten Systeme sind für staatliche und private Anbieter grundsätzlich unzulässig – nur für biometrische Gesichtserkennung in der Öffentlichkeit sieht der Vorschlag Verbotsausnahmen mit konkreten Anforderungen vor.“

„Insgesamt führen unbestimmte Rechtsbegriffe, unklare Kriterien, die Delegation der konkreten Risikoabschätzung an den Anbieter und die teils starken Sanktionen zu einem potenziell hohen Overspill der Regeln auch in Bereiche, an die man noch gar nicht gedacht hat, sowie zu einer hohen Rechtsunsicherheit für Unternehmen und damit potenziell auch zu Marktzutritts- und Innovationshemmnissen. Letzteres ist aus EU-Sicht ambivalent, weil man hier wirtschaftsstrategisch eigentlich die USA und China einholen will.“

„Die Initiative der EU ist sehr zu begrüßen aus wissenschaftlicher und wirtschaftlicher Perspektive. Neue Technologien, Lösungen und Märkte brauchen einen verlässlichen ordnungspolitischen Rahmen, aber ohne Überregulierung. KI ist keine neue Wissenschaft, aber die Anwendungen und die Marktdurchdringung sind noch in der Pubertät. Natürlich darf KI in Europa nicht für die willkürliche und wahllose Überwachung von Menschen eingesetzt werden.“

„Datengetriebene KI-Verfahren – Deep Learning gehört dazu – können Vorurteile verstetigen oder verstärken. Die Daten bilden die Welt ab und müssen das auch, aber die menschliche Welt ist leider geprägt von menschlichen Vorurteilen und die bekommt man aus den Daten nicht heraus, wenn man aus ihnen maschinell noch etwas über die tatsächliche Welt lernen möchte. Es stimmt, die Herausforderungen sind groß, aber die Chancen sind da. Deutschland und Europa haben die notwendigen Kompetenzen und den Spirit, die hybriden KI-Systeme der nächsten Generation zu entwickeln, die maschinelles Lernen und modellbasiertes Verstehen miteinander verbinden und so KI mit Selbsterklärungsfähigkeit, Nachvollziehbarkeit und Zertifizierbarkeit ermöglichen.“

„Generell ist es gut, dass die EU einige Technologien strikt untersagen möchte. Im Entwurf wird die Gefahr manipulativer Nutzung und die weitreichende Nutzbarkeit der Technologien, insbesondere zu Überwachungszwecken, genannt. Meines Erachtens ist das auch nötig, weil die Technologien noch viel zu neu und zu wenig erforscht sind, um sie zuverlässig dort einzusetzen, wo hohe Risiken im Spiel sind. Viele der Fehler und Diskriminierungen, die regelmäßig in Presse und Wissenschaft auftauchen, sprechen dafür, dass hier noch einiges an Arbeit nötig ist. Wie so oft gibt es allerdings Ausnahmen für Strafverfolgung, die man sich noch genauer wird anschauen müssen. Denn hier sind die Gefahren solchen Anwendungen natürlich sehr hoch.“

„In Artikel 10.3 wird gefordert: ‚Training, validation and testing data sets shall be [...] free of errors and complete‘. Das ist natürlich unmöglich. Es ist wichtig, sich um hochqualitative Daten zu kümmern, aber dazu gehört auch das Wissen, dass Daten nie neutrale Abbilder der Welt sein können. Sie sind immer eine bestimmte Perspektive auf die Welt. Zu einer sinnvollen Praxis, die sich um Datenqualität kümmert, gehört meines Erachtens die Forderung nach Prozessen, um mit dieser unvermeidlichen Perspektivität der Daten umzugehen. In diesem Sinne formuliert etwa Artikel 10.2 (d) vorsichtiger und spricht von ‚information that the data are supposed to measure and represent‘.“

„Artikel 13 fordert: ‚High-risk AI systems shall be designed and developed in such a way to ensure that their operation is sufficiently transparent to enable users to interpret the system’s output and use it appropriately.‘ Das geht in die richtige Richtung, aber eventuell am Ziel vorbei. Denn hier wird impliziert, dass eine transparente Einsicht in die Funktionsweise des Systems automatisch dazu führt, deren Ausgaben besser zu verstehen. Das ist aber nicht unbedingt der Fall.“

„Bürgerinnen und Bürger sind mit der Technik oft nicht so vertraut, dass sie die Funktion wirklich nachvollziehen können – und sollten das auch nicht sein müssen. Stattdessen muss ihnen erklärt werden können, was die Ergebnisse der Datenverarbeitung für sie bedeuten und welchen Einfluss sie darauf haben. Man kann das mit der Forderung vergleichen, Menschen, die Auto fahren wollen, nicht die Funktion des Motors zu erklären, sondern wie man mit Lenkrad, Gaspedal, Bremse und so weiter sinnvoll umgeht.“

„Der gerade veröffentlichte Entwurf für die europäische KI-Verordnung ist begrüßenswert und bewegt sich im Großen und Ganzen in den Bahnen, die man erwartete, wenn man den Prozess über die vergangenen Jahre beobachtet hat. Das betrifft insbesondere den risikobasierten Ansatz und die weitgehende Konzentration auf in Anhang III definierte Hoch-Risiko-Anwendungen. Die Europäische Kommission hat sich hier sichtlich um einen Kompromiss bemüht, der eine Reihe von Problemen adressiert, ohne Europa als Technologiestandort zu gefährden. Wenngleich man sich über die Details der Liste in Anhang III natürlich streiten kann, ist positiv hervorzuheben, dass die Europäische Kommission den noch im Weißbuch angekündigten Sektor-basierten Ansatz abgeschwächt hat und nunmehr eher auf die konkrete Funktion der jeweiligen Anwendung abstellt. Als Co-Sprecherin der Datenethikkommission (DEK) hat es mich natürlich besonders gefreut, dass Vestager und Breton bei der Pressekonferenz sprachlich und graphisch Bilder bemüht haben, die sehr deutlich an die ‚Kritikalitätspyramide‘ aus dem Gutachten der DEK erinnerten.“

„Prinzipiell sehr begrüßenswert ist die Auflistung allgemein verbotener KI-Praktiken in Artikel 5, was auch einer Forderung gerecht wird, die ich selbst als Wissenschaftlerin mehrfach erhoben habe. Damit werden endlich ‚rote Linien‘ formuliert, welche von KI-Anwendungen nicht überschritten werden dürfen, wie etwa bestimmte Formen der gezielten Manipulation oder der Ausnutzung besonderer Vulnerabilitäten. Bei der konkreten Auswahl und Formulierung drängen sich freilich eine Reihe von Fragen auf. So verwundert es etwa, dass man nicht zumindest zur Klarstellung auch die verbotene Diskriminierung in den Katalog mit aufgenommen hat. Der allergrößte Teil von Artikel 5 ist den biometrischen Echtzeit-Fernidentifikationssystemen im öffentlichen Raum gewidmet, doch hat die Regelung weniger mit ‚verbotenen KI-Praktiken‘ zu tun als vielmehr mit der Formulierung von Bedingungen und Voraussetzungen für den Einsatz solcher Systeme. Konkretere Bedingungen hätte man sich etwa auch für den Einsatz von Emotionserkennungssoftware gewünscht, doch hat man es diesbezüglich bei einer Kennzeichnungspflicht (Artikel 52 Absatz 2) bewenden lassen.“

„Zu den wichtigsten Weichenstellungen gehört es, dass die Verordnung auch KI-Anwendungen, die sich als reine Software-Anwendungen darstellen – die also nicht in ein körperliches Produkt integriert sind – in das Produktsicherheitsrecht eingliedert. Dieser Weg war zwar bereits durch die Medizinprodukte-Verordnung vorgezeichnet, aber nicht unumstritten, hätten manche doch eine Einordnung als Dienstleistung mit allen ihren Konsequenzen (unter anderem Geltung des Herkunftslandprinzips) lieber gesehen. Die Eingliederung in das Produktsicherheitsrecht ist absolut richtig, bringt aber verschiedene Herausforderungen mit sich, insbesondere wenn KI-Anwendungen unmittelbar aus Drittstaaten bereitgestellt werden. Überraschend weit geht für mich das Recht der mit der Marktbeobachtung in jedem Mitgliedstaat befassten Behörden, vollen Zugang zu Trainings-, Test- und Validierungsdaten und, wenn erforderlich, zum Quellcode des Systems zu erlangen (Artikel 64 Absatz 1 und 2).“

„Die Verordnung ist ein wichtiger und sinnvoller Versuch, die Rahmenbedingungen für eine gesellschaftsverträgliche Entwicklung von KI zu setzen. Im Zusammenhang der Etablierung von KI wurde das Regulierungsdefizit erkannt und es werden viele konkrete Vorschläge zu dessen Überwindung gemacht. Die genannten riskanten Anwendungen zum Beispiel im Zusammenhang von gesellschaftlich relevanten Infrastrukturen, zur Erfassung biometrischer Daten (Videoüberwachung/Gesichtserkennung) oder zur automatisierten Bewertung von Personen und deren Verhalten (Social Scoring) sind einschlägig und werden differenziert dargestellt. Es wurde zudem ein besonderes Augenmerk auf die Überwindung von Regulierungshürden für Startups gelegt. Auch die Beachtung von Möglichkeiten, KI-Systeme unter regulatorischen Aspekten erst einmal zu erproben, die sogenannten ‚regulatory sandboxing schemes‘ ist zu begrüßen.“

„An der Verordnung wird deutlich, dass sich an der KI viele der typischen Probleme der Digitalisierung kristallisieren. Dazu gehören Überwachung, Manipulation und Sicherheitsfragen. Es wird jedoch auch deutlich, dass diese Probleme nicht allein durch eine Regulierung von KI überwunden werden können. Das zeigt sich zum Beispiel an dem Verbot von Manipulationen, wie es in der Verordnung ausgeführt ist. ‚Manipulation‘ wird hier zu Recht so weit gefasst, dass hierunter letztlich auch der gesamte Bereich der personalisierten Werbung und des adaptiven Designs der Sozialen Medien gefasst werden könnte. In beiden Bereichen kommt KI zum Einsatz, um das Verhalten der Nutzerinnen und Nutzer zu beeinflussen. Diese Arten der Verhaltensbeeinflussung (Schlagworte: Habit-Forming Products, Persuasive Technologies, Incentive Design) sind aber ein zentrales Merkmal des Geschäftsmodells der Plattformbetreiber. Wie die KI-Verordnung hier umgesetzt werden kann, ist fraglich.“

„Auch das Verbot des Scorings durch KI wirft die Frage auf, wie wir mit Scoring ohne KI umgehen sollen, wie dies zum Beispiel die Schufa praktiziert. Wenn bei der Verwendung von Algorithmen für Entscheidungen keine KI verwendet wird, ist das unkritischer?“

„Ein weiteres kritisches Feld ist die Einschätzung der Risikoklassen beziehungsweise der ‚Kritikalität‘ der KI-Systeme. Wichtige Punkte wie Nachhaltigkeit oder Diskriminierungsfreiheit gehören zum Beispiel nicht zu den Kriterien, die für Zertifizierungen durch Dritte eingelöst werden müssen. Die Liste der Prüfverfahren, die durch Selbstregulierung vollzogen werden können, ist sehr lang. Echte Zertifizierungen als Prüfungen durch unabhängige Dritte sind nur auf Infrastrukturrisiken und biometrische Datenerfassungen bezogen.“

„Auch in Bezug auf den individuellen Verbraucherschutz sehe ich Nachholbedarf: Individuelle Beschwerdemöglichkeiten und ein Ombudswesen spielen in der Verordnung praktisch keine Rolle.“

„Interessant ist, dass die Verordnung Angaben macht zu einer Regulierung von durch KI erzeugten Medieninhalten (synthetische Medien beziehungsweise Deepfakes). Hier wird eine Kennzeichnungspflicht angemahnt, was zu begrüßen ist. Der künstlerische Bereich wird hiervon jedoch ausgenommen, um die Meinungsfreiheit zu schützen. Diese Punkt ist sicher umstritten, denn die Kennzeichnung gefährdet ja letztlich nicht die Meinungsfreiheit, sondern schützt sie, indem sie die Rahmenbedingungen für eine vertrauenswürdige Medienkommunikation schafft. Die Kennzeichnung muss ja nicht unmittelbar sichtbar zum Beispiel auf einer Parodie oder einem anderen künstlerischen Produkt erfolgen, sondern hier kann man sich dezentere Lösungen vorstellen, die aber trotzdem den Transparenzanforderungen genügen.“

„Es ist zu begrüßen, dass die EU einen Versuch unternimmt, Systeme der Künstlichen Intelligenz (KI) zu regulieren. Damit kann die Angst vor einer Fremdbestimmung durch KI und Missbrauch genommen werden.Regulierung ist auch nichts Neues, und wir kennen sie aus vielen anderen Gebieten. Nicht alles, was man kann, sollte auch realisiert werden.“

„KI beschäftigt sich mit der Frage, wie man intelligentes Verhalten durch Computerprogramme abbilden kann. Das kann so intelligentes Verhalten sein, wie wir es von uns Menschen kennen, muss es aber nicht. Menschliches Handeln als Ziel zeigt aber, dass eine Regulierung von KI-Systemen nicht einfach ist. Vorsprung in der KI bedeutet Wohlstand durch Innovation und ein starkes Werkzeug im Kampf gegen Klimawandel und Krankheiten. Es ist daher gut, dass insgesamt eher wenige Anwendungen von vornherein als inakzeptabel eingestuft werden – wie beispielsweise Algorithmen, die das Verhalten von Menschen negativ beeinflussen beziehungsweise manipulieren. Im öffentlichen Raum fallen grundsätzlich auch der Einsatz von Gesichtserkennung und das Bewerten des Verhaltens von Menschen darunter, aber hier gibt es Ausnahmen.“

„Das Ziel ist sehr zu begrüßen, die Details sind aber vernebelt. Impliziert das, dass soziale Medien verboten werden? Das klingt zwar zynisch, aber viele Leute sind der Meinung, das soziale Netzwerke die Meinung von Menschen negativ beeinflussen können.“

„Das Risiko von anderen KI-Systemen und -Anwendungen soll als hoch eingestuft werden, diese sollen aber nicht von vornherein verboten werden. Als hochriskant stuft die Kommission den Einsatz eines KI-Systems ein, wenn es einen unbestreitbaren Nutzen hat, aber zugleich irreparablen Schaden anrichten kann. Das sind beispielsweise Algorithmen für das Recruitment und die Polizeiarbeit. Für diese sollen Mindeststandards eingeführt werden. Das ist eine gute Idee, die aber schwierig umzusetzen sein könnte. Das lernt man in jeder guten KI-Vorlesung. Eine vollständige, explizite Beschreibung sämtlicher Auswirkungen von Aktionen auf alle in einer Welt geltenden Fakten ist schwer, wenn nicht unmöglich. Von dem Festlegen der Mindeststandards mal ganz abgesehen.“

„Die EU scheint sich dieser Schwierigkeiten bewusst zu sein. Beim Testen der Systeme sollen daher nur vorhersehbare Szenarien für den Missbrauch berücksichtigt werden. Die Mindeststandards müssen flexibel gehalten werden und sich auf gesellschaftlich und technische Entwicklungen einstellen können. Die aktuelle Pandemie zeigt, wie wichtig es ist, flexibel und pragmatisch zu sein.“

„Leider ist nicht klar, wer die Mindeststandards festlegen wird. Solche Gremien müssen viele Disziplinen und Sektoren abdecken, insbesondere aber die Methoden der KI selbst. Nur so kann vermieden werden, dass ein falscher Vergleich mit uns Menschen gezogen wird. So fordert die EU, dass Testdaten fehlerfrei sind. Das ist einfach unrealistisch, denn in vielen Fällen diskutieren selbst wir Menschen was richtig und was falsch ist. Es wird auch verlangt, dass ein Mensch immer das letzte Wort haben soll. Zudem muss detailliert dokumentiert werden, wie das KI-System funktioniert, wie es sich entwickelt und welche Schlüsse es zieht.“

„Weil die Regulierung von intelligentem Verhalten so schwierig, ja sogar mit dem Lösen von KI selbst gleichzusetzen ist, werden einige dieser Punkte schwierig umzusetzen sein. Man kann nur hoffen, dass der Kampf um die Deutungshoheit, was diese Anforderung genau bedeuten, nicht zum Bremsklotz der Innovation wird. Die Intention ist gut, aber eine explizit adaptive Regulierung wäre besser gewesen. Der Innovationszyklus ist in der KI extrem kurzlebig, wir lernen ständig dazu. Eine adaptive Regulierung würde das Pferd nicht von hinten aufzäumen, sondern in den Dialog mit der Innovation treten. Eine solcher Partnerschaft würde die Entwicklung von KI in Europa im Vergleich zu anderen Regionen der Welt nach vorne bringen.“

„Entscheidend wird sein, wie die EU mit KI-Systemen und -Anwendungen umgehen wird, deren Risiko zwar als hoch eingestuft wird, an denen es aber ein berechtigtes Interesse gibt. Oft schwebt das Beispiel eines KI-Systems über den Diskussionen, das herausfindet, dass die Leistungsträger in einem Unternehmen in der Mehrheit weiß, männlich und älter als 40 Jahre sind und keine Erziehungszeiten in ihrem Lebenslauf angeben. Auf dieser Basis könnte das System dann Bewerber aussortieren, die diesem Profil nicht entsprechen. Für den Einzelnen wäre das fatal und gesellschaftliche Ungleichheiten würden so verschärft. Ganz klar. Aber was ist mit dem Dual-Use, dass den Firmen klar gemacht wird, dass sie Stereotypen unterliegen? Warum nicht das System zu benutzten, um diese Diskriminierung aufzudecken und damit angehen zu können? Es ist zu erwarten, dass in den meisten Fällen ein berechtigtes Interesse geben wird, und das auch zu Recht.“

„Mit der vorgesehenen Gesetzgebung vollzieht die EU-Kommission eine schwierige Gratwanderung, um einerseits sicherzustellen, dass KI als Werkzeug mit dem letztendlichen Ziel, das menschliche Wohlbefinden zu steigern, eingesetzt wird, und andererseits zu gewährleisten, dass sie die EU-Länder nicht daran hindert, mit den USA und China um technologische Innovationen zu konkurrieren. Die binäre Definition von hohem und niedrigem Risiko ist bestenfalls nebulös und schlimmstenfalls gefährlich, da es an Kontext und Feinheiten fehlt, die für das komplexe, bereits heute existierende KI-Ökosystem erforderlich sind.“

„Die Regelung im finalisierten Verordnungsentwurf vom 21.04.2021, die bestimmte KI-Praktiken einem absoluten Verbot unterwirft, ist in Teilen unbestimmt.“

„So soll das Verbot bei einer ‚wesentlichen Beeinflussung‘ von Personen oder Gruppen gelten, wenn KI-Systeme in den Verkehr gebracht, in Betrieb genommen oder verwendet werden, die unterschwellige Techniken verwenden oder Schwachstellen aufgrund des Alters oder einer körperlichen oder geistigen Beeinträchtigung ausnutzen. Außerdem muss mit dem eingesetzten Verfahren ein (möglicher) Schaden verbunden sein, damit es verboten wird. In diesem Zusammenhang ist zum einen das Merkmal der ‚wesentlichen‘ Beeinflussung auslegungsbedürftig und zum anderen nicht erkennbar, aus welchem Grund ein Ausnutzen von Schwachstellen auf wenige Merkmale, wie Alter oder körperliche beziehungsweise geistige Beeinträchtigung, beschränkt ist. Auch ist fraglich, inwiefern gerade der Einsatz von unterschwelligen Techniken im Einzelfall nachprüfbar oder nachvollziehbar wäre. Es muss vermieden werden, dass dieses Verbot in der Praxis leerläuft.“

„Einem absoluten Verbot unterliegt ebenso das Inverkehrbringen, die Inbetriebnahme oder die Nutzung von KI-Systemen für die Bewertung der Vertrauenswürdigkeit von Personen und auf der Grundlage ihres Sozialverhaltens über einen bestimmten Zeitraum. Geltung beansprucht dieses Verbot für öffentliche Stellen oder für von diesen beauftragten Stellen. Nicht-öffentliche Stellen sind davon nicht betroffen. Allerdings ist insgesamt sowohl der ‚bestimmte‘ Zeitraum nicht näher definiert als auch der Begriff einer aus dieser Bewertung folgenden ungerechtfertigten nachteiligen oder schädigenden Behandlung. Hier lässt der Verordnungsentwurf Interpretationsspielraum. Zu berücksichtigen ist etwa, dass sich bereits die Profilbildung als solche für Betroffene nachteilig auswirken kann.“

„Verboten ist grundsätzlich außerdem die Verwendung von ‚Echtzeit‘-Systemen zur biometrischen Identifizierung in öffentlich zugänglichen Räumen zum Zweck der Strafverfolgung. In bestimmten Fallkonstellationen kann dies dennoch erlaubt sein. Dies gilt beispielsweise für die gezielte Suche nach vermissten Kindern oder die Verfolgung von etwa wegen Betrugs, der Korruption oder Cyberkriminalität verdächtiger Personen, sofern die jeweilige Straftat in dem betreffenden EU-Mitgliedstaat mit einer Freiheitsstrafe im Höchstmaß von mindestens drei Jahren bedroht ist. Voraussetzung ist allerdings eine gesetzliche Regelung durch die Mitgliedsstaaten. Zu prüfen wäre in diesem Zusammenhang vorab, ob Anlass, Zweck und Grenzen einer solchen Ermächtigungsgrundlage bereichsspezifisch, präzise und normenklar festgelegt werden können. Zu beachten ist zudem, dass hier die Auswirkungen für Betroffene besonders schwerwiegend sein können und der Einsatz von KI gerade durch staatliche Stellen ohnehin besonders sensibel ist sowie sorgfältiger Abwägung bedarf.“

„KI-Systeme mit hohem Risiko werden in einem Anhang aufgelistet und sollen fortgeschrieben werden, um sicherzustellen, dass die Verordnung an neu entstehende Verwendungen und Anwendungen von KI angepasst werden kann. Allerdings ist diese Liste auf bestimmte vordefinierte Bereiche begrenzt. Darüber hinaus wird – wie in der ersten Version des Verordnungsentwurfs – nicht nach Risikostufen oder unterschiedlichem Schädigungspotenzial differenziert. Daher können keine unterschiedlichen Anforderungen an Kontroll- und Transparenzpflichten oder Zulassungsverfahren für KI-Systeme berücksichtigt werden. Die Datenethikkommission hat etwa in ihrem Abschlussgutachten in Fällen mit erheblichem Schädigungspotenzial die kontinuierliche Kontrolle durch Aufsichtsinstitutionen etwa mittels einer Live-Schnittstelle vorgeschlagen – mit Blick auf Betreiber von algorithmischen Systemen. Darüber hinaus könnten Klagebefugnisse von Verbänden ohne Gewinnerzielungsabsicht weitere Kontrollmöglichkeiten schaffen.“

„Insgesamt müssen Anbieter sicherstellen, dass KI-Systeme mit hohem Risiko die Anforderungen aus der Verordnung erfüllen und außerdem über ein Qualitätsmanagementsystem verfügen. Gemäß dem Verordnungsentwurf werden außerdem Stellen geschaffen, die berechtigt sind, die Konformität der KI-Systeme, die einem hohem Risiko unterliegen, mit den Anforderungen aus der Verordnung zu kontrollieren. Zudem soll eine Registrierung der KI-Systeme ‚mit hohem Risiko‘ in einer Datenbank auf EU-Ebene erfolgen. Ebenso werden CE-Kennzeichen eingeführt, die an das KI-System angebracht werden müssen. Die Umsetzung dieser Pflichten obliegt dem Anbieter, wobei Händler überprüfen müssen, ob ein KI-System mit hohem Risiko die erforderliche CE-Konformitätskennzeichnung trägt. Solche Kennzeichnungen könnten Verbrauchern und Verbraucherinnen im Übrigen sowohl Orientierung geben als auch Vertrauen in KI-Systeme schaffen.“

„Vorgesehen ist außerdem die Möglichkeit von Sanktionen im Falle der Verletzung der Verordnung.“

„Darüber hinaus enthält die Verordnung Transparenzregelungen für KI-Systeme, die mit einem Menschen interagieren und die Bild-, Audio- oder Videoinhalte generieren oder manipulieren: Nutzer müssen über die Interaktion informiert werden, es sei denn, dies wäre aus den Umständen offensichtlich. Ebenso muss darüber informiert werden, dass Inhalte mittels KI generiert oder manipuliert wurden (‚deep fake‘). Dies gilt jedoch nicht im Falle eines Gesetzes, das die Verwendung solcher Systeme etwa zur Verhütung oder Verfolgung von Straftaten erlaubt. Ausnahmen von diesem Grundsatz sollen sich außerdem mit Blick auf das Recht auf freie Meinungsäußerung und auf das Recht auf Freiheit der Kunst und der Wissenschaften ergeben können.“

„Mit Blick auf die Verhütung oder Verfolgung von Straftaten wäre in diesem Zusammenhang wiederum (siehe oben) dem Umstand Rechnung zu tragen, dass Hoheitsträger eine Vorbildfunktion einnehmen, der Einsatz von KI sorgfältiger Abwägung bedarf und die Anforderungen in der gesetzlichen Ermächtigungsgrundlage präzise festgelegt sein müssen.“