EU-Kommissionsvorschlag zur Chatkontrolle

Auf die Frage, ob es technische Ansätze gibt, wie auf kinderpornografisches Material geprüft werden könnte, ohne die Sicherheit von Kommunikation aufzuweichen oder Überwachung Vorschub zu leisten:
„Es sollen Algorithmen eingesetzt werden, die alle versendeten Nachrichten lesen, interpretieren und dann bestimmte Inhalte melden. Es gibt dabei technisch überhaupt keine Möglichkeit, das nur auf bestimmte Inhalte wie Grooming oder CSAM (Child sexual abuse material; Anm. d. Red.) einzuschränken.“

„Wenn also ein solches System einmal in Betrieb ist, dann ist es technisch überhaupt kein Problem mehr, dieses auch auf beliebige andere Inhalte zu erweitern. Das könnten dann auch Dinge wie politische Interessen, religiöse Ansichten und so weiter sein. Das entspricht ziemlich genau der Definition eines Totalüberwachungssystems.“

„Wenn man Maschinen erlaubt, ausnahmslos alle gesendeten Nachrichten mitzulesen, dann leistet das einer möglichen Totalüberwachung auf jeden Fall Vorschub. Ich denke es wäre ein großer Fehler, dies zu tun.“

„Ich denke, dass es ein sehr wichtiges Ziel ist, Dinge wie CSAM oder Grooming konsequent zu verfolgen und Täter zu ermitteln und zu bestrafen. Der hier vorgeschlagene technische Ansatz geht jedoch völlig an diesem Ziel vorbei.“

„Für Kriminelle ist es trivial, sich der Überwachung zu entziehen. Sie könnten zum Beispiel einfach Dienste aus Ländern nutzen, die sich nicht an diese Regeln halten müssen und daher dieses Scanning nicht umsetzen – wenn es sein muss über VPNs oder Anonymisierungsdienste wie TOR. Dann ist es praktisch nicht nachweisbar, dass ein solcher Dienst ‚illegal‘ genutzt wird.“

„Auch könnte man die übertragenen Nachrichten geschickt zusätzlich codieren oder verschlüsseln, sodass das automatisierte Scanning dies nicht erkennt. Der Nutzen des Ansatzes ist also gering, da man die wirklich Kriminellen damit kaum entdecken wird.“

„Für einen solchen geringen Nutzen nun eine riesige, hochkomplexe und dadurch natürlich auch fehleranfällige Überwachungsinfrastruktur aufzubauen, die sehr schnell missbraucht werden kann, ist also nicht der richtige Weg, um das gewünschte Ziel zu erreichen.“

„Ein wesentlich sinnvollerer Ansatz könnte zum Beispiel sein, die Polizei personell und technisch so auszustatten, dass auch alle gemeldeten Hinweise auf kriminelle Inhalte wie CSAM oder Grooming konsequent verfolgt werden können.“

„Die EU-Kommission hat einen relativ umfassenden Ansatz zur Verbesserung der Erkennung, der Löschung und der Strafverfolgung von Kindesmissbrauchsdarstellungen im Internet vorgelegt. Damit reagiert sie auf die teilweise schwierigen Entdeckungsmöglichkeiten solcher strafrechtlich relevanten Darstellungen. Statistische Erhebungen weisen auf steigende Zahlen von Kindesmissbrauchsdarstellungen im Netz und Cybergrooming-Fälle hin; eine valide Aussage ist hier aber schwierig, weil wir von hohen Dunkelziffern bei gleichzeitig steigender gesellschaftlicher und individueller Aufmerksamkeit ausgehen müssen.“

„Jedenfalls hat sich die Verbreitung und Weitergabe von Missbrauchsdarstellungen über geschlossene Foren hinaus zunehmend in Richtung von Cloud-Speicherdiensten und direkten Tauschformen über Instant Messaging-Dienste erweitert. In den letzten Jahren ist daneben das Phänomen aufgetreten, dass über bildfähige Instant Messenger und verschlüsselte Streamingdienste private Live-Streams mit sexuellen Misshandlungsdarstellungen ‚auf Bestellung‘ in Echtzeit und gegen Bezahlung angeboten werden. Die vorgeschlagene Verordnung versucht, Ansätze zur Eindämmung dieser neueren Distributionsformen in den geltenden Rechtsrahmen einzubeziehen. Das ist zunächst nachvollziehbar. Die vorgeschlagenen Maßnahmen bergen aber erhebliche Risiken für einen regulatorischen ‚Overspill‘, weisen also deutliche Überschusstendenzen in Richtung geschützter Grund- und Menschenrechte wie Informations- und Kommunikationsfreiheiten und das Recht auf Privatsphäre auf.“

„Der Verordnungsentwurf enthält eine ganze Reihe neuer Pflichten für Hostinganbieter und Kommunikationsdienste, und eine Palette von Anordnungsmöglichkeiten und Durchsetzungsinstrumenten für Behörden.“

„Ein zentraler Aspekt dabei sind Anbieterpflichten zur Durchführung von Risikoabschätzungen. So sollen die Unternehmen abschätzen beziehungsweise klären, inwieweit ihr Dienst oder Teile davon für Grooming oder die Verbreitung von Missbrauchsdarstellungen von Kindern genutzt wird oder genutzt werden könnten. Wo diese Analyse Risikopotenziale aufdeckt, müssen die Anbieter Vorsorgemaßnahmen etablieren, etwa durch eine restriktivere Inhaltemoderation. Über das Ergebnis der Risikoabschätzung und die gegebenenfalls eingeführten Gegenmaßnahmen müssen die Unternehmen die zuständige Aufsichtsstelle informieren, die das Verfahren und die Maßnahmen prüft.“

„Bei Nachweisen, dass ein Hostinganbieter oder ein Kommunikationsdienst ein signifikantes Risiko für die Verbreitung von Kindesmissbrauch darstellt, kann die nationale Aufsicht eine Aufdeckungs- oder Erfassungsanordnung (‚detection order‘) gegenüber dem Anbieter erlassen. Dadurch wird der Anbieter verpflichtet, Monitoring- und Analyseverfahren zu implementieren, die in der Lage sind, relevantes Material über alle Nutzenden des Angebots hinweg zu identifizieren. Dies ist die Maßnahme, die derzeit unter dem Stichwort der ‚Chatkontrolle‘ diskutiert wird. Von diesen regelmäßig (teil-)automatisierten Verfahren als relevant eingestufte Informationen müssen vom Anbieter an die nationalen Strafverfolgungsbehörden gemeldet werden. Für Verfahren, die dabei bereits bekannte Darstellungen anhand von Hashwert-Verfahren eindeutig identifizieren, mag das rechtlich noch verhältnismäßig erscheinen. Wo aber technische Verfahren der Ähnlichkeitserkennung auf bislang unbekannte Inhalte angewandt werden, steigt das Risiko von Fehlalarmen. Um nicht unschuldige Nutzerinnen und Nutzer an die Ermittlungsbehörden zu melden, muss der Anbieter faktisch jeden nicht hundertprozentig sicheren Alarm kontrollieren. Dafür müsste er bei der Analyse – und spätestens bei der Überprüfung – über die Möglichkeit verfügen, Ende-zu-Ende-verschlüsselte Übertragungen entschlüsseln zu können. Das stünde im direkten Gegensatz zum Sinn und Zweck der Verschlüsselung.“

„Einmal identifizierte Inhalte müssen von Anbietern umgehend gelöscht oder der Zugang dazu gesperrt werden.“

„Die vorgestellte Verordnung enthält zudem eine recht umfassende Ermächtigung zum Erlass von Netzsperren auf Accessproviderebene. Nach einer gerichtlichen Anordnung wären Accessprovider dazu verpflichtet, Zugriffe auf relevante URLs zu sperren. Die zu sperrenden URLs werden in einer EU-weiten Datenbank vorgehalten. Wer sich an die deutschen Netzsperrendebatten im Rahmen des von Ursula von der Leyen eingebrachten Zugangserschwerungsgesetzes im Jahr 2010 erinnert fühlt, liegt richtig. Die Argumente, die damals für und gegen die Eignung von Netzsperren vorgebracht wurden, gelten heute prinzipiell unverändert.“

„Der Entwurf enthält zudem Pflichten für App-Stores, mit Blick auf Missbrauchsdarstellungen und Grooming relevante Apps zu identifizieren und Altersverifikationsverfahren bei dem Zugang zu Apps einzuziehen. Dafür reicht es, dass eine App zur böswilligen Ansprache von Kindern geeignet ist. Wenn dieser Ansatz in der Praxis dazu führt, dass praktisch jeder einigermaßen nutzbare Kommunikationsdienst nur noch für Erwachsene verfügbar ist, weil Kinder angesprochen werden könnten, stellt sich die Frage nach den kinderrechtlichen Ansprüchen auf kommunikative Teilhabe.“

„Daneben sieht der Entwurf die Einrichtung eines EU-Zentrums zu Kindesmissbrauch vor, das als zentrale Anlauf-, Unterstützungs- und Koordinationsstelle fungieren soll. Auf nationaler Ebene sind Nationale Koordinierungsstellen zu benennen, die die Vorgaben der Verordnung federführend umsetzen und die die teils über unterschiedlichen Behörden und Institutionen verteilten Kompetenzen und Maßnahmen koordinieren. Diese Form der klareren Zuständigkeitsverteilung und die Schaffung eines zentralen Hubs auf EU-Ebene ist überfällig.“

„Die EU-Verordnung versucht, die vom EuGH aufgestellten Anforderungen zu berücksichtigen, indem sie nur bei begründetem Verdacht, dass ein bestimmter Dienst zur Verbreitung von Missbrauchsdarstellungen genutzt wird oder genutzt werden könnte, den behördlichen Erlass einer Erfassungsanordnung vorsieht. Dadurch wird aber eine ganze Plattform mit gegebenenfalls vielen Millionen Einzelnutzenden zum ‚Verdachtsfall‘, und die Überwachung der dort ausgetauschten Informationen betrifft dann ausnahmslos alle ihre User. Das hatte der EuGH nicht im Kopf, als er von Überwachungsmaßnahmen bei konkreter Gefahr sprach. Zudem hat das Gericht deutlich gemacht, dass sich Monitoring- und Analyseverfahren stets auf das absolut notwendige Mindestmaß zu beschränken haben. Davon kann keine Rede mehr sein, wenn Erfassungsanordnungen an alle größeren Hostinganbieter und Kommunikationsdienste ergehen würden. Damit wäre die Individualkommunikation der größeren Teile der EU-Bevölkerung – und darüber hinaus – Gegenstand von in den allermeisten Fällen anlasslosen Überwachungsverfahren. Die Vorschrift in dieser Form und Breite, auch was die Treff(un)sicherheit der Verfahren angeht, würde einer Kontrolle durch den EuGH eher nicht standhalten.“

„Staatliche Stellen sehen sich hier einem grundsätzlichen Dilemma gegenüber. Um relevante Darstellungen – und damit Straftaten – identifizieren zu können, bedürfte es des Zugriffs auf diese Inhalte. Das ist dem Staat aber mit Blick auf Datenschutz und Privatsphäre bis auf Einzelausnahmen bei konkretem Tatverdacht verwehrt. Es fehlt insoweit an der Möglichkeit, auf großen Diensten die Spreu vom Weizen zu trennen, wobei der Weizen die strafrechtlich relevanten Inhalte sind. Rein technisch haben die Diensteanbieter den einfachsten Zugriff auf diese Informationen und können entsprechend auch für ihr Angebot an zentraler Stelle Monitoringverfahren vorhalten. Doch die rein technische Möglichkeit der Suche nach einschlägigen Darstellungen, etwa durch systematische Scans, bedeutet nicht, dass dies auch rechtlich zulässig wäre. Mit dem Verordnungsentwurf sieht es so aus, als versuche die Kommission eine angebotsbezogen anzuordnende Monitoringpflicht auf Seite der Anbieter zu implementieren, die dem Staat selbst verwehrt wäre.“

„Träte die Verordnung in dieser Form in Kraft, so muss unabhängig von den Eingriffen in die Menschenrechte vieler unbescholtener Nutzerinnen und Nutzer darauf hingewiesen werden, dass große professionelle Tauschringe und Foren für Missbrauchsdarstellungen davon nicht berührt würden; die hätten und haben sich längst in Ecken des Netzes zurückgezogen, die ihre Entdeckung und Verfolgung ungleich schwieriger machen. Die über große Hosting- und Messaging-Plattformen agierenden Straftäterinnen und Straftäter wären durch die Verordnung in der Tat besser zu ermitteln – wenn sie denn nicht vorher in andere Netzgefilde abwandern.“

„Der Vorschlag der EU-Kommission für ein sogenanntes Gesetz zur ‚Chatkontrolle‘ ist als sehr bedenklich einzustufen – sowohl aus Sicht des Datenschutzes wie auch der Cybersicherheit. Das Gesetzgebungsvorhaben jedoch nur auf die Chatkontrolle zu beziehen, greift zu kurz. So handelt es sich vielmehr um ein Gesamtkonzept, um dem sexuellen Missbrauch von Kindern im Online-Bereich vorzubeugen. Neben der Inhaltskontrolle von Kommunikation umfasst es auch Maßnahmen wie die Erkennung und Blockade von Datenverkehren. Es findet sich im Gesetzesvorschlag sogar eine Regelung, die mit einer erweiterten Vorratsdatenspeicherung verglichen werden kann, indem Inhaltsdaten für maximal zwölf Monate gespeichert werden können. Der Vorschlag der EU-Kommission ist mithin sehr weitgehend. Hinzu kommt, dass viele Formulierungen und Befugnisse im Gesetz bewusst vage formuliert, völlig technologieoffen und unbestimmt sind – quasi eine ‚Black Box‘. Diese können sowohl durch delegierte Rechtsakte, aber auch durch behördliche Leitfäden konkretisiert werden. Es wird außerdem ein sehr breiter Anwendungsbereich eröffnet, sodass sehr viele Dienste betroffen sein werden, sollte die Regelung in dieser Form kommen. Dazu gehören Hostingdienste, Dienste der Informationsgesellschaft, Internetzugangsdienste sowie Kommunikationsdienste. Im Ergebnis kommen wir durch den weiten Anwendungsbereich des Gesetzes, die unbestimmten Regelungen und die umfassenden behördlichen Befugnisse durch den Gesetzesvorschlag einer Vollüberwachung des digitalen Bürgers deutlich näher, als es bislang jemals der Fall gewesen ist.“

„Der Gesetzentwurf enthält aus Sicht der digitalen Bürgerrechte nur äußerst Weniges, was man als positiv bezeichnen kann. Sinnvoll erscheint sicher die Anordnung eines ‚Risk Assessment‘ und ‚Risk Reporting‘ für bestimmte Online-Dienste, basierend auf den bisherigen Erfahrungen. Dies kann auch noch mit verhältnismäßig geringer Eingriffsintensität in digitale Bürgerrechte durchgeführt werden. Sinnvoll kann es überdies sein, minderjährige Nutzer von Online-Diensten als potenzielle Opfer von Cybergrooming vorab zu identifizieren – wenngleich nicht klar ist, wie dieses schon seit Jahren bestehende Problem der Altersverifikation im Netz konkret gelöst werden soll. Auch wird der Nutzer über den möglichen Einsatz von Detektionstechnologien im Sinne des Transparenzgrundsatzes informiert, damit er sich darauf einstellen kann, dass die Kommunikation überwacht wird. Mit Blick aber auf den Umstand, dass vermutlich ein Großteil der Kommunikationsdienste von den Regelungen erfasst sein wird, ist dies nur Makulatur, da sich die allermeisten Bürger damit auf die viel befürchtete Vollüberwachung werden einstellen müssen. Zwar erwähnt der Gesetzentwurf an verschiedenen Stellen die ‚Notwendigkeit‘ und ‚Verhältnismäßigkeit‘ seines Vorgehens, durch das schiere Ausmaß der Überwachungsaktivität treten Erwägungen zur Verhältnismäßigkeit aber letztlich völlig in den Hintergrund. Besonders negativ: Mit dem in Den Haag gelegenen ‚EU Centre to Prevent and Combat Child Sexual Abuse‘ wird eine neue Supersicherheitsbehörde mit extensiven Datensammelbefugnissen und sehr weitreichenden Datenverarbeitungsbefugnissen geschaffen, deren Mitarbeiter juristische Immunität genießen. Außerdem schreibt das Gesetz vor, dass die neue EU-Behörde die weitreichendsten Rechte in den Mitgliedstaaten besitzen soll, die ihr nach Rechtsvorschriften zuerkannt werden können.“

„Der Vorschlag der EU-Kommission ist keineswegs juristisch wasserdicht. Wir stehen aber in der Überwachungsgesetzgebung politisch immer mehr vor dem Problem, dass eine generelle Gefahr durch den Gesetzgeber mehr und mehr als anlassbezogen gewertet wird. Auf diese Weise wird versucht, eine eigentlich ohne konkreten Anlass erfolgende Massenüberwachung zu legitimieren. Die Bekämpfung von Kinderpornografie ist da ein Beispiel. Als quasi universeller Legitimationstatbestand gelten aber ebenso die Terrorbekämpfung und die Bekämpfung von gewerbsmäßiger Kriminalität, zum Beispiel der Handel mit Rauschgift. Es ist mehr als bedauerlich, dass die EU-Kommission in dieser Hinsicht in den letzten Jahren einen deutlichen Sinneswandel vollzogen hat. Früher stand die EU mit Blick auf Digitalisierungsfragen noch als Korrektiv zu nationalstaatlicher Gesetzgebung, indem sie digitale Bürgerrechte befördert und geschützt hat. Mittlerweile aber ist die Kommission auf den Zug der erstrebten Vollregulierung des digitalen Raums aufgesprungen und schafft geradezu reaktionär immer neue Digitalgesetze mit Eingriffsbefugnissen und zahllosen Pflichten für die Online-Dienste. Manches davon mag vielleicht notwendig sein, vieles aber ist überflüssig und untergräbt digitale Bürgerrechte nachhaltig. Das Recht auf vertrauliche Kommunikation und auf den Schutz der digitalen Intimsphäre ist essenzieller Bestandteil der Persönlichkeitsentfaltung im digitalen Raum und darf nicht auf diese Weise und in diesem unbestimmten Umfang geopfert werden. Ob der Gesetzesvorschlag im weiteren Gesetzgebungsverfahren aber eine deutliche Abschwächung erfahren wird, ist mehr als fraglich.“

Auf die Frage, inwiefern solche Überwachungsbefugnisse bei der Ermittlungsarbeit helfen oder ob es eher an anderer Stelle mangelt:
„Natürlich kann man sagen, dass jede noch so kleine Eingriffsbefugnis für Behörden irgendwo ein Mehr an Sicherheit bringt. Darum geht es aber gar nicht, denn alle staatlichen Maßnahmen müssen in einem Rechtsstaat verhältnismäßig sein. Das bedeutet, dass das verfolgte Ziel und die damit beeinträchtigten Interessen in einem angemessenen Verhältnis zueinander stehen. Damit wird ausgeschlossen, dass man schwerwiegende Grundrechtseingriffe durch geringfügige Mehrwerte bei der Ermittlungsarbeit legitimieren kann. Bei diesem neuen Gesetz haben wir es mit einem ganzen Strauß an höchst eingriffsintensiven Ermittlungsbefugnissen zu tun, die in der Gesamtheit betrachtet extrem belastend sind. Die Chatkontrolle ist davon nur eine Maßnahme. Und wenn dann im Gesetz nicht einmal genau beschrieben wird, welche Technologien konkret zur Überwachung eingesetzt werden dürfen, gelangen wir an den Punkt, an dem die Effektivität der Maßnahmen nicht mehr wirklich vernünftig beurteilt werden kann und deshalb infrage gestellt werden muss. Man kann mit Allgemeinplätzen keine Grundrechtseingriffe legitimieren. Auch hier kann man wieder einen Vergleich mit der Vorratsdatenspeicherung ziehen, denn auch hier wurde nie wirklich objektiv nachgewiesen, dass diese in der Ermittlungsarbeit tatsächlich einen Mehrwert bietet. Auch im Sinne der ‚Überwachungsgesamtrechnung‘ ist das EU-Vorhaben äußerst bedenklich. Anstatt sich auf ein immer stärker technokratisch geprägtes Staatsverständnis zu stützen, wäre die EU deutlich besser damit beraten, mehr Ermittlungspersonal einzustellen und die Strafverfolgung in dem Bereich zu verbessern. Hier kann man dann auch mit punktuellen Lösungen arbeiten, ohne alle EU-Bürger digital überwachen zu müssen, getreu dem Motto: ‚Wenn ich nichts zu verbergen habe, dann kann ich auch gleich alles öffentlich machen.‘“

„Im besten Fall handelt es sich bei dem Vorschlag der EU-Kommission um einen gut gemeinten Versuch, Straftaten gegen Kinder aufzudecken und zu verhindern, dessen Konsequenzen durch die Kommission aber – wohl aufgrund einer Fehleinschätzung technischer und sozialer Realitäten – völlig verkannt werden. Im schlechtesten Fall zielt man auf die Erstellung einer umfassenden Überwachungsinfrastruktur ab und schiebt die Bekämpfung von Kinderpornographie und Kontaktaufnahme zu Kindern für sexuelle Zwecke nur vor. Sicher ist aber die Konsequenz: ein Generalverdacht gegen die Nutzer elektronischer Kommunikation, eine Schwächung der IT-Sicherheit in der elektronischen Kommunikation und ein damit einhergehender Vertrauensverlust.“

„Die erheblichen Aufwände, die bei Providern und Behörden durch den Vorschlag entstehen, wären in die Personalausstattung der Strafverfolgungsbehörden sicher sinnvoller investiert.“

„Die Vielzahl an Detailproblemen, die sich im Vorschlag zeigen, kann ich hier gar nicht vollständig abhandeln.“

Auf die Frage, welche Ansätze sinnvoll sind und wo noch Verbesserungsbedarf ist:
„Sinnvolle Ansätze in dem Vorschlag zu finden, erscheint mir schwierig. Immerhin: Der Vorschlag sieht den Aufbau einer Agentur zur Bekämpfung von Kindesmissbrauch vor. Es erscheint mir nicht ausgeschlossen, dass eine solche Agentur sinnvolle Koordinierungstätigkeiten durchführen könnte. Auch verpflichtet der Vorschlag Anbieter von Hosting- und Kommunikationsdiensten zu einer Bewertung des Risikos, inwiefern der Dienst für die Verbreitung von Kinderpornographie beziehungsweise zur Kontaktaufnahme zu Kindern für sexuelle Zwecke genutzt wird. Dieser Grundgedanke erscheint mir auf den ersten Blick plausibel, auch wenn der Anwendungsbereich extrem breit ist und de facto wohl nur bei einem Bruchteil der erfassten Dienste tatsächlich ein nennenswertes Risiko besteht.“

„Neben der Debatte um den Eingriff in die Grundrechte der Nutzer sollte man auch die Wirkung auf die Anbieter nicht vergessen. Durch den extrem breiten Anwendungsbereich werden zahllosen Unternehmen Berichtspflichten auferlegt – und sie müssen sich auch auf die technische Umsetzung vorbereiten. Ein Großkonzern kann das leisten, für kleinere Diensteanbieter wird eine weitere Hürde geschaffen. Es sind Erleichterungen für kleine Unternehmen vorgesehen, aber der Aufwand bleibt.“

Auf die Frage, inwiefern der Vorschlag juristisch wasserdicht ist:
„Die Feinheiten der Auslegung von Grundrechten, insbesondere auch auf der europäischen Ebene, sind nicht mein Metier. Aber: Der Vorschlag stellt in der Tat eine anlasslose Überwachung dar, die schon aus rein technischer Sicht nicht annähernd so trennscharf sein kann, wie es der Vorschlag wohl unterstellt. Über Messenger-Dienste wird Kommunikation wirklich aller Art abgewickelt. Das kann der Austausch mit einer Rechtsanwältin sein, aber auch die private oder intime Kommunikation mit dem Lebensgefährten. Gerade im letztgenannten Fall ist die Gefahr einer falsch-positiven Meldung meines Erachtens besonders hoch. Um das deutlich zu machen: Wenn ein junger Erwachsener seiner Freundin intime Fotos von sich zusendet, muss er damit rechnen, dass diese aufgrund einer fehlerhaften Erkennung durch den Provider an Behörden weitergeleitet werden. Wie soll das verhältnismäßig sein?“

„Von der Schwächung der IT-Sicherheit durch den Vorschlag, vor der zahlreiche der renommiertesten IT-Sicherheitsforscher warnen, will ich hier gar nicht erst anfangen.“

„Es gibt zwei Möglichkeiten, die meinem Verständnis nach beide durch den Vorschlag verfolgt werden. Entweder man nutzt Ansätze für das Auffinden exakt solcher Inhalte, die bereits nach einer detaillierten Prüfung als rechtswidrig erkannt worden sind. Exakte Übereinstimmung von Dateien kann technisch recht einfach überprüft werden, es wird keine technisch bedingten falsch-positiven Ergebnisse geben – sondern ‚nur‘ das Risiko, dass Inhalte fehlerhaft oder missbräuchlich gesucht werden.“

„Jede minimale Änderung führt dann aber dazu, dass der rechtswidrige Inhalt eben nicht wiedererkannt wird. Ein solcher Ansatz ist also leicht zu umgehen – und richtet dennoch großen Schaden an.“

„Oder man versucht, mittels Klassifikationsverfahren – wohl mit Techniken aus der künstlichen Intelligenz – die problematischen Inhalte direkt zu erkennen. Auch das ist im Kommissionsvorschlag vorgesehen, es soll explizit auch ‚neues‘ Material erkannt werden.“

„Nun reden wir aber über vielgenutzte Systeme. Für Whatsapp wird die Zahl von weltweit zwei Milliarden Nutzern angegeben, die 100 Milliarden Nachrichten verschicken – darunter auch mehrere Milliarden Fotos und Videos, fast alle legal. Werden davon nur 0,01 Prozent fälschlich als illegale Inhalte klassifiziert, reden wir von hunderttausenden solcher falsch-positiven Meldungen von Fotos und Videos jeden Tag, ein erheblicher Anteil davon natürlich auch in der EU. Wie sollen die Behörden damit umgehen? Man hat diese Problematik überall, wo man mit einem Klassifikationsverfahren selbst mit sehr geringem Anteil an falsch positiven Ergebnissen nach – relativ gesehen – sehr seltenen Ereignissen sucht: Selbst unter den detektierten Treffern wird ein Großteil nicht wirklich positiv sein, also kein kinderpornographisches oder anderweitig strafbares Material enthalten.“

„In dem Vorschlag für eine Verordnung zum Erkennen und Melden von Darstellungen sexuellen Kindesmissbrauchs werden viele Regeln und Methoden beschrieben, die Daten in sozialen Netzwerken und Apps live analysieren, um mögliche Fälle von Kindesmissbrauch früh zu erkennen oder ihnen gar vorzubeugen. Dabei geht es um Technologien, die eingesetzt werden sollen (insbesondere in Artikel 10) und die Methode der Bereitstellung über ein EU-Zentrum (Artikel 46), die insbesondere kostenlos sein soll (Artikel 10, 50).“

Auf die Frage, wie gut und genau KI-Methoden zur Bilderkennung momentan schon sein können:
„In der Tat sind KI-Methoden in diesem Bereich schon sehr fortschrittlich. Bereits vor zehn Jahren haben Mitglieder im Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI, in meiner damaligen Forschungsgruppe) in einem EU-Projekt in Zusammenarbeit mit Europol Methoden entwickelt, die verändertes und sogar unbekanntes Material auf Festplatten entdeckt haben. Mit neuartigen Erkennungsmethoden (Deep Learning) und allgemein größeren Datenmengen werden die Verfahren immer besser.“

Auf die Frage, wie es bei schwierigeren Fällen wie Fotos der eigenen Kinder im Planschbecken oder auch Nacktbildern von volljährigen, aber jünger aussehenden Personen aussieht:
„Hier werden sehr wahrscheinlich am Anfang noch einige Fehlalarme getriggert. Die Erkennungsmethoden werden jedoch immer besser, sodass man davon ausgehen kann, dass die automatischen Methoden sehr bald so gut sind wie die Einschätzung von menschlichen Experten.“

Auf die Frage, inwiefern KI-Systeme momentan schon gut genug sind, um Grooming in Konversationen zuverlässig zu erkennen:
„Tatsächlich habe ich die im Gesetz als Referenz angegebene Arbeit von Microsoft nicht gefunden, andere Forschungsarbeiten in diesem Bereich sind jedoch vielversprechend. Kollegen der HU Berlin zum Beispiel haben berichtet, dass sie in einigen Szenarien sogar eine Erkennungsrate von über 90 Prozent erzielen [1].“

„Es ist zu beachten, dass es nicht auf die genauen Zahlen ankommt. Bereits vor zehn Jahren war es ein Meilenstein, überhaupt Fälle aufzuspüren, die man vorher nicht finden konnte. Die Erkennungsgenauigkeit war nicht sehr hoch, aber sie wurde schnell besser.“

„Ich bin überzeugt, dass es für das Problem der automatischen Erkennung von Kinderpornografie nicht nur eine gute, sondern eine sehr gute technische Lösung gibt. Diese wird zunehmend besser, je mehr sie zum Einsatz kommt und von mehr Daten und besser trainierten maschinellen Lernmodellen profitiert.“

„Zwei Punkte sind mir noch wichtig: Erstens ist zu beachten, dass der Einsatz dieser Methoden aus technischer Sicht auch problemlos für andere Zwecke möglich ist. Man könnte also mögliche andere Verbrechen früher erkennen, Hassreden und Mobbing aufspüren, oder jedoch Personen mit jeglicher sexueller Neigung, politischen Interesse, kommerziellen Interessen und so weiter. Es ist also wichtig, dass die Methoden nicht ausgenutzt werden – ähnlich zum Bundestrojaner“

„Zweitens sollte die EU aus meiner Sicht sehr vorsichtig sein in Bezug auf den Zugriff auf die Daten. Es ist gut, wenn technische Dienste (Web Service) Antworten liefern, ob bestimmte Bilder oder Texte mögliche Fälle aufweisen. Es wäre nicht gut, wenn zu viele Firmen direkten Zugriff auf die Datenbanken hätten, denn dann würden solche Informationen leaken – und mögliche Kriminelle könnten einfacher ihre Inhalte anpassen, um nicht erkannt zu werden. Es wird immer ein Katz-und-Maus-Spiel geben, man muss es den Kriminellen jedoch nicht zu einfach machen.“