Zum Hauptinhalt springen
25.04.2023

Desinformation: Welche Rolle können Sprachmodelle und KI spielen?

     

  • Sprachmodelle und Bildgeneratoren dürften Erstellung von Desinformation erleichtern
  •  

  • für Wirkung von Desinformation sind aber noch weitere Faktoren wichtig
  •  

  • Experten: leichtere Erstellung muss nicht zu wirkungsvollerer Desinformation führen, Bilder können sehr wirkmächtig sein, gesicherte Informationen durch Journalismus könnten noch wichtiger werden
  •  

In der aktuellen Diskussion über die Potenziale und Risiken von künstlicher Intelligenz (KI) geht es auch immer wieder um die Gefahr durch Desinformation. Dabei besteht insbesondere die Sorge, dass Desinformation anhand von Sprachmodellen leichter, in größerer Menge und in besserer Qualität generiert werden kann. Auch andere Arten von KI wie Bildgeneratoren oder Software für die Erstellung von Deepfakes könnten im Kontext von Desinformation eine Rolle spielen, wenn immer realistischer wirkende Bilder und Videos leicht per KI erstellt werden können.

Doch die Wirkung von Desinformation hängt von vielen Faktoren ab, nicht nur von der Schwierigkeit der Erstellung. So kann beispielsweise auch die Verbreitung der Inhalte oder der Glaube der Zielgruppe an deren Richtigkeit eine Rolle spielen. Daher stellt sich die Frage, welche Bedeutung einzelnen Faktoren zukommt und welche Rolle die durch KI-Methoden erleichterten Erstellung spielt.

Da das Thema insbesondere in Hinblick auf die Rolle von Sprachmodellen noch recht neu ist, gibt es bisher noch nicht viel abgeschlossene Forschung zu dem Thema. Doch mit Blick auf bisherige Forschung zur Wirkung und Verbreitung von Desinformation können Forschende bereits jetzt erste Prognosen liefern und den Stand der Forschung und der Debatte einschätzen. Daher haben wir Wissenschaftlerinnen und Wissenschaftler, die zu Desinformation forschen, um ihre ersten Einschätzungen zu diesem Thema gebeten.

Übersicht

     

  • Prof. Dr. Andreas Jungherr, Inhaber des Lehrstuhls für Politikwissenschaft, insbesondere Steuerung innovativer und komplexer technischer Systeme, Otto-Friedrich-Universität Bamberg

  •  

  • Prof. Dr. Christian Hoffmann, Professor für Kommunikationsmanagement, Institut für Medien- und Kommunikationswissenschaft, Universität Leipzig

  •  

  • Felix Simon, Leverhulme Doctoral Scholar, University of Oxford, Vereinigtes Königreich

  •  

  • Dr. Philipp Müller, Akademischer Rat am Institut für Medien- und Kommunikations­wissenschaft, Universität Mannheim

  •  

Statements

Die folgenden Statements sind bewusst mit Blick auf langfristige Verwendbarkeit eingeholt und können auch in Zukunft zu diesem Thema Hintergrundinformationen bieten und zitiert werden.

Prof. Dr. Andreas Jungherr

„Sprachmodelle ermöglichen die schnelle Erstellung von falschen oder fehlleitenden Informationen. Die Modelle ermöglichen entsprechenden Akteuren eine sehr hohe Reaktionsgeschwindigkeit auf aktuelle Ereignisse. Gleichzeitig erlauben sie die Erstellung von unterschiedlichen Inhalten in hoher Zahl, die den gleichen Punkt in unterschiedlicher Form machen. So kann oberflächlich schnell der Eindruck entstehen, dass die Falschinformation im Netz stark vertreten und von unterschiedlicher Seite bestätigt wurde. Sprachmodelle erleichtern also mit Sicherheit das Erstellen von Falschinformationen mit hoher Geschwindigkeit und in großer Zahl.“

Prof. Dr. Christian Hoffmann

„Es ist denkbar, dass Akteure versuchen könnten, Plattformen (Social Media) beziehungsweise Online-Diskurse mit einer großen Menge an Beiträgen zu fluten. Wie bedeutsam das ist, ist allerdings fraglich. In Social Media werden Inhalte über Accounts veröffentlicht. Damit diese Accounts Wirkung erzielen, benötigen sie ein Publikum – beispielsweise Follower. Es ist heute schon so, dass Fake-Accounts in der Regel kaum Follower haben – selbst wenn es sehr viele solcher Accounts gibt oder sie sehr viele Inhalte posten, ist ihre Wirkung daher begrenzt. Teilweise sind diese Accounts dann untereinander vernetzt, was den Eindruck erweckt, sie hätten ein Publikum, tatsächlich schieben sie sich aber vor allem gegenseitig ihre Inhalte zu. Einfach ‚mehr‘ zu produzieren, wird hier vermutlich nicht sehr viel verändern.“

„Möglich ist auch, dass KI-basiert vereinfacht Fake-News-Websites befüllt werden könnten. Solche Seiten, die wie eine News-Website aussehen, aber tatsächlich Fake News veröffentlichen, weisen oft nur eine kurze Lebensdauer auf. Sie werden erstellt, ihre Inhalte werden vor allem über Social Media gestreut, meist wird recht schnell erkannt, dass es sich um eine Art Spam handelt, die Social-Media-Plattformen reagieren durch Content Moderation, und die Websites werden von ihren Machern wieder vom Netz genommen. Das ist ein Katz-und-Maus-Spiel. Die Macher hoffen wohl, dass jeweils zwar wenig, aber ‚genug‘ Desinformation verbreitet werden kann, um den öffentlichen Diskurs zu irritieren. Es ist denkbar, dass KI die Erstellung solcher Seiten erleichtert – und das Katz-und-Maus-Spiel so intensiver wird.“

„Eine dritte mögliche Entwicklung wäre die zunehmende Verlagerung von Desinformation zu Mobile Instant Messenger Services wie WhatsApp, Telegram und so weiter. Sofern es böswilligen Akteuren gelingt, Zugang zu solchen Chat-Gruppen zu finden, könnten KI-basiert schneller und realistischer wirkende Inhalte eingespeist werden. Es wäre auch denkbar, dass hier Personen nachgeahmt werden. All dies ist aber bisher recht spekulativ.“

Felix Simon

„Sogenannte große Sprachmodelle (LLMs = Large Language Models) werden in Bezug auf Falschinformationen aktuell hauptsächlich auf vier Arten diskutiert.“ 

„Erstens: in Bezug auf die einfachere Erstellung von qualitativ realistischer wirkenden – textlichen und visuellen – Inhalten auch für Laien. Diese Inhalte können, je nach Zielsetzung des/der Ersteller*in, bewusst falsch oder irreführend sein und sind in ihrer Qualität zum Teil von menschlich verfassten Texten oder von Fotografien beziehungsweise Audioaufnahmen nur schwer zu unterscheiden.“

„Zweitens: in Bezug auf die Möglichkeit der einfacheren Erstellung von besagten Inhalten für Laien, die üblicherweise nicht die Fähigkeit hätten, beispielweise eine glaubwürdige Fotomanipulation selbst zu erstellen. Da Modelle wie ChatGPT, Bard, oder Midjourney frei zugänglich und leicht zu bedienen sind, entsteht ein Demokratisierungseffekt beim Zugang zu solchen Möglichkeiten.“

„Drittens: durch den besagten Demokratisierungseffekt. Dadurch ist es einer größeren Anzahl an Menschen möglich, realistisch wirkende aber zum Beispiel falsche Inhalte zu erstellen, was theoretisch zu einer größeren Menge an solchen Inhalten führen kann.“ 

„Viertens: Große Sprachmodelle werden hinsichtlich ihrer Fähigkeit diskutiert, Falschinformationen zu generieren, selbst wenn die Nutzer*innen dies nicht wünschen. Sprachmodelle haben kein Bewusstsein und setzen vereinfacht gesagt basierend auf komplizierten mathematischen Verfahren bereits existierende Textstücke zusammen, um etwas zu produzieren, das so klingt, als würde eine echte Person über diese Themen sprechen – oder eben das Äquivalent mit bildlichen Inhalten. Außerdem können sie auf Trainingsdaten beruhen, die falsch sind. Deshalb besteht die Möglichkeit, dass sie entweder ‚falsche‘ Antworten ausgeben oder solche ‚halluzinieren‘.“

Dr. Philipp Müller

„Prinzipiell können Machine-Learning-Modelle nahezu alle Aspekte des Produktionsprozesses von Desinformation erleichtern. Sprachmodelle eignen sich insbesondere, um aus Stichpunkten gut lesbare Texte zu erstellen, die einen journalistischen Tonfall treffen. Personen oder Organisationen, die textbasierte Desinformation erstellen und verbreiten wollen, können so also relativ schnell und aufwandsarm professionell anmutende, sehr gut lesbare Texte erstellen.“ 

„Darüber hinaus gibt es inzwischen auch eine Reihe von Anwendungen zur Bilderstellung, die aus sprachlichen Inputs Visualisierungen erstellen. Mit solchen Bildern lassen sich Desinformations-Beiträge dann auch passend illustrieren und können so auf den ersten Blick noch glaubwürdiger wirken. Den künstlich erzeugten Bildern sieht man manchmal, aber nicht immer ihre Künstlichkeit noch an. Da die Modelle jedoch permanent hinzulernen, ist davon auszugehen, dass die Qualität der Bilder immer besser wird.“ 

„Was KI-Anwendungen jedoch nicht liefern können, sind kreative Ideen. Sie werden mit von Menschen erstellten Bildern und Texten gefüttert und können die darin enthaltenen Muster, Argumente und Ideen lediglich neu kombiniert reproduzieren. Was also auf absehbare Zeit nicht gehen wird, ist KI-Anwendungen aufzufordern, eigene Desinformationen zu einem Thema zu ersinnen und dabei eine völlig neue Idee oder ein bislang nicht gekanntes Argumentationsmuster zu erhalten.“

Prof. Dr. Andreas Jungherr

„Für die Wirkung von Falschinformationen ist die Quelle sehr wichtig. Klar können Sprachmodelle dabei helfen, viel Information ins Netz zu stellen oder vielleicht auch Sprecherinnen und Sprecher in Onlinekommunikationsumgebungen zu imitieren. Für die breite Wirkung von Falschinformation ist es jedoch entscheidend, dass sie den Weg in etablierte Medienmarken findet. Zum einen erreicht man dort noch immer das größte Publikum. Zum anderen vertrauen Leserinnen und Leser den dort aufgefundenen Informationen in der Regel mehr als Informationen von unbekannten Webseiten oder den sozialen Medien. Das reine Volumen von Falschinformationen in digitalen Informationsumgebungen muss also nicht entscheidend sein, solange etablierte Informationsmarken weiterhin in der Lage sind, durch redaktionelle Prozesse Informationsqualität zu garantieren. Dies gilt umso mehr, wenn digitale Informationsumgebungen allgemein als unzuverlässig gelten sollten, falls KI-generierte Desinformation dort als allgegenwärtig wahrgenommen wird.“

Prof. Dr. Christian Hoffmann

„Wir sollten nicht dem Irrtum erliegen, dass die Wirkung von Desinformation vor allem eine Frage des Angebots ist. Es werden heute schon sehr viel Spam und Fake News angeboten, die weitgehend wirkungslos bleiben. Es gibt diverse Einflussfaktoren auf der gesellschaftlichen, institutionellen und individuellen Ebene, die beeinflussen, ob Desinformation mehr oder weniger Resonanz erzielt. Gesellschaften oder öffentliche Diskurse sind unterschiedlich empfänglich für Desinformation. Desinformation floriert beispielsweise eher in Gesellschaften mit geringem Institutionenvertrauen, die geprägt sind von Polarisierung. Sie betrifft eher Akteure oder Organisationen, die umstritten sind und eben ein geringes Vertrauen genießen. Es sind eher Individuen, die sehr politisch involviert sind, die politisch eher an den Rändern stehen, die ein geringes Institutionenvertrauen aufweisen – bis hin zu zynischen Einstellungen – und die politisch hilfreiche Inhalte eher außerhalb etablierter Medien suchen, die besonders für Fake News empfänglich sind.“

„Nun ist das Institutionenvertrauen in Deutschland insgesamt recht hoch, Deutschland weist einen eher geringen Grad der Polarisierung auf, wir haben ein diversifiziertes Mediensystem, dem insgesamt auch vertraut wird. Das Personenpotenzial, das von politischem Zynismus und starker Polarisierung geprägt ist, ist begrenzt. Insgesamt ist daher die Anfälligkeit Deutschlands für Desinformation eher gering. An diesen Ausgangsbedingungen – der Empfänglichkeit für Fake News – ändert KI erstmal nicht viel.“

„Eine qualitative Veränderung des Desinformationsangebots auf Basis von KI, die von Relevanz sein könnte, betrifft meines Erachtens vor allem Bilder und Bewegtbild, also Video. Fake News sind heute vor allem textbasiert – zwar durchaus im Netz geteilt in Verbindung mit Bildern, beispielsweise als Meme, aber die Manipulation findet sich in der textlichen Aussage. Bildliche Manipulationen sind heute meist eher von geringer Qualität – sogenannte ‚cheap fakes‘. Das ändert sich durch KI potenziell erheblich. Irreführung durch Bild und Video wird so potenziell einfacher. Die große Unbekannte ist, wie das Publikum darauf reagiert und sich dem gegebenenfalls anpasst.“

Felix Simon

„Hierzu ist der Forschungsstand aktuell wenig belastbar und die öffentliche Diskussion zu diesem Thema beruht mehr auf Vermutungen und Befürchtungen als auf empirischen Fakten oder guten theoretischen Annahmen.“

„Auch wenn es generative KI einfacher macht, Falschinformationen zu erstellen – was wahrscheinlich zu einer Zunahme des Angebots führen wird – bedeutet dies nicht zwingend, dass sich dadurch auch der Konsum an Falschinformationen steigert, oder mehr Menschen falschen Informationen Glauben schenken werden.“ 

„Trotz der Menge und Zugänglichkeit von Mis- und Desinformation konsumiert der/die durchschnittliche Nutzer*in oft nur sehr wenig davon. Stattdessen konzentriert sich der Konsum auf einen kleinen Teil sehr aktiver Nutzer*innen, die aufgrund verschiedener Charakteristika – zum Beispiel geringes Vertrauen in Institutionen, ausgeprägte politische Neigungen – Falschinformationen vermehrt konsumieren und glauben. Die Nachfrage nach Falschinformationen ist ein Flaschenhals, an dem sich auch durch die Existenz von großen Sprachmodellen nichts ändert.“

Prof. Dr. Andreas Jungherr

„In einem ersten Schritt könnte man meinen, KI stärkt die Hand der Manipulatoren. Das greift aber zu kurz. Für wahrscheinlicher halte ich es, dass die breite Furcht vor durch KI erstellter Falschinformation in digitalen Kommunikationsumgebungen dazu führt, dass Menschen stärker nach vermittelnden Institutionen suchen, die Informationsqualität sicherstellen. Dies kann zum Beispiel der klassische Journalismus sein. Alternativ kann dies aber auch zu einer stärkeren Unterstützung von Informationsregulierung durch den Staat und entsprechender Kontrolle durch Behörden führen. Daneben besteht aber auch die Möglichkeit, dass Firmen Urheberinnen und Urhebern Verifizierungsmöglichkeiten für die von ihnen an Texten oder Bildern durchgeführten Änderungen anbieten. Damit wäre es zum Beispiel im Fall von Bildern für eine Photographin möglich, ein Bild während einer Recherche aufzunehmen, es durch eine KI im Farbschema oder Ausschnitt nachzubessern und es dann zu veröffentlichen. Leserinnen und Leser könnten dann bei Interesse die Bearbeitungsschritte nachvollziehen und sich ein eigenes Urteil über die Authentizität bilden. Damit lässt sich natürlich nicht verhindern, dass Falschinformationen kursieren, aber zumindest gibt es die Möglichkeit, die Informationsqualität anderer Inhalte zu zertifizieren.“

„Insgesamt wird die gesteigerte Sichtbarkeit von durch KI erzeugter Desinformation zu einer Stärkung von institutionellen Informationsvermittlern für die Öffentlichkeit führen. Dies birgt das Versprechen von gesicherter Informationsqualität. Gleichzeitig birgt diese Entwicklung jedoch auch die Gefahr von stärkerer zentraler Kontrolle von Informationsräumen durch prominente Medienmarken, den Staat oder Tech-Firmen.“

Felix Simon

„Generell wäre es sinnvoll, bestehende Bestrebungen zu vertiefen und die Bevölkerung darüber aufzuklären, wie korrekte Informationen ganz allgemein eingeschätzt werden können und woran sich KI-generierte Inhalte potenziell erkennen lassen. Viel bedeutsamer aus meiner Warte ist jedoch, das Vertrauen in vertrauenswürdige Quellen ganz allgemein zu stärken und Menschen dabei zu unterstützen, in ihrem Medienkonsumverhalten von vorneherein Quellen aufzusuchen, die sich der faktengetreuen Aufklärung über die Welt verschrieben haben.“

Prof. Dr. Andreas Jungherr

„Bilder bergen einerseits die Gefahr der stärkeren emotionalisierten oder affektiven Wirkung bei Betrachterinnen und Betrachtern. Gleichzeitig ist ihre Erstellung durch KIs deutlich aufwendiger als die Erstellung von Texten. Das macht Fälschungen in der Regel leichter zu identifizieren. Doch selbst wenn sich dies durch technische Entwicklungen ändern sollte, gibt es schon jetzt Möglichkeiten, die es Urheberinnen und Urhebern erlauben, die Echtheit ihrer Bilder oder den von ihnen durchgeführten Bearbeitungsprozess zu dokumentieren. Dies allein mag die Verbreitung von gefälschten Bildern nicht stoppen, gleichzeitig lassen sich so Verifizierungsstandards und -prozesse entwickeln, die es ermöglichen, die Echtheit von Bildern oder den durch sie abgebildeten Ereignissen gesellschaftlich einzuordnen. Dies hilft allerdings nur, solange es bei Kommentatorinnen und Kommentatoren und Betrachterinnen und Betrachtern ein echtes Interesse gibt, echte von falschen Informationen zu unterscheiden. Schon heute kursieren offensichtlich falsche Bilder, deren Erfolg nichts mit ihrer Faktizität zu tun hat.“

„Sicherlich erlaubt KI Anhängerinnen und Anhängern unterschiedlicher politischer oder gesellschaftlicher Gruppen beliebig viele künstliche Bilder zu produzieren, die scheinbar die Weltanschauung der jeweiligen Gruppe bestärken, ohne faktisch Ereignisse oder Geschehnisse abzubilden. Diese Bilder können unter Gleichgesinnten Anlass zum Meinungsaustausch und gegenseitiger Bestätigung geben und gegebenenfalls durchaus zur Mobilisierung beitragen. Dies ist aber vorrangig ein politisches Problem dieser Gruppen und ihrem Verhältnis zu politischen Faktenlage – und weniger ein Problem von Informationsqualität. In anderen Worten: Gruppen, die sich entscheiden, über KI-generierte Bilder zu mobilisieren, würden durch den Wegfall von KI nicht plötzlich auf Basis gesicherter Fakten argumentieren und mobilisieren. KI-generierte Bilder können so also durchaus Anlass für zukünftige Mobilisierung sein, die jeweilige Ursache liegt jedoch wahrscheinlich tiefer.“

Prof. Dr. Christian Hoffmann

„Bilder und Videos weisen auf den ersten Blick ein höheres persuasives Potenzial auf als reiner Text. Sie sprechen uns stärker auch emotional an, sie fesseln uns stärker. Sie wirken unmittelbarer. Nicht ohne Grund halten wir Bilder und Videos bisher für glaubwürdiger, weil schwieriger manipulierbar.“ 

„Das hat sich natürlich in den letzten Jahren schon verändert – wir haben heute gelernt, dass beispielsweise Fotos relativ einfach manipuliert werden können. Das gilt künftig noch verstärkt, da vermeintliche Fotos vollständig künstlich erzeugt werden können, ebenso Videos. In der Tendenz besteht hier also ein erhöhtes Irreführungspotenzial. Bisher ist das aber noch recht hypothetisch, da Deepfakes, insbesondere politische, wenig verbreitet sind. Wenn sich das ändert, ist vor allem die Frage, wie das Publikum darauf reagieren wird. Es ist möglich, dass Bilder und Videos ihre höhere Glaubwürdigkeit im Laufe der Zeit schlicht verlieren, dass die Grundskepsis gegenüber diesen Formaten also steigt. Es ist somit denkbar, dass es kulturelle Anpassungen geben wird, die die Wirksamkeit KI-basierter Desinformation eindämmen.“

„Nutzerinnen und Nutzer über die Potenziale KI-generierter Bilder und Videos aufzuklären, also digitale Medienkompetenzen zu stärken, kann helfen, ihre Vorsicht gegenüber Manipulationen zu erhöhen. Leider deutet die Forschung darauf hin, dass dadurch insgesamt die Skepsis gegenüber Medieninhalten erhöht wird – auch zuverlässigen. Es sollte immer bedacht werden, dass die Nutzenden heute ihre journalistischen Medieninhalte weit, weit überwiegend aus seriösen, zuverlässigen Quellen beziehen. Panik zu verbreiten oder generell die Skepsis gegenüber Medieninhalten zu erhöhen, ist daher ein problematischer Ansatz. Er schwächt auch oder vor allem die Aufnahme zuverlässiger Informationen im öffentlichen Diskurs.“

Dr. Philipp Müller

„Auch hier würde ich zunächst eine zurückhaltende Einschätzung treffen wollen. Sogenannte ‚Deepfakes‘, also gefälschte oder bearbeitete Videos, in denen zum Beispiel Politiker:innen scheinbar Aussagen tätigen, die diese jedoch nie getroffen haben, sind durchaus heute bereits herstellbar – und erste Beispiele dafür kursieren bereits auf Social-Media-Plattformen. Das gleiche gilt für gefälschte Bilder – man denke beispielsweise an ein vor Kurzem weit verbreitetes, gefälschtes Bild vom Papst im Hip-Hop-Kleidungsstil. Aufgrund der geringeren Übersetzungsarbeit, die unser Gehirn bei der Interpretation von Bildern – im Vergleich zu reinem Text – leisten muss, ist es durchaus richtig, dass diese bei der Verarbeitung unmittelbarere Reaktionen auslösen und weniger hinterfragt werden könnten. Bilder und Videos erscheinen uns oft unmittelbar plausibel und glaubhaft. Auch wenn es Bildfälschungen natürlich ebenfalls schon seit Anbeginn der Photographie-Geschichte gab, werden wir als Gesellschaften vermutlich erst lernen müssen, dass sie inzwischen genauso leicht und aufwandsarm gefälscht werden können wie Texte.“

„In Einzelfällen könnte es also in der näheren Zukunft durchaus zu erfolgreichen KI-generierten Bild- oder Video-Fälschungen kommen, die viel Aufmerksamkeit hervorrufen. Ich würde jedoch vermuten, dass insbesondere solche Fälschungen, die tatsächlich viel Aufmerksamkeit erhalten, auch schnell kritisch hinterfragt werden dürften. Hier ist die basisdemokratische Öffentlichkeit der Social-Media-Plattformen Fluch und Segen zugleich. Einerseits ist es relativ einfach möglich, mit einem Beitrag kurzfristig bei sehr vielen Menschen starke Reaktionen zu erzielen. Andererseits werden gerade solche Inhalte von einer Vielzahl von Nutzenden blitzschnell kritisch hinterfragt und Fälschungen werden schnell entlarvt – so auch mit dem gefälschten Papst-Bild geschehen.“ 

Angaben zu möglichen Interessenkonflikten

Prof. Dr. Andreas Jungherr: „Ich habe keine Interessenkonflikte.“

Prof. Dr. Christian Hoffmann: „Es bestehen keine Interessenkonflikte.“

Felix Simon: „Keine, die mir in diesem Kontext als relevant erscheinen würden. Ich besitze keine persönlichen, geschäftlichen oder beruflichen Beziehungen zu oder Anteile an den Akteuren und Firmen, die an der Entwicklung von LLMs arbeiten.“

Dr. Philipp Müller: „Es liegen keine Interessenkonflikte vor.“