Konversation mit Sprachmodellen kann politische Meinung ändern

„Ich finde die Studie sehr beeindruckend. Die Autor:innen untersuchen die Einstellungen und Meinungsänderung von über 40.000 Menschen. Die verwendeten Sprachmodelle bilden den aktuellen Entwicklungsstand ab. Außerdem sind die politischen Themen sehr divers, mit denen die Meinungsänderungen gemessen werden.“

„Die Ergebnisse sind insofern überraschend, als dass ein größeres Modell nicht automatisch überzeugender ist. Gerade, wenn man den Einfluss der Größe mit anderen Aspekten vergleicht. Die Studienergebnisse zeigen deutlich, dass spezielle Feinabstimmungen im Training (Post-Training) effektive Mittel zur Überzeugung sind. Das passt zu entsprechenden Vorarbeiten. Aber der Effekt ist größer als ich erwartet hätte. Aus Informatiksicht ist es aber grundsätzlich nicht überraschend, dass für solche Aufgaben spezialisierte System besser sind als generelle Systeme. In Hinblick auf den aktuellen Hype um künstliche Intelligenz (KI) ist es aber wichtig zur Einordnung, dass größer nicht automatisch besser ist.“

„Die Bedeutung der Informationsdichte für die Überzeugungskraft finde ich sehr beruhigend. Das ist ein wichtiges Signal und kann dabei helfen, den politischen Diskurs besser zu machen. Fakten und Beweise sind in Diskussionen hilfreich und überzeugend. Das ist eine ganz wichtige Kernbotschaft der Studie. Aufklärung kann ein wichtiges Instrument sein, um Menschen von Fakten zu überzeugen.“

„Die Autor:innen adressieren außerdem den Kompromiss zwischen Überzeugungsfähigkeit und Genauigkeit der Systeme. Die Techniken, die die Systeme überzeugender machen, machen sie auch weniger genau.Die Autor:innen schauen sich bereits bestehende Modelle an. Aussagen zu möglicher Wirkung zukünftiger Entwicklungen können daraus nicht abgeleitet werden.“

„Auch spannend ist, dass Personalisierung einen vermeintlich kleinen Effekt hatte. Die Personalisierung in dieser Studie beruht auf Selbsteinschätzungen und demografischen Daten der Teilnehmenden. Große Konzerne haben aber gegebenenfalls über Jahre hinweg Nutzendendaten gesammelt und daraus Profile erstellt. Das für ein Experiment nachzubilden, ist schwierig bis unmöglich. Insofern zeigt die Studie vor allem, dass die Personalisierung limitiert bleibt, wenn sie auf demografischen Kategorien basiert. Sie kann aber nicht zeigen, dass Personalisierung an sich nicht funktioniert.“

„Ich habe den Eindruck, dass Medieneffekte sehr komplex und schwer messbar sind. Die Debatte um die Wirkung von Personalisierung geht wieder auf das berühmte Zitat zurück: ‚Half the money I spend on advertising is wasted; the trouble is I don’t know which half.‘“

„Eine zentrale Erkenntnis der Studie ist, dass selbst Akteure mit eingeschränkten Rechenkapazitäten KI-Systeme trainieren können, die Menschen überzeugen. Die Studienlage bleibt aber uneindeutig, ob Wahlentscheidungen durch diese Art der Beeinflussung am Ende wirklich verändert werden. Eine Studie zur Beteiligung bei der US-Präsidentschaftswahl 2020 fand fast keine mobilisierenden Effekte einer großangelegten Werbekampagne [1]. Allerdings konnten in einer anderen Untersuchung aus 2015 die Wahlentscheidungen noch unentschlossener Wähler:innen in etwa einem Viertel der Fälle durch manipulierte Suchmaschinen beeinflusst werden [2].“

„Die Frage ist, wie man zeigen könnte, dass die Beeinflussung durch neue Technologien tatsächlich erfolgreicher geworden ist. Das kann man nur schwer empirisch untersuchen. Ich denke schon, dass man den Einsatz von KI auch in diesem speziellen Fall regulieren muss. Wichtiger ist außerdem, dass Journalist:innen hier aufmerksam sind – gerade mit Blick auf die Entwicklungsgeschwindigkeit. Denn sie können direkt auf einen veränderten Diskurs reagieren und gegebenenfalls gegensteuern. Außerdem ist es für sie vielleicht in manchen Fällen einfacher als für Forschende, aktuelle Entwicklungen im Blick zu halten.“

„Diese Studie ist die gründlichste und umfangreichste unabhängige Untersuchung zur Überzeugungskraft künstlicher Intelligenz (KI), die ich bisher gesehen habe. Methodisch ist das Vorgehen überzeugend. Die Studie vermittelt ein klareres Bild davon, wo die wirklichen Hebel der Überzeugungskraft von KI liegen, als wir es zuvor hatten.“

„In den Grenzen von Umfrageexperimenten halte ich die Studie für durchaus geeignet, um Aussagen über die relative Überzeugungskraft von Sprachmodellen zu treffen. Sie zeigt beispielsweise, dass dialogische Interaktionen wesentlich überzeugender sind als statische Botschaften und dass ein nicht unerheblicher Teil dieses Effekts auch einen Monat später noch sichtbar ist. Sie zeigt auch, dass Feinabstimmungen (Posttraining) und spezifische Anfragen (Prompting) die Überzeugungskraft stärker steigern können als eine einfache Skalierung der Modelle. Außerdem zeigt sie, dass Personalisierung auf Grundlage von Nutzerdaten im Schnitt nur etwa einen halben Prozentpunkt beiträgt – ein geringer Effekt.“

„Natürlich sollten wir vorsichtig sein, wenn wir diese kontrollierten Bedingungen auf reale Politik übertragen. Die Teilnehmenden werden bezahlt. Außerdem wissen sie, dass sie an einer Studie teilnehmen. Und die Modelle haben eine klare Aufgabe, ohne dass davon abweichende Anfragen eingehen. Die Autoren selbst weisen auf diese Einschränkungen hin. Sie merken beispielsweise an, dass die langen, informationsreichen Gespräche im Alltag möglicherweise nur schwer in großem Maßstab reproduzierbar sind. Die funktionieren im Experiment aber am besten.“

„Im Alltag würde ich die größten Auswirkungen in Bereichen erwarten, in denen Menschen aktiv nach Informationen suchen. Das sind etwa Gesundheit, Kaufentscheidungen, Bildung und vielleicht einige politische Themen. Dort sind Überzeugungen nicht eng mit parteipolitischen oder persönlichen Ansichten verbunden. Ein motivierter Nutzer ist dann vielleicht bereit, sich mehrere Minuten mit einer KI auseinanderzusetzen, die detaillierte Argumente und Beweise präsentiert.“

„Einerseits kann ein kurzes Gespräch mit einem leistungsfähigen Modell Meinungen im Vergleich zu einer Kontrollgruppe ändern. Andererseits braucht es Zeit, Aufmerksamkeit und eine gewissen Offenheit für Meinungsänderung, um Menschen zu überzeugen. Das sind allesamt Faktoren, die in der realen Welt höchstens begrenzt vorhanden sind.“

„Die Studie bezieht sich nur auf Großbritannien. Wir wissen nicht, inwiefern die Ergebnisse auf andere Länder übertragbar sind. Ich würde erwarten, dass wir keine allzu drastischen Unterschiede sehen würden. Zumindest nicht für Sprachen, für die mehr Trainingsdaten vorliegen und mit denen die Systeme funktionieren. Es bleibt abzuwarten, wie sehr die Effekte über einen Zeitraum von einem Monat hinweg anhalten.“

„Qualitativ gesehen sind die Ergebnisse nicht wirklich überraschend. Immer mehr Studien zeigen, dass Sprachmodelle in bestimmten Themenbereichen überzeugend sein können. Auch sind Gespräche, in denen Modelle faktenreiche, informationsdichte Aussagen tätigen, wirkungsvoller als einmalige Botschaften. Interessant ist der Zusammenhang zwischen Überzeugungskraft und Faktentreue der Modelle: Letztere nimmt umso mehr ab, desto überzeugender ein Modell ist. KI ist unter den richtigen Bedingungen in der Lage, Meinungen zu beeinflussen. Massenbeeinflussung bleibt trotzdem schwierig, besonders bei tief verankerten politischen Ansichten.“

„Die in der Studie dokumentierten Effekte sind nach den Maßstäben der politischen Kommunikationsforschung groß. Die Ergebnisse haben durchaus Aussagekraft: Die KI-Konversation ist 40 bis 50 Prozent überzeugender als eine statische Botschaft. Die Verschiebung beträgt etwa zehn Punkte im Vergleich zu einer Kontrollgruppe ohne Behandlung.“

„Die Erkenntnis zur Informationsdichte ist meiner Meinung nach eine der wichtigsten Punkte der Untersuchung. Die Modelle sind am überzeugendsten, wenn sie ihre Argumente mit einer Vielzahl von Fakten untermauern. Das deckt sich mit bisheriger Literatur: Die Konfrontation mit substanziellen Informationen und nicht nur mit emotionalen Geschichten oder persönlichen Appellen ist ein wichtiger Weg zur Überzeugung. Das sind potenziell gute Nachrichten für Akteur:innen, die eine fundiertere, faktenbasierte Debatte fördern wollen: Sprachmodelle können auf Abruf zusammenhängende, faktenreiche Argumente beisteuern. Journalist:innen, zivilgesellschaftliche Organisationen und öffentliche Institutionen könnten dies nutzen, um komplexe politische Entscheidungen verständlich zu erklären.“

„Leider gibt es einen Haken: Die Ansätze, die die Überzeugungskraft steigern, verringern systematisch die faktische Genauigkeit. In der extremsten Konfiguration für ‚maximale Überzeugungskraft‘ wird die KI zwar überzeugender, aber auch faktisch falscher. Es werden etwa 30 Prozent der Aussagen als unwahr bewertet. Man kann also nicht einfach die Überzeugungskraft erhöhen und bekommt eine bessere demokratische Debatte.“

„Für Anbieter:innen gibt es meiner Meinung nach zwei unmittelbare Schlussfolgerungen: Erstens wäre es äußerst problematisch, Modelle zu entwickeln, die speziell darauf abzielen, Meinungsänderungen zu politischen Themen zu maximieren, ohne dass es dafür solide Sicherheitsvorkehrungen gibt. Zweitens sollten Anbieter mit unabhängigen Forschenden zusammenarbeiten, um Modelle regelmäßig auf ihre Überzeugungskraft und sachliche Richtigkeit zu überprüfen. Außerdem sollten sie transparent damit umgehen, wenn eine überzeugendere Version auch irreführender ist.“

„Eines der größeren Risiken von überzeugenden Modellen besteht nicht darin, dass sie Meinungen beeinflussen. Sondern darin, dass ihre weit verbreitete Nutzung durch Regierungen, Medien und auf Plattformen das Vertrauen der Öffentlichkeit weiter untergraben könnte. Denn Menschen könnten glauben, dass alle sie manipulieren wollen. Allein das kann das demokratische Geschehen beeinflussen, unabhängig davon, ob die Modelle tatsächlich jemanden zum Umdenken bewegen.“

„Ich bin nicht der Meinung, dass wir KI als Bedrohung für die Demokratie und das öffentliche Leben betrachten sollten. Viele der grundlegenderen Gefahren liegen hier beispielsweise in der Bereitschaft politischer Eliten, demokratische Normen zu untergraben, die Rechtsstaatlichkeit zu unterminieren oder die freie Presse anzugreifen.“

„Die Ergebnisse fügen sich in einen größeren Korpus jahrzehntelanger Forschung ein, der zeigt, wie begrenzt die meisten Versuche der Massenbeeinflussung sind. So zeigen etwa Studien zu Wahlkampagnen und politischer Werbung, dass es im Schnitt trotz enormer Ausgaben nur geringe oder gar keine Auswirkungen auf die Wahlentscheidungen gibt.“

„Genauso deuten Untersuchungen zu kommerzieller Werbung darauf hin, dass die Reaktion der Verbraucher:innen viel geringer ist, als viele annehmen. Die aktuelle Studie zeigt, dass KI-vermittelte Überzeugungsarbeit in kontrollierten Umgebungen nicht trivial ist. Aber ich glaube nicht, dass sie die grundlegende Erkenntnis widerlegt, dass große, dauerhafte Veränderungen in den Einstellungen und Überzeugungen der Menschen schwer zu erreichen sind.“

„Der geringe Effekt der Personalisierung, ist besonders relevant im Zusammenhang mit den noch immer andauernden Debatten über Mikrotargeting (Werbestrategie, bei der Menschen aufgrund persönlicher Merkmale in Gruppen eingeteilt und gezielt angesprochen werden; Anm. d. Red.). Nach dem Cambridge-Analytica-Skandal gab es in den Medien die Erzählung, dass Mikrotargeting auf der Grundlage detaillierter personenbezogener Daten Wähler stark beeinflussen könne. Viele der nachfolgenden wissenschaftlichen Arbeiten waren weitaus skeptischer. Sie stellten fest, dass politisches Mikrotargeting bestenfalls geringe und kontextabhängige Auswirkungen hat. Die Effekte sinken, sobald man über einige einfache Targeting-Attribute hinausgeht. Diese neue Studie steht ganz im Einklang mit dieser Literatur: Ja, Personalisierung kann am Rande helfen, aber es gibt keine Mikrotargeting-Magie. Stattdessen kommen die großen Effekte von anderen Ansätzen. Dies ist ein weiterer Hinweis darauf, dass in der öffentlichen Debatte die Auswirkung personalisierter Werbung überbewertet wurde, verglichen mit dem, was Studien tatsächlich ergeben haben.“

„Es ist ein langer Weg von Einstellungs- zu Verhaltensänderungen. Jahrzehntelange Forschung zeigt, dass sich Veränderungen in den Einstellungen in Umfragen nicht direkt in Veränderungen der Wahlbeteiligung oder der Wahlentscheidung niederschlagen, insbesondere bei Wahlen von hoher Bedeutung. Das Wahlverhalten wird durch eine komplexe Mischung aus langjährigen Vorlieben, sozioökonomischen Bedingungen, Mobilisierung und sozialen Netzwerken außerhalb des Internets geprägt. Diese Faktoren überwiegen in der Regel den Einfluss einer einzelnen Strömung der politischen Kommunikation, unabhängig davon, ob diese durch KI generiert wurde oder nicht.“

„Die Effekte durch die KI-Konversation sind wichtig und sollten nicht außer Acht gelassen werden – insbesondere bei Einstellungen zu bestimmten Themen und möglicherweise in Bereichen wie der öffentlichen Gesundheit oder dem Klima. Wir sollten jedoch vorsichtig sein, daraus große, wahlentscheidende Schwankungen abzuleiten. Die Studie selbst macht diese Grenzen deutlich, und die inhärente Schwierigkeit der Massenüberzeugung ist nicht einfach verschwunden, nur weil wir jetzt über eine bessere KI verfügen.“

„Auf längere Sicht erscheint das Muster sehr vertraut, das wir hier bei der KI beobachten. Jede neue Kommunikationstechnologie – Radio, Fernsehen, soziale Medien, jetzt generative KI – hat Befürchtungen ausgelöst, dass sie eine beispiellose Manipulation der öffentlichen Meinung ermöglichen würde. Und jedes Mal waren die empirischen Ergebnisse gemischt. Der Einfluss verändert sich zwar, aber hauptsächlich in Bezug darauf, wer eine Stimme bekommt, welche Themen auf der Tagesordnung stehen und wie schnell Informationen verbreitet werden.“

„Gleichzeitig stellen große Sprachmodelle durchaus eine bedeutende Veränderung dar. Sie machen es kostengünstig und einfach, hochwertige und überzeugende Inhalte in großem Umfang zu generieren. Und sie führen interaktive, personalisierte Dialoge als skalierbares Format ein.“

„Ich denke, dass wir Regeln für KI-gestützte Überzeugungsarbeit brauchen, insbesondere in der Politik. Diese Regeln sollten sich jedoch hauptsächlich auf spezielle Verwendungen und Kontexte beziehen und nicht unbedingt auf das Verbot bestimmter Modelle. Was angesichts der Verfügbarkeit von Open-Source-Modellen auch schwierig zu erreichen wäre. Ansätze könnten sein: erstens klare Kennzeichnungspflichten für KI-generierte politische Inhalte und für automatisierte Gesprächsagenten, die mit Bürger:innen in Kontakt treten. Zum zweiten sind strengere Verpflichtungen für große Plattformen, koordinierte Kampagnen zu erkennen, zu kennzeichnen und möglicherweise zu stoppen – einschließlich solcher, die KI-generierte Inhalte verwenden. Außerdem sind drittens Leitplanken für Trainingsmodelle wichtig, die ausdrücklich für politische Überzeugungsarbeit entwickelt wurden. Viertens bräuchte es schließlich eine strengere Kontrolle von KI-Systemen für Verbraucher und deren Anbieter – insbesondere im Hinblick auf manipulative Modelle, die Nutzende in bestimmte Richtungen lenken.“

„Die Publikation fasst drei jeweils recht umfangreiche Teilstudien zusammen. Jede Teilstudie umfasste einige tausend Teilnehmende, die jeweils kurz mit einem großen Sprachmodell (LLM) interagierten. Die hohe Zahl der Teilnehmenden war notwendig, da diverse Aspekte variiert und damit untersucht wurden: der Umfang der LLMs, unterschiedliche Trainingsansätze für die LLMs und schließlich unterschiedliche Überzeugungsstrategien. Bei so großen Stichproben überschreiten jedoch auch sehr kleine Effekte schnell mal die Schwelle zur statistischen Signifikanz.“

„Die Teilnehmenden wurden auf einer Plattform rekrutiert, auf der Menschen für die Teilnahme an Studien bezahlt werden. Es handelt sich daher um relativ befragungserfahrene Personen. Die Stichprobe ist eher jung und umfasst relativ viele Frauen. Ergebnisse können also nur bedingt auf den Alltag und die Gesamtbevölkerung übertragen werden.“

„Die Interaktionen der Teilnehmenden mit dem LLM zu der jeweils behandelten politischen Aussage waren kurz. Daher sind keine großen Überzeugungseffekte zu erwarten. Um dem zu begegnen, nutzten die Autoren ein sehr kleinteiliges Maß, das Zustimmung auf einer 100-Punkt-Skala misst. Damit können auch kleine Veränderungen erfasst werden. Allerdings stellt sich die Frage, wie aussagekräftig diese sind. Die meisten Teilnehmer werden zu den behandelten Themen keine so differenzierte Meinung haben, dass eine Zustimmung von 75 sinnvoll von einer 80 oder 85 unterschieden werden kann. Eine Veränderung der Zustimmung vor und nach dem Austausch mit dem LLM um einige Skalen-Punkte bedeuten letztlich wohl keine nennenswerte Veränderung der politischen Sichtweise.“

„Die Überzeugungskraft eines LLMs wurde durch den prozentualen Unterschied der durchschnittlichen Zustimmung zu den politischen Aussagen zwischen den Gruppen gemessen. Eine Gruppe war im Austausch mit einem LLM und eine Kontrollgruppe sah nur eine statische Botschaft. Eine durchschnittliche Differenz von nur wenigen Punkten zwischen den Gruppen führt damit zu den in der Studie als substanziell beschriebenen Prozentgrößen. Diese Veränderungen sind somit sehr klein und schwierig zu interpretieren. Ich würde nicht wagen zu behaupten, dass Versuchsteilnehmende hier wirklich nennenswert ihre Meinung verändert haben. Studie 1 zeigt dann auch, dass ein Großteil der Überzeugungswirkungen nach einem Monat nicht mehr gemessen werden kann.“

„Die Studie zeigt, dass große LLM ein wenig überzeugender wirken als kleine. Dieser Effekt ist jedoch relativ unbedeutend verglichen mit dem Effekt eines besseren Trainings des LLMs. Unter den betrachteten Überzeugungsstrategien wirkte die Bereitstellung von Information und eine strukturierte Debatte am stärksten, Personalisierung am wenigsten stark. Im Falle der Bereitstellung von Informationen stellen die Autoren jedoch fest, dass die Qualität beziehungsweise Zuverlässigkeit der durch die LLMs generierten Inhalte abnimmt, je mehr Argumente sie produzieren.“

„Menschen sind gerade bei politisch strittigen Themen nicht einfach zu überzeugen. Wenn sie bereit sind, neue Informationen aufzunehmen, passen sie ihr Wissen durchaus an – nicht aber unbedingt auch ihre Einstellungen.“

„Schon beim Aufkommen der sozialen Medien bestand die Angst, dass Menschen hier leichter beeinflusst werden könnten, wenn Botschaften basierend auf Analysen großer Datenmengen personalisiert würden. Für diese Annahme fehlt weitgehend die Evidenz. Dasselbe Muster sehen wir nun bei LLMs. Auch hier herrscht die Angst, dass diese besonders überzeugend oder manipulativ wirken könnten, wenn sie viel über die Nutzer lernen. Auch hier steht der Beweis für diese Annahme noch aus.“

„Wir überschätzen gemeinhin die Wirksamkeit von Personalisierung. Personalisierte Werbung funktioniert vor allem dann, wenn Personen schon sehr nahe am Kaufvorgang sind. Wenn ich also ohnehin ein Produkt kaufen wollte und ich sehe nochmal eine Werbung dafür, kann mich das zum Kaufabschluss bewegen. Die Vorstellung ist in der Regel aber falsch, dass ein Wunsch oder ein Bedürfnis nach einem Produkt durch personalisierte Werbung erzeugt oder eine Produktpräferenz durch diese stark verändert werden kann. Insofern ist Personalisierung nicht wirkungslos. Sie ist aber in ihrer Wirksamkeit sehr begrenzt. Das gilt erst recht für den politischen Kontext. Der Clou der Personalisierung ist letztlich, dass der Inhalt sich immer besser dem anpasst, was die betroffene Person ohnehin schon denkt oder mag. Eine stark personalisierte Werbung unterstützt also eher was schon da ist, als dass sie etwas neues erzeugt.“

„Mit Blick auf die aktuelle Studie mag beruhigen, dass die Überzeugungseffekte sehr klein sind und vor allem die Bereitstellung von Information überzeugend wirkt. Andererseits ist eher besorgniserregend, dass die Zuverlässigkeit der durch LLMs bereitgestellten Informationen noch immer recht gering sein kann. Das Generieren von Sprache ist eben nicht dasselbe wie das Generieren von Information. Die Anbieter sollten deutlicher transparent machen, dass ihre Modelle inhaltlich nur bedingt zuverlässig sind.“

„Es gibt keine Befunde zu Langzeiteffekten von Interaktionen mit LLMs. Ich bezweifle aber, dass Studien zur Wirksamkeit von Konversationen mit Mitmenschen auf LLMs übertragen werden können. Wir passen durchaus manchmal unsere Überzeugungen unseren Mitmenschen an, weil wir von diesen gemocht werden wollen. Genau diese wichtige soziale Dynamik fehlt aber beim Austausch mit einem LLM. Anekdotische Evidenz zeigt bisher, dass sich LLMs im Laufe der Zeit stark ihren Nutzern anpassen, nicht umgekehrt.“