Leitfaden zur kritischen Betrachtung von Studien über Social Bots
Das Thema der Social Bots zieht seit 2016 immer wieder gesellschaftliche und politische Aufmerksamkeit sowie mediale Berichterstattung auf sich. Das Thema ist dabei mit einer großen Unsicherheit behaftet, da sich kaum nachweisen lässt, welchen Einfluss mögliche Bots auf gesellschaftliche und politische Diskurse haben und es außerdem sehr schwer ist, verlässlich eventuelle Bots von menschlichen Nutzern zu unterscheiden. Hinzu kommt, dass bei diesem Thema oft verschiedene Definitionen von Bots oder Social Bots verwendet werden.
Zur Verwirrung trägt bei, dass Studien und angebliche neue Befunde insbesondere zur Verbreitung von Social Bots oft unreflektiert weiterverbreitet und nicht kritisch hinterfragt werden – was angesichts der oben erwähnten Probleme aber nötig ist.
Das jüngste Beispiel ist eine Pressemitteilung der Carnegie Mellon University vom 20. Mai 2020, nach der Forscher unter anderem herausgefunden haben wollen, fast die Hälfte der Twitter-Accounts, die über Corona und insbesondere die „Reopen America“ Debatte tweeten, seien Bots [1]. Diese Befunde wurden in vielen englischsprachigen, aber auch einigen deutschsprachigen Medien unreflektiert weiterverbreitet, zum Teil mit dem Zusatz, eine Studie hätte dies herausgefunden. Allerdings gibt es weder Daten noch eine Studie oder ähnliches zu den Befunden – nur die Pressemitteilung. Nachdem sich die Meldungen international verbreiteten, haben sich auch verschiedene Expertinnen und Experten mit Expertise in den Bereichen Bot-Forschung und Desinformation auf Twitter zu Wort gemeldet, die Befunde angezweifelt und bemängelt, die Behauptungen seien aufgrund fehlender Beweise nicht nachprüfbar. Trotzdem hat sich die Nachricht weiterverbreitet.
Aus diesem Grund möchten wir hier einen Katalog mit vier kurzen Leitfragen zur Verfügung stellen, die man bei der Berichterstattung über neue Studien und Erkenntnisse zum Thema Social Bots beachten sollte. Außerdem hängen wir eine kurze Liste der Twitter-Accounts von Expertinnen und Experten an, die sich mit dem Thema beschäftigen oder sich zu der Pressemitteilung der Carnegie Mellon University geäußert haben.
Kritische Fragen
Gibt es eine Studie und wurde sie einem Peer Review unterzogen?
Auch wenn ein Peer Review keine Garantie für eine gute Studie ist, sollte man bei Studien ohne Peer Review und insbesondere bei Meldungen, bei denen die zugrundeliegende Studie und/oder die Daten nicht einsehbar sind, besonders vorsichtig sein.
Wie werden Social Bots oder Bots im gegebenen Kontext definiert?
In verschiedenen Kontexten und Studien wurden Bots beziehungsweise Social Bots in der Vergangenheit oft sehr unterschiedlich definiert:
Das Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB) definierte 2017 Social Bots beispielsweise so: „Social Bots sind Computerprogramme, die eine menschliche Identität vortäuschen und zu manipulativen Zwecken eingesetzt werden, indem sie wie Menschen im Internet kommunizieren (Bilton 2014; Fuchs 2016; Woolley und Howard 2016a, 2016b; Voß 2016). Echte Menschen, die mit dem Social Bot kommunizieren, nehmen diese nicht als durch Algorithmen ausgelöste automatische Kommunikation, sondern als echte Internetteilnehmer wahr und sind sich der Manipulation nicht bewusst.“ [2, S. 4]
Das Tool „Bot Sentinel“ hingegen versucht, entgegen der durch den Namen des Tools geweckten Erwartungen, „inauthentic accounts“ zu identifizieren, die auch von Menschen betrieben werden können: „Inauthentic accounts are nefarious individuals pretending to be something they are not to deceive their followers and audience, or automated accounts (bots) developed to behave as humanly as possible with the intent to deceive. Bad actors use inauthentic accounts to sow discord and cause chaos on social media platforms, and they are often used to engage in targeted harassment and toxic trolling.“ [3]
Beim Tool „Botometer“ wird eine sehr breite Definition von Social Bot verwendet: „We broadly define a social bot as a social media account controlled at least in part through software.“ [4]
Aufgrund dieser sehr unterschiedlichen Definitionen können sich Ergebnisse und Implikationen von Studien stark unterscheiden.
Wie wird ermittelt, ob ein Account ein Bot ist?
Viele der häufig verwendeten Methoden – wie Botometer oder das anfänglich zum Teil verwendete „Oxford-Kriterium“, bei dem Nutzer mit über 50 Tweets am Tag als Bots klassifiziert werden – sind ungenau und stehen in der Kritik [vgl. 5]. Nach aktuellem Stand der Forschung gibt es kein sicheres Mittel, um zu prüfen, ob ein Account ein Bot ist, nur Annäherungen. Diese Unsicherheit sollte idealerweise auch in der Studie kommuniziert werden.
Wie haben sich Kenner der Materie dazu geäußert?
Neue Studien und Schlagzeilen zum Thema Social Bots werden insbesondere auf Twitter oft schnell kommentiert. Durch eine schnelle Recherche oder Nachfragen können oft erste Einschätzungen eingeholt werden.
Manchmal kann es sich auch lohnen, einzelne in der Studie als Bots angegebene Accounts zu überprüfen, zum Beispiel anzuschreiben oder das Profil genauer zu betrachten. Dabei kann man zwar nur stichprobenhaft und näherungsweise prüfen, ob die Accounts wirklich Bots zu sein scheinen, das kann aber auch schon Rückschlüsse auf die Plausibilität der in der Studie getätigten Behauptungen zulassen.
Twitter Accounts von deutschsprachigen Wissenschaftlern, die sich mit dem Thema Bots befassen und auf Twitter äußern
Accounts von internationalen Forschern und Sicherheits-Experten, die sich zur Pressemitteilung der Carnegie Mellon University geäußert haben
Alex Stamos, zum Beispiel hier.
Nathaniel Gleicher, zum Beispiel hier.
Kate Starbird, zum Beispiel hier.
Darius Kazemi, zum Beispiel hier.
Renee DiResta, zum Beispiel hier.
Literaturstellen, die vom SMC zitiert wurden
[1] Young VA (2020): Nearly Half Of The Twitter Accounts Discussing ‘Reopening America’ May Be Bots. Carnegie Mellon University.
[2] Kind S et al. (2017): Thesenpapier zum öffentlichen Fachgespräch »Social Bots – Diskussion und Validierung von Zwischenergebnissen« am 26. Januar 2017 im Deutschen Bundestag. Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB).
[3] Bot Sentinel (2020): What are inauthentic accounts? FAQ.
[4] Botometer (o.J.): What is a social bot? FAQ.
[5] Rauchfleisch A und Kaiser J (2020): The False Positive Problem of Automatic Bot Detection in Social Science Research. Berkman Klein Center Research Publication No. 2020-3.
Weitere Recherchequellen
Roth Y et al. (2020): Bot or not? The facts about platform manipulation on Twitter. Twitter Blog.
Graf A (2020): Wie Menschen zu Bots werden. Spektrum.
Science Media Center (2020): Angebliche Verbesserungen bei der automatisierten Erkennung von Bots. Research in Context.