Angebliche Verbesserungen bei der automatisierten Erkennung von Bots

Zur Frage, wie die Studie methodisch zu bewerten ist:
„Die Studie weist mehrere Mängel auf: Kürzlich konnten wir zeigen, dass Botometer nur unzuverlässig zwischen Bot und Mensch unterscheiden kann [1]. So werden viele Menschen als Bots und Bots als Menschen kategorisiert. In unserer Studie konnten wir zudem zeigen, dass nicht-englische Sprachen wie etwa Deutsch Botometer noch unzuverlässiger machen. In der vorliegenden Studie wenden die Autoren jedoch Botometer auch auf einen französischen Twitter-Datensatz an. Die Klassifizierung durch Botometer ist die Grundlage für den Hauptteil der Studie.“

„Darüber hinaus versucht die Studie zwischen klassischen Sessions von Bots und Menschen zu unterscheiden. Die intuitive Annahme der Autoren: Wenn Menschen längere Zeit auf Twitter aktiv sind, werden sich diese anders verhalten als Bots. Jetzt gibt es mehrere Probleme bei dieser Herangehensweise: Selbst, wenn die Autoren hundertprozentig richtig Bots von Menschen unterscheiden würden, was sie nicht können, definieren sie ‚Sessions‘ derart willkürlich, dass kaum noch Accounts tatsächlich untersucht werden (nur maximal 0,73 Prozent der Accounts für den französischen Datensatz). Anders gesagt: So entsprechen die Resultate kaum noch dem, was typische Twitter-Nutzung widerspiegeln würde.“

Zur Frage, wie genau Ansätze wie Botometer sind und inwiefern es problematisch sein kann, Studien auf den Ergebnissen dieser Ansätze aufzubauen:
„Machine-Learning Ansätze haben zwei grundsätzliche Probleme: Sie sind einerseits stets nur so gut wie die für das Training des Tools verwendeten Daten, das heißt wenn diese Probleme aufweisen, werden diese in die Zukunft projiziert. Oder haben eben das Problem, dass ein Algorithmus, der an englischsprachigen Tweets und Accounts trainiert wird, wesentlich schlechter bei anderen Sprachen abschneidet. Und andererseits messen solche Methoden zukünftige Bots am Verhalten alter Bots. Das bedeutet, dass Bots, die eben permanent angepasst werden, um einer Sperrung von Twitter zu entgehen, so kaum identifiziert werden können. Je älter also die Datenbasis, desto schlechter die Resultate. Eine Studie auf solchen Methoden aufzubauen, kann und muss insofern nur Hand in Hand mit händischer Validierung gehen.“

Zur Frage, inwiefern die gewonnenen Erkenntnisse bei der künftigen Bestimmung von Bots hilfreich sein können:
„Unseres Erachtens sind die Ergebnisse kaum hilfreich. So ist die grundsätzliche Idee zwar intuitiv, jedoch weist die Studie auch große Probleme auf und so kann die Frage, ob es wirklich Unterschiede zwischen Sessions von Bots und Menschen gibt, nicht beantwortet werden.“

„Wie bei vielen Studien im Forschungsbereich wird auch bei der aktuellen Studie von Pozzana und Ferrara nicht vollkommen klar, was eigentlich mit Social Bots gemeint ist und entsprechend gemessen wird. Die renommierten Autoren definieren Social Bots als Accounts, die durch Software beziehungsweise ‚künstliche Intelligenz‘ statt durch Menschen gesteuert würden. Tatsächlich könnte es sein, dass die Bot-Entwicklung in den letzten Jahren große Sprünge gemacht hat – unsere eigenen Studien zeigen jedoch, dass bis Oktober 2018 ein Großteil des frei verfügbaren Programmiercodes für Social Bots eher simplere Funktionen (zum Beispiel Links teilen oder Liken) ermöglichte und ausgeklügelte Machine-Learning Algorithmen (‚Intelligenz‘) eher selten waren [2].“

Zur Frage, wie die Studie methodisch zu bewerten ist:
„Die Autoren berufen sich auf ein Datenset zur französischen Wahl, dass auf Basis von 23 (nicht näher beschriebenen) Stichworten 16 Millionen Tweets von über zwei Millionen Accounts umfasst. Ohne die Nennung der Begriffe und Hashtags ist es schwierig, zu bewerten, ob der Datensatz den Kern des Diskurses abbildet, die Datenbasis ist in jedem Fall groß. Einschränkend ist zu beachten, dass die Daten sich auf Twitter und die von Twitter angebotene Programmierschnittstelle (API) beschränken – weder kann also auf Soziale Medien im Allgemeinen, noch auf ‚ganz Twitter‘ generalisiert werden.“

Zur Frage, inwiefern die in der Studie erwähnte Prämisse stimmt, dass die überwiegende Mehrheit von Bots auf sozialen Medien dazu verwendet wird, die öffentliche Meinung zu manipulieren:
„Da wir die Grundgesamt von Social Bots gar nicht kennen, wissen wir eigentlich nur, dass es in den letzten Jahren vor allem Forschung gab, die sich aus dieser Perspektive mit potenziell automatisierten Pseudo-Nutzern beschäftigt haben. Zudem konzentriert sich ein Großteil der Forschung auf Twitter, bildet also nur einen kleinen Teil der digitalen Welt ab. Studien zu den verwandten Begriffen ‚Astroturfing‘ oder ‚Siblings‘ hingegen adressieren eher marktwirtschaftliche Manipulationsversuche oder sogar kriminelle Aktivitäten. Auch hier zeigt sich das Problem der fehlenden theoretischen Präzision.“

Zur Frage, wie genau Ansätze wie Botometer sind und inwiefern es problematisch sein kann, Studien auf den Ergebnissen dieser Ansätze aufzubauen:
„Die Autoren haben das – von einem der Autoren mitentwickelte – Botometer über ihren Datensatz laufen lassen und jedem Account einen sogenannten Bot-Score zugeordnet: einen Wert von 0 (definitiv ein Mensch) bis 1 (definitiv ein Bot). Botometer benutzt sehr viele verschiedene Merkmale (sogenannte Features) um Twitteraccounts als wahrscheinlich automatisiert zu klassifizieren. Damit ist es wahrscheinlich simpleren Verfahren, die nur auf ein einzelnes Merkmal setzen, überlegen. Allerdings beruhen die verwendeten Merkmale (‚Features‘) auf sogenannten Trainingsdatensätzen, bei denen die verwendeten Algorithmen lernen was als ‚Social Bot‘ klassifiziert werden soll. Diese Trainingsdatensätze sind entscheidend für die Qualität der Klassifizierung. Ohne sehr große Datensätze, die gesichert Social Bots (und nicht etwa hyperaktive Teenager oder halbautomatisierte Accounts) enthalten ist schwierig, zu sagen, was genau eigentlich klassifiziert wird. Solche Datensätze sind rar und veralten schnell.“

„Ein zentrales Problem ist, dass man oft gar nicht genau weiß, was da als Social Bot betrachtet wird. Es ist daher kaum verwunderlich, dass es bei genauer Prüfung einzelner Accounts immer wieder dazu kommt, dass sich ‚sichere Bots‘ als Personen herausstellen.“

„Die theoretischen (und damit auch praktischen) Lücken einer unklaren Social Bot Definition fallen auch in der aktuellen Studie auf. Die Autoren beschrieben ‚Social Bot‘ als ‚als Accounts, die durch Software beziehungsweise ‚künstliche Intelligenz‘ statt durch Menschen gesteuert würden. Diese Definition zeigt sich in der tatsächlichen Umsetzung dann aber kaum: Verwendet wird zum einen ein Datensatz mit manuell gelabelten Spambots (definiert als Accounts, die einen bestimmten Kandidaten immer retweetet haben, oder dubiose Werbung und Links verbreitet haben – nicht sehr ‚intelligent‘ im Alltagssinne). Zudem ist der Datensatz schon etwas älter (der zitierte Text von Cresci et al. 2017 verwendet Datensets, die teilweise noch älter sind).
Weiterhin verwenden die Autoren einen Datensatz, den sie mit Hilfe des ‚Botometers‘ klassifiziert haben. Neben den offenen Fragen, was dieser Klassifikation zu Grunde liegt, warnen die Autoren selber auf der Botometer Seite vor ‚künstlichen Grenzen zwischen Bot und Mensch‘ [3], definieren hier aber alle Accounts mit einem Bot-Score von 0.53/ 1 als Bots, während Accounts mit einem Wert unter 0.4 als Menschen gelabelt werden. Das ist ein sehr schmaler Grat, der zudem theoretisch nicht begründet wird.“

Zur Frage, inwiefern die gewonnenen Erkenntnisse bei der künftigen Bestimmung von Bots hilfreich sein können:
„Die Autoren schaffen es, durch die Berücksichtigung von Interaktionsdynamiken mit verbesserter Treffsicherheit zwischen Accounts, die das Botometer als ‚Bots‘ klassifiziert oder einfachen Spambots und – wie auch immer definierten – menschlichen Accounts zu unterscheiden. Ob die ‚Bot‘-Accounts aber tatsächlich einzig und allein algorithmisch gesteuert sind, bleibt auch hier weiterhin unklar. Zudem gilt: Pseudo-User, die teilweise auch menschlich betrieben werden (sogenannte Cyborgs), oder Accounts, die nur von Menschen zu Manipulationszwecken gesteuert werden, bleiben weiterhin wahrscheinlich unerkannt.“

„Hinzu kommt: Für die Wirkung digitaler Manipulationskampagnen ist die Frage ‚bot or not‘ fast egal – andere Ansätze (etwa von Kolleg*innen der Uni Mainz, siehe [4] oder aus unserem eigenen PropStop Projekt, siehe [5]) setzen daher eher darauf hoch aktive Pseudo-User zu erkennen, die ähnliche Inhalte in großer Zahl im Netz verbreiten und damit den Diskurs verzerren – ob es nun Menschen sind oder nicht.“