Zweifel an Daten aus COVID-19-Studien

„Der Prozess des Peer Review ist weder in der Lage, noch zielt er vom Wesen her darauf ab, die Qualität zugrundeliegender Daten zu prüfen. Zum einen liegen diese den Reviewern – und dann später den Lesern der Arbeiten – gar nicht vor. Dies ist einer der Gründe, warum die Offenlegung und zur Verfügungstellung von Originaldaten (‚Open Data‘) so wichtig ist, aber gerade im klinischen Bereich oft aus datenschutzrechtlichen Gründen sehr schwierig ist. Reviewer haben auch gar nicht die Zeit – es handelt sich um ein unbezahltes ‚Ehrenamt‘ – sich so intensiv mit den Arbeiten auseinander zu setzen. Häufig bleibt es bei einer Art ‚reality check‘ der wissenschaftlichen Frage, der verwendeten Methodik, und der Resultate. Nur wirklich grobe Verstöße fallen da mit großer Wahrscheinlichkeit auf. In Zeiten einer Pandemie, in der Wissenschaftler und Journale versuchen unter extremem Zeitdruck zu publizieren, ist der Review-Prozess, der dann unter dem gleichen Zeitdruck steht, noch weniger in der Lage Fehler und Manipulationen zu erkennen. Leider gilt derzeit wohl das Motto: ‚Schlechte Daten sind besser als keine Daten‘, wo es doch im Gegenteil heißen müsste ‚Schlechte Daten sind nicht besser als keine Daten!‘. Hierbei handelt es sich um ein hervorragendes Beispiel für den Schaden, den überhastete Wissenschaft hervorrufen kann, die Qualitätsmaßstäbe mit dem Argument ‚Wir dürfen keine Zeit verlieren‘ herabsetzt.“

„Nur die krassesten Formen von Betrug fliegen im Prozess des Peer Review auf, und dies auch nicht mit Sicherheit. Wenn sie überhaupt ans Tageslicht kommen, dann nach Publikation durch Experten in der Leserschaft, die sich die Zeit nehmen, aus einer Arbeit Resultate zu extrahieren, häufig sogar unter Verwendung eines Zentimetermaßes und die Werte händisch in ein eigenes Spreadsheet übertragen – da die Originaldaten nicht zur Verfügung gestellt werden. Oder Abbildungen einscannen und mit eigener Software untersuchen und damit Vergleiche mit der Literatur anstellen. Auf Kommentarwebseiten wie PubPeer, oder auch auf Twitter kommt dann häufig eine Diskussion in Gange, und andere Wissenschaftler beteiligen sich an der Suche nach weiteren Problemstellen. Häufig wird dies als Beleg dafür genommen, dass Wissenschaft sich selbst korrigiert. Im Prinzip ist das richtig, aber es dauert sehr lange, stellt dem Peer Review kein gutes Zeugnis aus, und deutet auf ernstzunehmende Qualitätsprobleme in der Wissenschaft hin.“

„In der Biomedizin haben wir schon vor Corona eine intensive Diskussion geführt, um mehr Transparenz, höhere Studienqualität, Veröffentlichung auch von Negativresultaten und so weiter. Wie unter einem Vergrößerungsglas und zeitlich komprimiert führt uns die Corona-Krise gerade vor, wie wichtig Qualitätssicherung in der Wissenschaft ist. Weil wissenschaftliche Erkenntnis zur Pandemie gerade so wahnsinnig wichtig ist und unter hohem Zeitdruck steht, meinen wohl manche Wissenschaftler, dass man es mit den Regeln guter wissenschaftlicher Praxis derzeit nicht ganz so genau nehmen muss. Das Gegenteil ist aber der Fall, die Daten müssen umso verlässlicher sein, je größer die Tragweite der Entscheidungen ist, die auf dieser Basis getroffen werden. Dennoch gibt es momentan jede Menge Studien mit schlecht erhobenen oder unzureichenden Daten, die in dem Glauben veröffentlicht werden, damit etwas Gutes zu tun.“

„Die Frage, was der Prozess des Peer Review beziehungsweise der redaktionelle Prozess im Allgemeinen erkennen können sollte, ist seit Jahrzehnten ein Diskussionsthema [1]. Ausgehend von der Besorgnis über Fehlverhalten in der Wissenschaft in den 1980er Jahren haben Kommentierende den Peer Review Prozess als einen selbstregulierenden, filternden Mechanismus in der Wissenschaft hingewiesen und damit eine externe Kontrolle vermieden. Andere, vor allem Zeitschriftenherausgeber und Verleger, haben jedoch schnell bemerkt, dass Peer Review ‚weder dafür konzipiert noch dafür vorgesehen war‘. Sie weisen auf die Tatsache hin, dass Gutachter nie ‚am Tatort‘ sein können und daher nur begrenzt in der Lage sind, Fehler oder vorsätzlichen Betrug zu erkennen.“

„In diesem speziellen Fall hatten die Gutachter wohl alle notwendigen Informationen, um Ungereimtheiten zu erkennen, so wie es auch andere Kommentatoren nach der Veröffentlichung des Manuskripts taten. Insbesondere angesichts des hohen Status der Zeitschriften, in denen diese Ergebnisse erschienen sind, erwarten die Leser wahrscheinlich eine gründliche Qualitätskontrolle, zum Beispiel durch engagierte Statistikgutachter.“

„Im Allgemeinen sind die Erwartungen an die Begutachtung durch Fachkollegen Gegenstand erheblicher Diskussionen. In den vergangenen Jahren hat es jedoch redaktionelle Neuerungen gegeben, die darauf abzielen, das System immer besser in die Lage zu versetzen, Fehler zu erkennen und Betrug zu filtern. Neue Formate der Begutachtung, darunter ‚registrierte Berichte‘, und die Einführung (halb-)automatisierter Scanner für Statistiken, Plagiate und Bildmanipulationen haben dazu geführt, dass Gutachter und Editoren zunehmend in der Lage sind, problematische Forschungsarbeiten zu überprüfen [2]. Dennoch sind ihre Möglichkeiten begrenzt, und wir sollten definitiv nicht erwarten, dass das System undurchlässig für Fehler, schlampige Wissenschaft oder Betrug ist.“

„Der Prozess der Wissenschaft ist immer ein Prozess gewesen, in dem neue Aussagen gemacht, überprüft, korrigiert und gewöhnlich durch neue, präzisere Aussagen ersetzt werden. Es ist ein Prozess von Versuch und Irrtum, in dem es viel Mühe kostet, die Wissenschaftler zu einer Einigung oder einem Konsens zu bringen. Dies wird in der gegenwärtigen Krise sehr deutlich, da neue Erkenntnisse sehr schnell, oft noch bevor der Prozess der Überprüfung und Korrektur überhaupt begonnen hat, durch die Veröffentlichung von Preprints für ein breites Publikum sichtbar gemacht werden. Darüber hinaus führen die Ergebnisse sehr schnell zu politischen oder klinischen Anwendungen. Die Geschwindigkeit, mit der die Qualitätssicherung durchgeführt wird, kann im Spannungsfeld mit der Geschwindigkeit der Verbreitung und Aufnahme neuer Studien stehen. Das könnte der öffentlichen Wahrnehmung der Wissenschaft einen gewissen Schaden zufügen. Das zeigt aber auch, wie Wissenschaft betrieben wird, indem sie die Menschen über den wissenschaftlichen Prozess und die ihm innewohnenden Unsicherheiten informiert.“

„Das, was im Zusammenhang mit klinischen Studien ‚hoher administrativer Aufwand‘ genannt wird, dient dazu, schlechter Datenqualität und Betrug in der Wissenschaft entgegenzuwirken. Es ist mühselig, die Echtheit von Daten nachzuweisen und zu überprüfen. Dazu gehören Plausibilitätschecks und Quelldaten-Verifizierung. So etwas ist im Rahmen eines ehrenamtlichen Peer Reviews allenfalls ansatzweise leistbar. Betrug ist in einem solchen Prozess kaum zu entdecken. Natürlich hätten manche Ungereimtheiten auffallen können und vielleicht auch sollen, zum Beispiel eine in Teilen auffällig geringe Variabilität der berichteten Daten.“

„Leider ist es gerade Mode geworden – auch in der Politik – die Mühsal der Qualitätssicherung den klinischen Studien und nicht der eigentlichen Ursache (siehe oben) anzulasten und alternativ auf die vermeintliche Lösung ‚Big Data‘ zu setzen. Situationen, in denen ein großer medizinischer Bedarf konstatiert wird, sind dafür besonders anfällig. Bezeichnenderweise lässt einer der Autoren der beiden Studien durch einen Sprecher erklären, dass die Firma ihre Arbeit nur mithilfe von künstlicher Intelligenz und maschinellem Lernen bewältigen könne.“

„Wir wären alle gut beraten, bei Fragen zu Nutzen und Schaden von medizinischen Interventionen zur Behandlung von COVID-19 auf die Ergebnisse qualitativ hochwertiger klinischer Studien zu warten und solche ‚Big Data‘ Analysen einfach als das zu nehmen, was sie sind: im besten Fall unsicher, häufig falsch. Das sollten medizinische Entscheidungsträger und auch die medizinischen Fachzeitschriften beherzigen, allein schon deshalb, um nicht in eine solch peinliche Lage zu geraten.“

„Der Prozess des Peer Review ist das Standardverfahren, um die wissenschaftliche Qualität von Veröffentlichungen zu prüfen. Dafür werden von den Journalen Experten gesucht, die meist innerhalb weniger Tage eine Beurteilung abgeben und in der Regel Verbesserungsvorschläge machen. Wie gut dieser Review Prozess funktioniert, hängt von einer ganzen Reihe von Faktoren ab: Wie viele Experten werden involviert? Haben die Experten ausreichende Erfahrung zu den verschiedenen Aspekten der Veröffentlichung, zum Beispiel automatische Datenextraktion aus elektronischen Patientenakten, statistische Verfahren? Haben die Experten eigene Interessen im Zusammenhang mit der Veröffentlichung? Ist genug Zeit für ein kritisches Review?“

„Das Verfahren erfährt in der COVID-19-Pandemie einen Stresstest durch die große Geschwindigkeit, mit der unzählige Veröffentlichungen begutachtet werden sollen. Ein Teil dieser Studien ist bereits auf Preprint-Servern vorveröffentlicht und Gegenstand breiter Debatten in der Öffentlichkeit, was den Druck auf die Gutachter weiter erhöht. Außerdem ist die genaue Beurteilung komplexer Studien sehr arbeitsaufwändig und wird von den Gutachtern zusätzlich zur regulären Arbeit geleistet. All das sind Faktoren, die dazu führen können, dass Gutachter wesentliche Probleme übersehen.“

„Fehler in der Datenerhebung sind im Gutachtenprozess extrem schwer zu erkennen. In der Regel ist das nur dann möglich, wenn die präsentierten Daten in sich unschlüssig oder grob unplausibel sind.“

„Im Rahmen der COVID-19-Pandemie erleben wir an vielen Stellen, wie sonst übliche Standards ausgehebelt werden. Das beginnt mit dem massenhaften Einsatz – durchaus in bester Absicht – von nicht geprüften Therapieverfahren, wie zum Beispiel Hydroxychloroquin, außerhalb von klinischen Studien. Das setzt sich fort mit einer großen Zahl von Veröffentlichungen letztlich nicht aussagefähiger Studien in wissenschaftlichen Journalen. Und am Ende der Skala steht die Verbreitung von fehlerhaften Daten und Ergebnissen. Die negativen Folgen für die medizinische Versorgung der Bevölkerung können enorm sein. Selbstverständlich schadet das auch der Wissenschaft insgesamt erheblich.“

„Die Diskussion um möglicherweise gravierende Fehler in hochrangigen Veröffentlichungen zeigt, dass auch im Rahmen der COVID-19-Pandemie übliche Standards der Wissenschaft nicht außer Kraft gesetzt werden sollten.“

„Es ist in der Tat sehr ernüchternd, dass diese Unstimmigkeiten weder im Peer Review, noch im editoriellen Prozess der Journale aufgefallen sind. Gerade bei so hochrangigen Zeitschriften wie ‚The Lancet‘ und dem ‚NEJM‘ sollte so etwas nicht vorkommen. Hier müssen die entsprechenden Fachzeitschriften jetzt rigoros prüfen, wie es dazu gekommen ist, und entsprechende Maßnahmen einleiten, damit so etwas in Zukunft nicht mehr vorkommt. Besonders dramatisch finde ich, dass dies bei Studien passiert ist, von denen klar war, dass sie eine so große Bedeutung für das Management der Pandemie weltweit haben. Hier hätte ich 200 prozentige Sorgfalt erwartet. Das einzig Positive, das ich dieser Sache abgewinnen kann, ist, dass die Fachzeitschriften jetzt sehr schnell reagiert haben, und die entsprechenden Publikationen seit gestern zurückgezogen sind.“

„Der Prozess des Peer Review ist meines Erachtens nach ein sinnvoller Prozess der Qualitätssicherung in der Wissenschaft. Aber er kann leider nicht garantieren, dass Fehler in der Datenerhebung und/oder -analyse immer konsequent entdeckt werden. Hierfür wäre im Idealfall ein Zugriff auf die Primärdaten sowie den statistischen Analyse-Code notwendig. Hiervon sind wir leider in den meisten Fällen noch weit entfernt. Auch wäre eine tiefgehende Prüfung von zugrundeliegenden Daten und Analysen sehr aufwendig. Da das Peer Review in der Regel freiwillig durch Wissenschaftler ohne entsprechende Honorierung oder akademische Anerkennung erfolgt, findet meist eher eine Prüfung der Plausibilität und angemessenen Interpretation statt.“

„Aufgrund der Studien, die mittlerweile zurückgezogen wurden, wurde in laufenden Studien die Behandlung mit Cloroquin/Hydroxychloroquin pausiert beziehungsweise Studien abgebrochen. Das macht klar, dass wichtige Studien die Forschung und damit den wissenschaftlichen Fortschritt wesentlich beeinflussen können. Im Prinzip ist das ja auch wünschenswert: Wenn eine große, gut gemachte Studie zeigt, dass ein Therapieansatz nicht funktioniert, sollten wir diesen nicht noch in vielen weiteren kleineren Studien an Patienten untersuchen. In diesem konkreten Fall ist das allerdings sehr unglücklich gelaufen, da aufgrund der Ergebnisse der Studien, die jetzt zurückgezogen wurden, Forschung pausiert oder gar abgebrochen wurde. Für die Wahrnehmung der Qualität und Vertrauenswürdigkeit der Wissenschaft in der Öffentlichkeit ist dies natürlich fatal.“

„Ich glaube, dass editorielle Qualitätssicherungs- und Peer Review Prozesse immer hohe Standards anlegen sollten, unabhängig davon, ob die Datenerhebung durch eine private Firma oder eine Arbeitsgruppe an einer Universität erfolgt ist. Fehler können überall auftreten. Wichtiger erscheint mir, auf Systemebene Verbesserungen des allgemeinen Prozesses anzustreben, zum Beispiel Training und Ausbildung für Peer Reviewer, angemessene akademische Honorierung des Peer Review, Etablierung von automatisierten Ansätzen zur Kontrolle von Vollständigkeit der notwendigen Informationen und Konsistenz- und Plausibilitäts-Checks. Der Pool an guten Peer Reviewers ist begrenzt; insofern müssen wir innovativ darüber nachdenken, wie ein Peer Review in der Zukunft aussehen kann.“

„Wir erwarten, dass Peer Reviewer die Daten in Forschungsarbeiten begutachten können und dies auch tun, und nicht nur die von den Autoren gemachten Schlussfolgerungen. Dazu müssen die Gutachter aber, soweit möglich, Zugang zu den Primärdaten zu einer Studie haben. Dies kann bei klinischen Daten ungemein kompliziert werden, da die Privatsphäre des Patienten geschützt werden muss und eine Weitergabe an dritte – die Peer Reviewer – oder gar die Öffentlichkeit durch Publikation diese gefährden könnte.“

„Nichtsdestotrotz können Unstimmigkeiten – innerhalb einer Arbeit, oder im Vergleich mit anderen Arbeiten/Daten – auch manchmal ohne Zugriff auf Primärdaten zutage treten. Und Journale erwarten von den meist drei Gutachtern, dass solche auch hervorgehoben werden.“

„Ein transparenter Peer Review Prozess (das heißt, die Publikation der referee reports and des editoriellen Diskurses mit den Autoren zusammen mit der Arbeit), wie wir ihn bei den EMBO Press Journalen pflegen, ist wichtig, um nachvollziehen zu können, ob solche Argumente in diesem Fall gebracht wurden. Weiterhin hilft es, eine Diskussion zwischen den Gutachtern anzustreben, da so oft subtile Unstimmigkeiten erst zutage treten.“

„Der Zugriff auf Primärdaten für Gutachter, ohne deren Anonymität zu untergraben, muss, soweit möglich, gewährleistet sein. Und die publizierten Arbeiten sollten, wo immer möglich, Zugriff auf anonymisierte Daten erlauben, damit qualifizierte Fachleute unabhängige Nachanalysen erstellen können. Es wird in der Forschung immer mehr Wert auf ‚open science‘ gelegt, womit der offene Austausch von Primärdaten gemeint ist. Die infrage gestellten Arbeiten haben ungemein wichtige medizinische Implikationen – unter anderem sind dadurch wichtige klinische Studien verzögert und infrage gestellt worden. Dies zeigt, wie wichtig der Zugriff auf Primärdaten ist, aber auch wie schwierig dies bei medizinischen Daten sein kann, insbesondere bei Meta-Analysen, die auf multiplen Datenquellen beruhen, wie in den besagten Fällen.“

„Es handelt sich in dem aktuellen Fall um aggregierte Daten aus verschiedenen Studienzentren. Dem ‚retraction statement‘ [VII] nach zu urteilen, hatten nicht einmal drei der vier Autoren Zugriff auf die Primärdaten. Journale erwarten explizit, dass alle Autoren die Daten analysiert haben und somit die Qualität der publizierten Daten gewährleisten. Journale müssen Autoren vertrauen, dass dies der Fall ist. Hier war es nicht der Fall, aber das Journal sowie drei der vier Autoren haben sehr schnell die richtige Konsequenz gezogen, die Arbeit schon vor einer Nachanalyse zurückzuziehen. Die Wissenschaft hat sich effizient selber korrigiert.“

„Jedes Mal wenn eine hochakute Arbeit zurückgezogen werden muss, ist das schädlich für die öffentliche Wahrnehmung der Forschung. Aber man sollte sich vor Augen führen, dass, auch wenn möglicherweise Probleme schon vorher zutage hätten treten können, in diesem konkreten Fall die wissenschaftliche ‚community‘, das Journal, aber auch Ko-Autoren der Arbeit ungemein schnell und entschlossen gehandelt haben. Eine weitere unabhängige Analyse der Daten ist jetzt unerlässlich, um Gewissheit zu schaffen, ob die Daten verlässlich sind.“

„Hochkarätige medizinische Forschung findet häufig im privaten Sektor statt. Es ist im Prinzip zu begrüßen, wenn solche Daten durch Publikation mit der Öffentlichkeit geteilt werden, da dies insgesamt die Forschung deutlich voranbringt. Selbstverständlich treffen darauf genau die gleichen Regeln zu, und als Journal machen wir keine Ausnahmen, wenn zum Beispiel patentstrategische Bedenken aufkommen, Daten zu teilen: Dann kann eine Arbeit leider nicht publiziert werden. Wir beobachten eine ähnliche Rate von Problemen mit Forschungsintegrität im privaten und öffentlichen Sektor und unabhängig der spezifischen Forschungseinrichtung. Wir haben auch schon sehr gute Erfahrung gemacht mit der Aufarbeitung von Datenintegritätsproblemen durch Pharmaunternehmen – ich glaube, dass möglicherweise die Qualitätssicherungsprozesse dort oft besser ausgebildet sind; auch sind die ‚stakes‘ einfach viel höher, wenn die Glaubwürdigkeit einer ganzen Firma auf dem Spiel steht.“