Qualität von Forschung und Publikationen zu COVID-19 – wie sichern wir sie?

„Als Lehrstuhlinhaber für Evidenz-basierte Toxikologie interessiert mich besonders, wann man Wissenschaft trauen kann und wann nicht.“

„Die Abwägung von Qualität und Geschwindigkeit ist ein grundsätzliches Problem der Wissenschaft, insbesondere wenn sie Politik und das öffentliche Gesundheitswesen informieren soll. Ich war Mitorganisator der von 350 Personen entwickelten Brussels Declaration zu dem Thema [1].“

„Natürlich leidet die Qualität von Wissenschaft bei Zeitdruck. Aber die Gesellschaft erwartet Antworten in Zeiten der Krise. Besser von einem mediokren Wissenschaftler informiert werden als vom Freund auf Facebook. Wir als Wissenschaftler können nicht Milliarden an Steuergeldern kassieren und uns dann in einer Krise in unseren Elfenbeinturm zurückziehen. Alles in Ruhe tun, kommt sicher zu spät. Das erinnert an den Medizinerwitz, der Pathologe weiß alles, aber zu spät.“

„Auch wenn wir notgedrungen etwas schneller schießen, gibt es doch eine ganze Menge Sicherheitsschlösser. Das beginnt mit der Erfahrung der Geldgeber, die diese Studien finanzieren, der Ethikkommissionen, die sie genehmigen, dem Monitoring der durchführenden Ärzte und der Publikation der Ergebnisse in Zeitschriften nach einem Peer-Review.“

Auf die Frage, inwiefern der Druck von außen ein Grund sein kann, wissenschaftliche Qualitätsansprüche zu senken:
„Die Flut von Informationen wird letztlich dadurch balanciert, dass es auch entsprechend mehr Experten gibt, die sie aufarbeiten und kommunizieren. Die hoch-qualitativen Quellen, wie gerade bei uns an der Johns Hopkins Universität in der Pandemie, finden dann zurecht besonders viel Interesse. Ich denke, wir können mit dem Rauschen im Blätterwald leben.“

„Kompromisse sind nötig, aber mittelfristig sortiert sich das aus. Es wird sich rächen, wenn mit schlechter Qualität geforscht und kommuniziert wird. Der Gewinn im Augenblick für den individuellen Wissenschaftler, der die Finanzierung oder Durchführung einer Studie ermöglicht bekommt, ist schnell verraucht, wenn die Studie zu keinen Ergebnissen führt oder später verrissen wird. Aber Studien werden nicht von Einzelpersonen gemacht. Da gibt es viel gegenseitige Kontrolle.“

„Zuerst einmal ist COVID-19 schon jetzt eine wissenschaftliche Erfolgsgeschichte: Die ersten Fälle gab es im November 2019 und innerhalb von Wochen war der Erreger identifiziert, Diagnostik entwickelt, experimentelle Modell verfügbar und eine eindrucksvolle Zahl von klinischen Studien auf dem Weg: 18 Impfstoffe werden untersucht [2] und am 19. April 2020 zählte das Cochrane-Register 1.684 COVID-19-Studien – 637 für neue Therapien und 781 zur Behandlung mit existierenden Maßnahmen [3].“

Auf die Frage, wie die Qualität der Forschung und ihre Kommunikation in Deutschland, Österreich und der Schweiz zu beurteilen ist:
„Die deutschsprachigen Länder haben da wesentlichen Anteil mit prominenten Beiträgen zur Diagnostik, Impfstoffen und klinischen Studien. Der insgesamt bisher positive Verlauf in diesen Ländern beruht auch auf einem guten Zusammenspiel von Wissenschaft, Gesundheitswesen und Politik.“

„Der Beitrag von London und Kimmelman warnt vor den Konsequenzen von (wahrgenommener oder gebotener) Dringlichkeit auf die Qualität empirischer Forschung und ihren Nutzen für die Gesellschaft. Sie diskutieren dies im Kontext biomedizinischer Forschung zu COVID-19, letztlich ließen sich ihre Argumente aber auf jede Situation übertragen, in der Wissenschaftler angehalten sind, unter Zeitdruck Studien durchzuführen, Daten auszuwerten, zu interpretieren und die Ergebnisse zu veröffentlichen.“

„Dabei weisen sie auf drei Fehlannahmen hin, die Forscher dazu verleiten könnten, diesem Druck nachzugeben: Erstens, dass zeitnah durchgeführte Studien, selbst wenn sie fehlerbehaftet sein sollten, besser sind als gar keine oder sorgfältigere Studien, die aber (zu) lange brauchen, zweitens, dass Schlüsselkomponenten wissenschaftlicher Sorgfalt im Konflikt mit der ärztlichen Pflicht, Leid zu lindern, stehen können; drittens, dass Wissenschaftler der Gesellschaft gegenüber keine Verpflichtung haben, Studien nach bestimmten Qualitätsstandards durchzuführen.“

„Darüber hinaus benennen sie fünf Qualitätsstandards empirischer Studien, die von Wissenschaftlern – auch in Krisenzeiten und unter großem Druck, Erkenntnisse zu gewinnen – beachtet werden sollten: Relevanz, durchdachtes Forschungsdesign, Präregistrierung von Analyseplänen, vollständiges und transparentes Berichten und Durchführbarkeit. Zudem fordern sie Wissenschaftler, Forschungsförderer und Entscheidungsträger dazu auf, Kräfte zu bündeln und zu koordinieren.“

„In Zeiten von Corona hat sich das Publikum wissenschaftlicher Publikationen enorm vergrößert und verändert. Zusätzlich zu den Kolleginnen und Kollegen aus der Wissenschaft lesen nun auch Journalisten, Entscheidungsträger und die breite Öffentlichkeit mit. Es müssen nun also Maßnahmen ergriffen werden, um sicherzustellen, dass alle neu hinzugekommenen Rezipienten, wissenschaftliche Erkenntnisse mit ihren Einschränkungen und Besonderheiten gleichermaßen nachvollziehen können. Andernfalls können sich ungewollt Missverständnisse und Fehlinterpretationen in hohem Tempo verbreiten. Diese Risiken besteht natürlich immer, wenn Wissenschaftler ihre Arbeiten der Öffentlichkeit präsentieren – in Krisenzeiten gibt es aber ein besonderes Gebot, diese zu verringern.“

„Das Gebot der Sorgfalt hat auch mit den im Aufsatz angesprochenen Opportunitätskosten zu tun. Die gibt es natürlich bei personellen und finanziellen Ressourcen: Wissenschaftler, die beispielsweise zur vermuteten Nützlichkeit eines bestimmten Wirkstoffes forschen, haben nicht die Kapazitäten gleichzeitig Studien zu zwei, drei, oder vier anderen potenziellen Wirkstoffen durchführen. Damit wir bestimmte Forschungspfade ‚ausschließen‘ können und andere als vielversprechend erkennen ist es wichtig, dass Studien mit großer Sorgfalt durchgeführt werden. Es gibt aber auch psychologische Opportunitätskosten, etwa bei unserer Aufmerksamkeit für die vielen Informationsschnipsel zu COVID-19, die wir täglich präsentiert bekommen. Umso wichtiger ist, es dass gerade die wissenschaftlichen Erkenntnisse, die Personen erreichen, verlässlich sind.“

„Preprints sind generell eine sehr positive Entwicklung in der Wissenschaft, da sie behäbige Abläufe innerhalb wissenschaftlicher Verlage (die in der Regel nicht erhöhter Sorgfalt geschuldet sind) umgehen und den wissenschaftlichen Austausch beschleunigen. Sie ermöglichen auch flächendeckenden Zugriff auf wissenschaftliche Arbeiten ohne, dass man dafür ein überteuertes Abonnement oder Zugriff auf eine wissenschaftliche Bibliothek benötigt. Viele große Verlage haben auch vorübergehend ihre Kataloge mit relevanter, biomedizinischer Literatur frei verfügbar gemacht, um die Forschung nicht zu behindern – was offenlegt, wie absurd das wissenschaftliche Publikationswesen mit seinen völlig artifiziellen Kosten und Beschränkungen sonst ist.“

„Letztlich muss man bei Preprints immer einordnen können, inwiefern es sich um vorläufige Forschungsberichte handelt, die noch mehrmalige Schleifen von Begutachtungen durchlaufen. Der Unterschied ist: Sie erhalten in der aktuellen Krise eine deutlich größere Aufmerksamkeit als sonst.“

„Viele Zeitschriften versuchen diesen Umständen zu begegnen, in dem sie kürzere Begutachtungszeiten versprechen, damit diese vorläufigen Berichte rasch das Gütesiegel einer Fachzeitschrift erhalten. Ob das die Qualität wirklich verbessert, sei erst einmal dahingestellt.“

„Tatsächlich muss man sagen, dass eine Preprint-Publikation, die eine Studie vollständig beschreibt, selbst wenn sie an manchen Stellen mit der heißen Nadel gestrickt wurde, erst einmal grundsätzlich zu begrüßen ist. Teilweise werden Studien zu COVID-19 zunächst als Pressemeldung oder Powerpoint-Präsentation veröffentlicht, um die Öffentlichkeit möglichst schnell zu informieren. Dies ist in meinen Augen nicht der richtige Weg.“

„Die Öffentlichkeit wendet sich an die Wissenschaft nicht trotz, sondern gerade wegen ihrer Sorgfalt. Dieses Alleinstellungsmerkmal aufzugeben, weil Fragen drängen und man gerne so schnell wie möglich eine Antwort liefern möchte, läuft dem komplett zuwider. Denn wenn sich diese Antworten als falsch erweisen, gibt es potenziell nicht nur einen unmittelbaren Schaden, sondern auch nachhaltig negative Konsequenzen: Denn wenn die nächste Krise kommt (die nicht unbedingt ein Virus sein muss, sondern einen völlig anderen Forschungsbereich betreffen könnte), hat die Öffentlichkeit weniger Vertrauen in Wissenschaftler – möglicherweise sogar zurecht! Daher muss für Wissenschaftler gelten: Die Notwendigkeit für Sorgfalt, die mit unvollständigen oder auch unbefriedigenden Antworten einhergehen mag, muss an die Öffentlichkeit wie an Entscheidungsträger transparent kommuniziert werden. Wissenschaftler müssen Schnellschüsse von Kolleginnen und Kollegen oder anderen Personen, die diese vermeintlich auf wissenschaftlichen Erkenntnissen begründen, einordnen. Ein Trost für diese vielleicht etwas schmerzende Vorsicht: Forschung, die wir jetzt mit der gebotenen Sorgfalt durchführen, wird uns spätestens beim nächsten Ereignis, für das sie relevant ist, einen Vorteil verschaffen. Ansonsten fangen wir dann wieder bei Null an.“

„Selbstverständlich wünsche ich mir vor allem, dass die Forschung zu COVID-19 nach höchsten wissenschaftlichen Maßstäben durchgeführt wird. Aber auch eine umgekehrte Wirkrichtung wäre denkbar, denn: Aspekte von Studien, die jetzt in der Kritik stehen (etwa kleine Stichproben, nicht validierte Instrumente, fehlende Präregistrierung von Analyseplänen) sind nicht erst seit Corona ein Problem, sondern waren auch vorher schon (in Zeiten ohne Krise) weit verbreitet. Wenn die Wissenschaft also aus diesem Diskurs über Qualitätsstandards auch nachhaltig etwas lernen könnte, wäre das ein großer Gewinn.“

„Die Autoren sprechen mehrere sehr wichtige Fragen an und skizzieren überzeugend, wie sich die aktuelle Pandemie auf die Qualität der Forschung auswirken kann. Sie stellen auch einige aufschlussreiche Alternativen und mögliche Lösungen vor. Sie neigen jedoch dazu, sich sehr stark auf methodologische Aspekte der Forschung und in geringerem Maße auf die Forschungsberichterstattung zu konzentrieren. Qualitätskontroll- und Überprüfungsmechanismen, einer der wichtigsten Definitionsmechanismen der Wissenschaft, werden weniger angesprochen. Auch wenn die Autoren kurz darauf eingehen, indem sie die voreingenommene Berichterstattung in Preprint-Artikeln und den Mangel an Peer-Review-Gutachtern erwähnen, glaube ich, dass dieser Aspekt mehr Aufmerksamkeit verdient. Wie wir kürzlich gezeigt haben [4], werden Manuskripte derzeit wie üblich in etwa 50 Prozent der Zeit durch den Publikationsprozess von Zeitschriften beschleunigt. In einigen Zeitschriften ist die durchschnittliche Publikationszeit für COVID-19-Papiere sogar auf nur wenige Tage gesunken. Dies lässt die Frage aufkommen, ob die gleichen Standards der Qualitätskontrolle noch aufrechterhalten werden können. Wenn Artikel innerhalb weniger Tage veröffentlicht werden, erlaubt das immer noch eine gründliche Durchsicht, Überarbeitungen, eine zweite oder sogar dritte Begutachtungsrunde und das Editieren durch die Zeitschrift? Neben Fragen der methodischen Qualität von Forschungsartikeln halte ich diese Fragen der Qualitätskontrolle für mindestens ebenso dringlich.“

„Mehrere Kommentatoren haben sich mit der Frage der Preprints befasst, die heute im medizinischen Bereich stark genutzt werden, um eine schnelle Verbreitung neuer Erkenntnisse zu ermöglichen. Es besteht eine allgemeine Besorgnis über die Qualität dieser Papiere und die (zu) schnelle Übernahme ihrer Ergebnisse in klinischen und politischen Kontexten. In der Tat sollte man mit diesen Publikationen vorsichtig umgehen, und es sollte ganz klar sein, dass sie nicht von anderen Experten überprüft wurden (was die meisten Preprint-Server jetzt ausdrücklich auf ihren Webseiten erwähnen). Dasselbe gilt jedoch für Artikel, die in angesehenen medizinischen Fachzeitschriften erscheinen. Es gibt eine lange Geschichte von ungültigen oder fehlerhaften Forschungsergebnissen, die auch in diesen Zeitschriften erscheinen. Es wurde immer wieder die Frage gestellt, wie gut das Peer-Review-Verfahren in der Lage ist, diese Fälle problematischer Forschung herauszufiltern [5]. Angesichts der immensen Geschwindigkeit, mit der Zeitschriftenartikel derzeit veröffentlicht werden, und der Fragen, die sich daraus für die Qualität des Begutachtungsprozesses ergeben, sind Zeitschriften wahrscheinlich nicht davor gefeit, qualitativ schlechte Forschung auf ihren Seiten zu veröffentlichen. Möglicherweise ist dies sogar schädlicher als solche Recherchen, die auf Preprint-Servern erscheinen, da Zeitschriftenartikel den Anschein haben, ordnungsgemäß überprüft zu werden und somit verifiziertes Wissen enthalten.“

„Den Ausführungen der Autoren stimme ich zu. In der Tat sehen wir eine große Anzahl von Studien (meist klein, häufig unkontrolliert) die schnell, teils ohne wissenschaftliches Begutachtungsverfahren (Peer Review) veröffentlicht werden. Diese Studien werden dann in sozialen Medien, und auch sonstigen Medien (teils auch durch Wissenschaftler selbst) als wichtige, wissenschaftliche Ergebnisse dargestellt, die Entscheidungen in der Gesundheitsversorgung einzelner Patienten oder auch politische Entscheidungen auf Systemebene begründen sollen. Dies ist problematisch, da die Unsicherheit, die wir in Bezug auf viele Fragen im Zusammenhang mit COVID-19 leider noch haben, nicht ausreichend berücksichtigt wird.“

„Das etablierte Peer Review-Verfahren, also die wissenschaftliche Begutachtung durch andere, unabhängige Wissenschaftler, ist eine Qualitätssicherungsmaßnahme. Wir wissen, dass das leider nicht immer gut funktioniert und teilweise mehrere Monate in Anspruch nimmt, bis eine wissenschaftliche Publikation dann veröffentlicht wird. Insofern ist es sinnvoll, über ergänzende und gegebenenfalls auch neue Wege der Publikation und Peer-Kontrolle nachzudenken. Preprint-Veröffentlichungen, also Veröffentlichen vor Durchlaufen der klassischen Publikationswege, ist ein möglicher Weg. Entscheidend ist hier aber, dass die Limitationen solcher Preprint-Publikationen berücksichtigt werden, sprich: Es muss klar sein, dass diese Publikationen keine unabhängige Qualitätskontrolle durchlaufen haben. Entsprechend vorsichtig müssen diese Ergebnisse interpretiert werden. Dies ist leider häufig nicht der Fall. Dies spricht in meinen Augen jedoch nicht gegen die Nutzung von Preprint-Servern, sondern dafür, dass wir alle (Wissenschaftler, Medien, Öffentlichkeit, Politik) lernen müssen, mit dieser Form der Vorab-Veröffentlichung von Ergebnissen angemessen umzugehen.“

„Die Ungeduld der Politik und Öffentlichkeit ist nachvollziehbar, aber nicht hilfreich. Verzerrte oder gar falsche Studienergebnisse können zu falschen Entscheidungen und möglicherweise großem Schaden führen. Auch binden Studien mit geringem wissenschaftlichen Standards Ressourcen, und die Rekrutierung von Patienten (also der Einschluss von Patienten) in hochwertige, kontrollierte Studien wird erschwert und verzögert. So wird der Erkenntnisgewinn behindert und verlangsamt. Insofern ist es meiner Ansicht nach nicht gerechtfertigt, gut begründete und etablierte wissenschaftliche Standards zu ignorieren. Vielmehr sollte der Dringlichkeit durch gute Koordination, intensive Kollaboration national und international, und politische und fördertechnische Unterstützung Rechnung getragen werden. Mit einer Handvoll großer, mehrarmiger, multinationaler Studien, die die wesentlichen Fragen mit hohen wissenschaftlichen Standards adressieren, wäre uns sicherlich mehr geholfen, als durch eine kaum zu überschauende Masse kleiner Studien mäßiger Qualität, und nur bedingt transparent berichtet. In der Summe erscheint mir somit das derzeitige Vorgehen mit vielen kleinen, häufig unkontrollierten Studien auch ethisch fragwürdig.“

„Die Studienlandschaft zu COVID-19 in Deutschland, Österreich und der Schweiz überblicke ich nicht vollständig. Der überwiegende Anteil der bisher veröffentlichten Studienergebnisse kommt aus China. Wissenschaftler anderer Länder (USA, Frankreich, UK und so weiter) drängen hier jetzt nach. Der Anteil deutscher Studien ist meiner Einschätzung nach noch gering, die Forschungs-Aktivitäten sind jetzt angelaufen. Ich hoffe, dass in Deutschland die etwas längere Zeit, die zum Aufgleisen der Studien benötigt wurde, auch für eine sorgfältige Planung entsprechend wissenschaftlicher Standards genutzt wurde.“

„Es gibt verschiedene Projekte und Aktivitäten, an denen wir beteiligt sind, die versuchen, Studien zu COVID-19 zu identifizieren, zu strukturieren, zu bewerten und auch zusammenfassend zu interpretieren. Gerne möchte ich an dieser Stelle auf die systematischen Übersichtsarbeiten von Cochrane zu diesem Thema hinweisen [6]. In Kollaboration mit Kollegen in Paris haben wir aktuell mehr als 1.100 Studien zu COVID-19 identifiziert, die derzeit bewertet und dann in sogenannten Netzwerkmetaanalysen ausgewertet werden sollen (siehe https://covid-nma.com).“

„Es gibt im Moment große Anreize, sehr schnell Forschungsergebnisse zu produzieren. Die Motivation von Forschern, möglichst rasch Impfungen und Behandlungen für COVID-19 zu entwickeln und bereitzustellen, ist verständlich. Hinzu kommen ökonomische und politische Interessen, in der Forschung vorn dabei zu sein.“

„In der Krise sollte es schneller und effektiver gehen als sonst, das ist klar. Aber Forschung, die die Regeln guter wissenschaftlicher Praxis eklatant verletzt durch schlampige Studiendesigns oder fehlende Kontrollgruppen, ist kontraproduktiv. Sie setzt Probanden Forschungsrisiken aus, ohne dass belastbare Ergebnisse produziert werden können. Das ist unethisch. Der Beitrag von London und Kimmelmann ist insbesondere mit Blick auf die internationale Forschung von hoher Relevanz und beschreibt die verschiedenen Kriterien sehr gut, die gegenwärtig verletzt werden können.“

„Preprints sind ein sinnvolles Mittel, um Forschungsergebnisse schnell einer Wissenschaftsgemeinschaft zukommen zu lassen und Feedback einzuholen, noch vor dem vollendeten Peer Review, also der Begutachtung durch andere Fachkollegen. Sie dürfen aber nicht eingesetzt werden, um den Peer Review Prozess auszuschalten oder zu umgehen, das wäre gefährlich. Preprints als wissenschaftsinternes Instrument sind hilfreich, aber als breit besprochene Themen in Medien und Politik oder gar Grundlage von politischen Entscheidungen sind sie ungeeignet.“

„Es gibt eine enorme Forschungsaktivität im deutschsprachigen Raum, mit viel Kreativität und Engagement. Insgesamt scheinen dabei die Standards guter wissenschaftlicher Praxis eingehalten zu werden, obwohl es oft erstaunlich schnell geht, was auf viel Einsatz und gute Kollaboration hindeutet. Eine Gefahr besteht in einer vorschnellen Kommunikation von Ergebnissen und auch in einer zu starken Vermengung wissenschaftlicher Arbeit und politischer Zielsetzung. Auch in der Krise müssen wir sorgfältig und ergebnisoffen bleiben. Wünschenswert wäre jetzt insbesondere noch bessere internationale Koordination von Studien, nicht nur durch die internationale Wissenschaftsgemeinschaft, sondern auch mit Unterstützung durch die globale politische Ebene.“

„Ohne dass sie es so nennen, haben die Autoren ein Plädoyer für Open Science geschrieben. Es ist ja genau so wie die Autoren sagen, dass die Krise keinen Anlass gibt, wissenschaftliche Standards über Bord zu werfen. Wir müssen diese aber an eine in Zukunft verstärkt digitale Kommunikationslandschaft anpassen.“

„Es geht meines Erachtens völlig am Thema vorbei, das Format des Preprints für schlechte Wissenschaft verantwortlich zu machen. Preprints sind ein elementarer Bestandteil nachhaltiger wissenschaftlicher Kommunikation im digitalen Zeitalter. Ergebnisse sind dadurch frühzeitig – und zwar für alle – verfügbar und können so von der wissenschaftlichen Community reflektiert und weiterentwickelt werden. Es ist sogar wünschenswert, dass nach der Krise noch mehr im sogenannten grünen Open Access veröffentlicht wird. Wir sollten daher unsere Bemühungen darauf richten, wie wir für diese neue Veröffentlichungspraxis mittelfristig adäquate Formen der Qualitätssicherung etablieren. Naheliegend sind offene Begutachtungsprozesse, wie das einige Open-Access-Zeitschriften schon praktizieren. Zudem scheinen mir Overlay-Journals, die auf Preprint-Servern aufsetzen und qualitätsgesicherte Artikel sammeln, in diesem Zusammenhang als sinnvoll. Diese könnten auch einen wichtigen Beitrag dazu leisten, mit der Dominanz einiger weniger kommerzieller Wissenschaftsverlage zu brechen und Open Science voranzutreiben.“

„Es gibt auch in der Krise keinen Anlass, wissenschaftliche Standards herunterzuschrauben. Die Krise veranlasst aber dazu, Unsicherheiten klar zu kommunizieren. Sie zeigt uns zudem, dass wir unsere Standards der Wissenschaftskommunikation überholen müssen. Das betrifft etwas die problembezogene Diversität von Disziplinen und Personen in Beratungsgremien oder die Antizipation der spezifischen Verwertungslogiken von unterschiedlichen gesellschaftlichen Zielgruppen.“

„Ich kann die Qualität der COVID-19-Forschung nicht beurteilen, da ich keine biomedizinische Forschung betreibe. Als Wissenschaftsforscher finde ich es jedoch bemerkenswert, was die Krise für die Digitalisierung der Forschung und Lehre bedeutet. Sie zeigt uns zudem, wie wichtig die sogenannte offene Wissenschaft ist, also dass Ergebnisse transparent, zugänglich und nachnutzbar digital veröffentlicht werden. Auch wenn die Krise die Gesellschaft und ihre Institutionen herausfordert, hoffe ich doch, dass die Wissenschaft gestärkt aus ihr heraustritt.“

„Akute Krisen wie die Corona-Pandemie dürfen keine Entschuldigung für die Absenkung wissenschaftlicher Standards sein. Mit dieser Kernaussage ihres Artikels treffen London und Kimmelman den Nagel auf den Kopf. Indirekt weisen sie dabei auf einen weiteren zentralen Aspekt hin: Wenn etwas in Krisenzeiten zurückgestellt und vielleicht sogar aktiv zurückgedrängt werden muss, dann sind es Konkurrenzdenken, Profilierungsgehabe, vorschnelle Verlautbarungen und unbegründete Ratschläge. Informationen haben wir mehr als genug. Es gilt vielmehr, Wissen zu generieren – und dies zielgerichtet, gemeinsam und schnell, damit bessere Entscheidungsgrundlagen geschaffen werden. Wissen ist allerdings nur so viel wert wie die Methoden, mit denen es gewonnen wurde. Und methodisch schlecht gestützte, erst recht falsche Ergebnisse sind immer noch schädlicher als Nichtwissen.“

„Deshalb dürfen auch in der aktuellen Krise die wissenschaftlichen Minimalanforderungen nicht aufgegeben werden. Denn wissenschaftlich präzise zu arbeiten, ist unabdingbar für die korrekte Interpretation von Daten und die effizienteste Grundlage für einen Erkenntnisgewinn. Fehlschlüsse aus schlechten Studien führen hingegen zur Vergeudung von Ressourcen und vor allem zur Schädigung von Patienten. Der kurzfristige Hype um das Anti-Malaria Mittel (Hydroxy-) Chloroquine, der aus völlig inadäquaten ‚Studien‘ resultierte, ist dafür ein beredtes Beispiel. Selbstverständlich kann das Medikament nützlich sein – um diese Aussage wissenschaftlich belastbar treffen zu können, fehlen aber die entsprechenden Daten. Bislang sind nur die Nebenwirkungen des Medikaments belegt.“

„Wie London und Kimmelmann anmerken, haben wir einen historischen Präzedenzfall für eine scheinbar gerechtfertigte Eile bei der Erforschung neuer Tests und Behandlungen. Während des Ebola-Ausbruchs, schreiben die Autoren, führten ‚ethische und praktische Bedenken gegen die Verwendung von Standardforschungsmethoden wie Randomisierung und Placebo-Komparatoren zu einem Korpus unschlüssiger Ergebnisse‘. Dasselbe Muster beobachten wir während der COVID-19-Pandemie, und noch mehr davon zeigt sich in der Öffentlichkeit.“

„Es wurde viel über die Risiken der Veröffentlichung vorläufiger Ergebnisse in Preprints gesprochen, da diese nicht von Fachkollegen begutachtet worden sind (peer-reviewed). Diese Sorge ist berechtigt. Aber wir haben auch problematische Coronavirus-Forschung – einschließlich einiger zurückgezogener Studien – in Fachzeitschriften mit Peer-Review gesehen. Das ist nicht überraschend, wenn man bedenkt, dass die Zeitschriften ihre Bearbeitungszeit für Manuskripte laut einem Preprint, der vergangene Woche veröffentlicht wurde [4], halbiert haben, und das meiste davon kam durch die Verkürzung des Peer-Review-Verfahrens zustande. Es ist kaum zu glauben, dass dies nicht zu oberflächlicheren Begutachtungen führen wird – vor allem, weil echte Coronavirus-Experten sehr gefragt sind und die Begutachtungen möglicherweise von Forschern durchgeführt werden, die nur über begrenzte oder gar keine Fachkenntnisse auf diesem Gebiet verfügen.“

„An diesem Punkt, wie Adam Marcus und ich dargelegt haben [7], kann die Geschwindigkeit, mit der die Coronavirus-Forschung voranschreitet, gefährlich sein, und alle Ergebnisse verdienen einen Warnhinweis.“

„Die Autoren des Beitrags in ‚Science‘ weisen zu Recht darauf hin, dass die Einhaltung methodischer Standards von zentraler Bedeutung für die Qualität wissenschaftlicher Arbeit ist – in ‚normalen‘ ebenso wie in Krisenzeiten. Und auch wenn neue Forschungserkenntnisse zu COVID-19 von Wissenschaft und Öffentlichkeit derzeit besonders stark nachgefragt sind und sich Forschende mit hohen Erwartungen der Gesellschaft konfrontiert sehen, darf keinesfalls von den Standards guter wissenschaftlicher Praxis abgerückt werden.“

„Preprint-Veröffentlichungen sind mittlerweile in vielen Disziplinen etabliert und stellen eine gute Möglichkeit dar, Forschungsdaten und -ergebnisse schnell zu teilen. Forschenden ist dabei stets bewusst, dass diese Papers noch kein qualitätssicherndes Peer-Review-Verfahren durchlaufen haben; sie können die Studien entsprechend einordnen. Auch guter Wissenschaftsjournalismus weist auf diesen Hintergrund hin, damit keine falschen Erwartungen oder unbegründete Hoffnungen entstehen. Für eine breitere Öffentlichkeit dürften solche Publikationen unmittelbar nur von begrenztem Wert sein, da es sich um Fachveröffentlichungen handelt, die von und für Spezialisten verfasst wurden und für Laien daher oft wenig verständlich sind.“

„Wissenschaftliche Standards sind kein Selbstzweck, sondern sind Voraussetzung für belastbare Erkenntnisse. Gerade weil die Ergebnisse von Coronavirus-bezogenen Studien aktuell sehr schnell Eingang in die klinische beziehungsweise ärztliche Praxis finden sollen, müssen die Ergebnisse zum Wohle der Patientinnen und Patienten auch hinreichend verallgemeinerbar sein. Politische Entscheidungsträger wiederum erhoffen sich von wissenschaftlichem Rat eine Reduktion von Unsicherheit. Diese lässt sich nur erreichen, wenn die (disziplinbezogenen) Standards eingehalten wurden.“

„In Europa werden erhebliche Anstrengungen unternommen, um die Forschung zu COVID-19 beziehungsweise zu den Auswirkungen und zur Bewältigung der Krise in all ihren Dimensionen zu intensivieren. Dabei wird auch die Bedeutung von (internationaler) Kooperation und Koordination deutlich; die EU-Kommission hat nun beispielsweise das EU COVID-19 Data Portal ins Leben gerufen, um den Datenaustausch zu verbessern. Corona-bezogene Wissenschaftskommunikation erfährt derzeit zu Recht große Beachtung – und mit der Verleihung des communicator-Sonderpreises an Christian Drosten von der Berliner Charité ist sie auch bereits besonders gewürdigt worden.“

„Vor dem Hintergrund der weltweiten Verbreitung von SARS-CoV-2 werden vermehrt Publikationen auf Preprint-Servern zur Verfügung gestellt, ohne dass sie vorher einem Peer Review unterzogen wurden. Es ist erfreulich, dass Forschungsdaten unverzüglich und ohne Konkurrenzdenken geteilt werden und somit für weitere Forschungen verwendet werden können. Preprints stellen dabei eine geeignete Form des Öffentlichmachens wissenschaftlicher Erkenntnisse dar, denn übliche Veröffentlichungsprozesse in Peer Review-Journalen können teilweise Jahre dauern.“

„Preprints verlangen allerdings allen Beteiligten ein hohes Maß an Verantwortung ab, weil die gleichen Qualitätskriterien gelten wie für klassische Journal-Publikationen – aufgrund des Fehlens von Peer Review sollten die Autorinnen und Autoren die Einhaltung aller Qualitätskriterien aber sogar noch konsequenter dokumentieren. Und auch die Rezipienten müssen in der Lage sein, sich mit den publizierten Daten und den dokumentierten Maßnahmen zur Qualitätssicherung auseinanderzusetzen.“

„Der Laien-Öffentlichkeit sollte zudem bewusst sein, dass, wer Preprints liest und die Ergebnisse interpretiert, gute und weniger gute Wissenschaft unterscheiden können sollte. Problematisch wird es, wenn außerhalb der Wissenschaft – etwa von Journalisten – versucht wird, Ergebnisse einzuordnen, deren Vorläufigkeit nicht eindeutig nachvollziehbar ist. Aus Sicht der DFG sollte sowohl von den Wissenschaftlerinnen und Wissenschaftlern, als auch in der medialen Berichterstattung stets klar und nachvollziehbar die Vorläufigkeit der Forschungsergebnisse gekennzeichnet werden.“

„Wissenschaftliche Qualitätsstandards sollten auch jetzt auf jeden Fall eingehalten werden. Nur handwerklich einwandfreie Wissenschaft erlaubt es, aus den vorgelegten Ergebnissen relevante, sinnvolle Schlüsse zu ziehen. Würden Ergebnisse aus Studien verwendet werden, die nicht state-of-the-art sind, wäre dies unethisch und würde dazu führen, dass man eventuell genau die, denen das Ergebnis zugutekommen soll, gefährdet.“

„Gleichwohl gibt es im Spektrum der vorhandenen Studienformen eine große Varianz bezüglich Umfang, Standardisierung und einzuplanender Zeit. Jede Studienform hat ihre Vor- und Nachteile und keine ist für sich verzichtbar. In Bezug auf die Medikamenten-Entwicklung gibt es beispielsweise den Off-Label-Use bereits zugelassener Medikamente. Ihr Vorteil ist ihre schnelle Umsetzbarkeit, ihr Nachteil, dass die erfolgversprechende Substanz für den untersuchten Anwendungsfall nicht zugelassen ist. Im Bereich First-In-Man-Studien ist der Heilversuch zweifellos schneller realisiert als eine erste Proof-of-Concept-Studie. Dafür ist der Heilversuch per Definition nicht standardisiert und liefert keine wissenschaftlich fundierten statistischen Daten.“

„In jedem Fall erscheint es sinnvoll, parallel laufende Forschungsaktivitäten zu kennen und soweit wie möglich zu koordinieren. So kann gewährleistet werden, dass weniger signifikante, aber schnellere Vorgehensweisen immer auch flankiert werden mit längerfristigen Forschungsansätzen, die am Ende aber die belastbareren Daten liefern.“

„Wir beziehen uns auf drei Aussagen in dem vorliegenden Artikel: Erstens: ‚droves of research papers have been rushed to preprint servers, essentially outsourcing peer review to practicing physicians and journalists‘.Es stimmt, dass Preprint-Server derzeit mit Manuskripten überflutet werden, aber es stimmt nicht, dass das Peer Review an Ärzte und Journalisten ‚outgesourced‘ wird. Peer Review passiert bei wissenschaftlichen Zeitschriften genau wie vor COVID-19 auch und die Funktion der Journale in der Qualitätssicherung sind dieselben. Preprints zusammen mit Journalen sind ein wichtiger Mechanismus, Forschung schnell, aber eben auch mit der unerlässlichen Qualitätssicherung zu verbreiten. COVID-19 zeigt, dass dieses duale System Geschwindigkeit zulässt, ohne die Qualität zu untergraben.“

„Zweitens: ‚the deposition of positive findings in preprint servers earlier than nonpositive studies‘. Diese Verzerrung existiert, aber sicherlich deutlich stärker in wissenschaftlichen Zeitschriften als in Preprints. Es geht um ein systemisches Problem, das durch die Wissenschaftsförderung noch unterstrichen wird. Wir haben auf diese Problematik durch die San Francisco Declaration on Research Assessment (DORA) immer wieder hingewiesen. Ein wichtiger Punkt ist, dass klinische Studien normalerweise registriert und unabhängig vom Resultat – das heißt, auch bei einem negativen Ergebnis – veröffentlicht werden müssen.“

„Drittens: ‚Qualified peer reviewers are a scarce resource, and the proliferation of low-quality papers saps the ability of scientists to place findings into context be-fore they are publicized‘.Das stimmt, und es zeigt, warum Preprints nicht wissenschaftliche Journale verdrängen sollten, sondern diese ergänzen.“

„Preprints, genau wie Datenbanken, sind sehr wichtig für den Austausch wissenschaftlicher Ergebnisse – in normalen Zeiten wie in Krisen. Sie funktionieren synergistisch zusammen mit den Journalen, die mittels Peer Review die Veröffentlichungen auswählen und zur Veröffentlichungsreife führen und somit sichern, dass die Wissenschaft und die Öffentlichkeit Zugriff auf verlässliche und reproduzierbare Daten hat. Preprints und Datenbanken sind in Krisenzeiten wichtig, um den Informationsaustausch zu beschleunigen. Aber auch das Risiko der Fehlinterpretation, besonders seitens der Öffentlichkeit, ist viel höher. Im Fall von neuen Infektionskrankheiten wie COVID-19 ist die Geschwindigkeit des Informationsaustauschs von entscheidender Bedeutung für die Entwicklung von Medikamenten, Impfungen und – am zeitkritischsten – angemessene Maßnahmen im Bereich der öffentlichen Gesundheit. Hydroxychloroquin ist aber ein bemerkenswertes Beispiel für die Risiken von einer zu schnellen Verbreitung von vorläufigen Daten. Preprints müssen mit Bedacht und Vorbehalt gelesen werden und sind somit eher für Fachleute gedacht. Aber auch eine schnelle Veröffentlichung in Journalen ist während der COVID-19-Krise wichtig, da auch individuelle Experten der Informationsflut nicht Herr werden können. Journale helfen dabei, zuverlässige und bemerkenswerte Informationen zu identifizieren.”

„Bei EMBO Press unterstützen wir Preprints und Datenbankeinreichungen ausdrücklich, und verlangen diese sogar bei COVID-19-Studien, die wir auch sogleich an die Weltgesundheitsorganisation (WHO) weiterreichen.“

„Die Betreiber von Preprint-Servern wie bioRxiv und medRxiv sind sich durchaus ihrer Verantwortung bewusst und haben durch die COVID-19-Krise verschärfte Kontrollen eingeführt. Im Falle von bioRxiv werden inzwischen auch Arbeiten abgelehnt, welche absolut solide sein könnten, aber vielleicht von der Öffentlichkeit missverstanden werden könnten. Es ist prinzipiell problematisch, bei Preprint-Servern editorielle Kriterien anzuwenden und auch in die Richtung von formeller Qualitätssicherung zu gehen – insbesondere in Richtung Peer Review. Somit würden Preprint-Server zu Journalen, und die Forschung verliert den Vorteil der Synergie beider Konzepte.“

„Wir begrüßen den Launch der EU-Plattform für COVID-19-Daten, die Ursula von der Leyen auf Twitter vorgestellt hat.“

Auf die Frage, inwiefern COVID-19 die Routinen und Auswahlpraxis im Publikationswesen verändert:
„COVID-19 hat einen enormen Ansturm nicht nur bei Preprint-Servern, sondern auch bei wissenschaftlichen Journalen hervorgerufen. Editoren suchen auf allen Forschungsgebieten auf Konferenzen und auch auf Preprint-Servern nach interessanten und wichtigen Arbeiten. Die hohe Zahl von Studien über COVID-19 sind nicht alle qualitativ hochwertig – manche hegen vielleicht die Hoffnung, schnelle Punkte zu erzielen mit einem ‚modischen‘ Thema, für das die Qualitätskriterien möglicherweise heruntergesetzt werden könnten. Bei EMBO Press achten wir darauf, dass unsere Standards genau gleich bleiben – wir lehnen vorläufige Studien auch weiterhin ab, auch wenn sie über COVID-19 sind und auch wenn sie das Potenzial haben, weiterführend interessant und wichtig sein zu können. Die vorläufige Verteilung solcher Arbeiten wird durch die Preprint-Server ja gewährleistet.“

„Durch die Lockdowns sind viele Labore momentan geschlossen. Das heißt, Forscher haben mehr Zeit, ihre anstehenden Arbeiten einzureichen, können aber oft keine Experimente zur Vervollständigung der Publikationen durchführen. Wir haben daher den Zeitraum für essenzielle Revisionen verlängert. Ein weiterer unerwarteter Effekt ist, dass viele Labore eine momentane Aussetzung der finanziellen Unterstützung erleben und somit manchmal Publikationskosten nicht aufgebracht werden können.“

„Journale, wie die von EMBO Press, wollen die COVID-19-Forschung aktiv unterstützen. Wir haben uns entschieden, dass wir dies am Besten tun, indem wir die gleichen Standards anwenden, damit die Studien den gleichen Qualitätsansprüchen wie andere Forschung auch genügen und sich die Forscher und die Öffentlichkeit darauf verlassen können. Preprints waren bei dieser Entscheidung wichtig, da wir dadurch prinzipiell nicht die Verteilung von möglicherweise nützlichen Daten aufhalten.“