Weniger innovative Forschung in remote-Teams?

„Da der Schlüssel zur wissenschaftlichen Zusammenarbeit implizites Wissen ist, welches in die wissenschaftliche Sprach- und Praxiskultur eingebettet ist und durch Sozialisation weitergegeben wird, bin ich sehr misstrauisch gegenüber Studien, die Zitiermuster als Stellvertreter für Wissensbeziehungen verwenden. Wissenschaftler zitieren – oder zitieren nicht – andere aus einer Vielzahl von Gründen, unter anderem um sich bei Gutachtern beliebt zu machen oder sie zu beeindrucken. Einer der Gründe für die ,Replikationskrise‘ ist, dass Forschungsergebnisse eine fiktive Gültigkeit durch die in vielen Wissenschaften übliche Praxis des rituellen Zitierens, welche durch automatische Hilfsmittel gefördert wird, erlangen: Eine große Anzahl von Zitaten kann eine Arbeit wissenschaftlich erscheinen lassen, während nichts wirklich Wissenschaftliches passiert. Ich würde mich also nicht auf den D-Score verlassen, wenn es um Wissen geht.“

„Hier scheint der Fall zu sein, dass eine riesige Datenbasis ein statistisches Signifikanzniveau ermöglicht hat, während die Effektgröße für so viel Aufwand peinlich klein ist. Das ist nicht die Effektgröße, nach der man handeln kann. Aber ich hätte nicht gedacht, dass der Ansatz über eine riesige Anzahl von Veröffentlichungen viel bringen würde, wenn man die enormen Unterschiede in der Qualität der veröffentlichten Arbeiten bedenkt, vor allem angesichts des Booms der Zeitschriftenveröffentlichungen, von denen vielleicht bestenfalls die oberen zehn Prozent nützlich und wertvoll sind. Meiner Meinung nach lässt sich das Problem besser mit partizipativen Methoden und Interviews angehen.“

Auf die Frage, inwiefern der geringere Anteil bahnbrechender Forschung daran liegen könnte, dass große Durchbrüche der Grundlagenforschung bereits stattgefunden haben:
„In Anbetracht der Probleme bei diesem Ansatz würde ich nicht zu viel hineininterpretieren.“

„Ich denke, dass persönliche Begegnungen in der Wissenschaft unerlässlich sind. Dies wird in einer Studie, an der ich mitgewirkt habe [1], erläutert und anhand einer Umfrage über die Erfahrungen während des Pandemie-Shut-Downs [2] untersucht. Aber Nähe für den Transfer von implizitem Wissen kann durch eine Reihe von internationalen Workshops und Konferenzen erreicht werden, unabhängig von der geografischen Entfernung. Beispielsweise traf sich die Gemeinschaft von etwa 1250 Wissenschaftlern, die sich mit der Entdeckung von Gravitationswellen befassten und dafür einen Nobelpreis erhielten, über viele Jahre hinweg einige Male pro Jahr an verschiedenen Orten. Das reichte aus, um eine neue ,Praxissprache‘ zu entwickeln, welche die sich entwickelnde Wissenschaft umfasst.“

„Entscheidend ist, dass internationale Treffen weiterhin gefördert und unterstützt werden. Es gibt eine Klasse von Wissenschaften, bei der das vielleicht keine Rolle spielt. Dabei handelt es sich um Wissenschaftsfelder, die routiniert geworden sind (hypernormale Wissenschaft). Das heißt, dass die Sozialisierung in die Praxis am Ende der Promotion abgeschlossen ist. Die Molekularbiologie ist ein Beispiel dafür [3].“

„Die Studie präsentiert Belege dafür, dass Remote-Teams weniger bahnbrechende Forschung produzieren als Teams, die gemeinsam vor Ort forschen. Als Maß für die Quantifizierung bahnbrechender Forschung wird der Disruption Index (entspricht dem in der Studie verwendeten disruption score; Anm. d. Red.) verwendet.“

„Obwohl der Disruption Index in der Studie eine zentrale Rolle spielt, wird die Forschungsliteratur, die sich mit den Stärken und Schwächen des Index beschäftigt, weitgehend ignoriert. Die Autor*innen bezeichnen den Disruption Index als ,newly proposed, yet extensively verified measure‘. Dieser Aussage ist mit Blick auf den aktuellen Forschungsstand zu widersprechen [4]. Studien, welche die Validität des Disruption Index testen, kommen zu gemischten und teils widersprüchlichen Ergebnissen. Insgesamt betrachtet ist die Anwendung des Disruption Index mit einiger Unsicherheit verbunden und wirft viele offene Fragen auf.“

„Meiner Einschätzung nach ist der Befund, dass Remote-Teams weniger disruptive Forschung produzieren, mit Vorsicht zu interpretieren. Zum einen verwenden Lin, Frey und Wu in ihrer Studie die ursprüngliche Version des Disruption Index, die von Funk and Owen-Smith [5] vorgeschlagen wurde. Mittlerweile sind jedoch deutlich verbesserte Versionen des Disruption Index bekannt [4] und es stellt sich die Frage, ob sich der Befund der Studie auch mit den verbesserten Versionen replizieren lässt. Darüber hinaus bedienen sich Lin, Frey und Wu einer stark vereinfachten Interpretation des Disruption Index (D), indem sie jede Publikation mit D größer Null als bahnbrechend und jede Publikation mit D kleiner Null als nicht bahnbrechend einstufen. Dafür muss man wissen, dass der Disruption Index den meisten Publikationen Werte zuweist, die sehr nah am Wert Null liegen. Es gibt also sehr viele Publikationen, die vom Index Werte um -0.01 und 0.01 herum erhalten. Diese Publikationen unterscheiden sich nur minimal hinsichtlich ihres Index-Werts, aber in der Studie wird daraus ein kategorialer Unterschied gemacht. Wenn in der Studie berichtet wird, dass Remote-Teams im Vergleich zu Präsenz-Teams weniger bahnbrechende Ideen hervorbringen, dann ist bei der Interpretation zu bedenken, dass dieses Ergebnis auch durch eine minimale Verschiebung im Wertebereich des Disruption Index zustande kommen kann. Der beobachtete Unterschied zwischen Remote-Teams und Präsenz-Teams ist mit sechs Prozentpunkten (28 Prozent versus 22 Prozent) ohnehin eher klein. Zu guter Letzt ist darauf hinzuweisen, dass die Qualität bibliometrischer Daten für bestimmte Fachbereiche, vor allem aber für die Geistes- und Sozialwissenschaften, nicht besonders gut ist. Im Allgemeinen ist davon abzuraten, bibliometrische Indikatoren auf die Sozial- und Geisteswissenschaften anzuwenden. Daher sollte der Befund von Lin, Frey und Wu nicht bedenkenlos auf alle wissenschaftlichen Disziplinen übertragen werden.“

„Insgesamt betrachtet muss der Befund, dass Remote-Teams den wissenschaftlichen Fortschritt bremsen, erst durch zukünftige Forschung untermauert werden, bevor es sich lohnt, nach Erklärungen für das Phänomen auszusuchen. Es wäre höchst voreilig, allein auf Grundlage dieser Studie auf die Neugestaltung oder gar die Zurückdrängung der Remote-Arbeit im Wissenschaftssystem zu drängen.“

„Unter Verwendung einer (allzu) simplen Metrik (‚D-score‘) schließen Lin et al. aus einer massiven Zitations- und Patentanalyse über den Zeitraum 1960 bis 2020, dass zwar die Kollaborationen von Wissenschaftlern, welche an verschiedenen Standorten forschen, zugenommen haben, diese ‚Distanzkooperationen‘ im Vergleich zur Forschung lokaler Teams aber weniger ‚disruptive‘, also bahnbrechende Ergebnisse hervorgebracht haben.“

„Ich bin sowohl gegenüber der Methodik des Artikels als auch den Schlussfolgerungen daraus sehr skeptisch. Das Ergebnis muss sich meiner Ansicht nach allein aufgrund der Methodik einstellen, stellt also ganz wesentlich ein Artefakt dar. Hauptkritikpunkte: Ob ein Befund bahnbrechend ist, lässt sich nicht mit einer Zahl von -1 bis + 1 messen, auch wenn dies in einigen hochrangig publizierten – von meist denselben Autoren – Studien behauptet wurde, mit ebenso fragwürdiger ‚Validierung‘. Nur ein paar Kritikpunkte, es gibt viel mehr. Der D-Score berücksichtigt weder unterschiedliche Publikationspraxen in den verschiedenen Wissenschaftsbereichen (Feldvariabilität), noch den Wandel der Publikationspraxen über die Zeit (zeitliche Verzerrung). Ein wichtiger Teil der Methodik dieser Studie verlässt sich zudem auf die Selbstauskunft der Rolle, welche Autoren bei einer Publikation gespielt haben. Jeder Wissenschaftler – schmerzlich insbesondere die Jüngeren – wissen, dass diese Angaben häufig gar nichts mit der Wirklichkeit zu tun haben, sondern viel mehr mit den Machtverhältnissen in den Forschungsgruppen. Der Fokus auf ‚Disruption‘ negiert zudem den Beitrag von sogenannter normaler Wissenschaft [6], welcher überhaupt erst die ‚Disruptionen‘ – die es in der Wissenschaft auch gar nicht gibt, wenn dann sind das Paradigmenwechsel – ermöglicht. Auch werden breitere gesellschaftliche Auswirkungen von wissenschaftlichen Ergebnissen, die ein wichtiger Aspekt einiger Forschungsbereiche sein können, gar nicht berücksichtigt. Die hier ausgerechneten Scores sind auf Grund der Komplexität der Methodik – inklusive eines Trainings mittels KI – so für andere Arbeitsgruppen auch nicht reproduzierbar. Selbst wenn man der Logik der Methodik folgt, und die gefundenen Scores für aussagekräftig hält, sind die Effektstärken gering (also der Effekt den ‚Distanz‘ auf ‚Disruption‘ haben soll) und bestechen mehr durch ihre statistische Signifikanz als durch tatsächliche Relevanz. Die Statistik ist aber fragwürdig, es fehlen quantitative Angaben zu Sensitivität, Spezifität, statistischer Power und weiteren Faktoren.“

„Warum wird das eigentlich in Nature publiziert: Weil es der Zeitschrift Aufmerksamkeit garantiert. Damit hat man ganz nebenbei einen Grund, warum neben vielen anderen Gründen Wissenschaft zunehmend ein Effektivitätsproblem hat. Das entspricht einem riesigen Investment bei abnehmendem Return. Weil wir ein Qualitätsproblem haben, und ‚spektakuläre‘ Befunde höher bewerten als solide. Mit all den Konsequenzen die das hat, in der Forschungsförderung, bei den Karrieren der Wissenschaftler, und weiteres. Aber das ist natürlich ein anderes Thema...“

Auf die Frage, inwiefern der geringere Anteil bahnbrechender Forschung daran liegen könnte, dass große Durchbrüche der Grundlagenforschung bereits stattgefunden haben:
„Das ist sicher eine wichtige Erklärung, die ‚niedrig hängenden Früchte‘ in allen Disziplinen wurden bereits gepflückt. Wir müssen uns immer weiter strecken, um noch Früchte vom Baum der Erkenntnis zu pflücken. Darin liegt auch die Rolle von Team Science, lokal wie remote. Die Zeit der Renaissance-Wissenschaftler und Einsteins ist vorbei, auch wenn uns das mit dem verstaubten Nobel-Preis weiterhin vorgegaukelt wird. Es braucht immer mehr kluge Köpfe und aufwendigere Techniken, um Neues zu finden beziehungsweise das gefundene abzusichern und auszuweiten – ‚normale Wissenschaft‘, wie Thomas Kuhn das nannte [6]. Daraus entsteht dann, eher selten und nicht vorhersagbar (wer das vorhersehen könnte, würde in kürzester Zeit zum Multimilliardär) der Paradigmenschift, das Bahnbrechende.“

„Die hier vorgestellte Dichotomie von ‚remote‘ (distanter‘) und lokaler, persönlicher Interaktion von Wissenschaftlern gibt es spätestens seit der Corona-Pandemie gar nicht mehr. Wissenschaftler kollaborieren heute via ZOOM oder Teams, in virtuellen interaktiven Szenarien, die genauso auch persönlich in der Cafeteria oder im Labor hätten stattfinden können. Und das über Tausende von Kilometern. Selbst wenn man die (für Nature-/Cell-/Science-Arbeiten) typisch gehypten Schlussfolgerungen mittragen könnte, wirft die Studie allenfalls einen Blick in die Vergangenheit, die keine praktische Relevanz mehr hätte. Wissenschaft findet mittlerweile in einer komplexen Mischung aus remote und lokaler Kooperation statt, selbst mit den Teamkollegen des eigenen Labors trifft man sich heute häufiger in Videocalls als im wirklichen Leben.“

Auf die Frage, was man gegen die in der Studie aufgezeigten Probleme von remote-arbeitenden Teams tun könnte:
„Wie oben ausgeführt halte ich dieses Teilergebnis einerseits für trivial. Wenn eine Reihe von Forschergruppen kollaborieren, erhöht sich die Anzahl der Autoren und die Konzeption, Durchführung, Analyse, Diskussion verteilt sich auf mehr Personen. Für den Einzelnen sinkt damit die Wahrscheinlichkeit, ein ‚Häkchen‘ bei ‚Conception (= Ideengenerierung)‘ zu bekommen. Dies allerdings unproportional bei ‚Jüngeren‘ und ‚Älteren‘. Das liegt an der Power-Dynamik in den Forschergruppen. Jüngere bringen nicht seltener ihre Ideen ein, die Älteren schmücken sich nur häufiger mit diesen in Form von wichtigen Autorenpositionen.“

„Aus meiner Sicht ist es nicht ohne weiteres möglich, aus den Adressangaben wissenschaftlicher Veröffentlichungen zu schlussfolgern, ob diese Studie gemeinsam vor Ort oder remote entstanden ist. Adressangaben enthalten mitunter die Heimateinrichtung eines Wissenschaftlers / einer Wissenschaftlerin und keine Angabe darüber, wo diese Studie entstanden ist. In vielen Fällen wird in der Affiliation die Adresse der eigenen Heimateinrichtung angegeben und im Acknowledgement für einen Gastaufenthalt gedankt. Somit halte ich es nicht für plausibel, aus der Affiliation eine Schlussfolgerung darüber zu ziehen, in welcher Form – physisch oder remote – ein Autorenteam zusammengearbeitet hat.“

„Zum anderen halte ich es nicht für möglich, aus den Referenzen einer Publikation etwas zur Disruptivität von dieser zu sagen. Disruptivität ist nicht nur eine Frage der Herkunft von Wissen, sondern auch eine Frage der Relevanz in der Gesellschaft. So wurde zum Beispiel die erste Version der Mikrowelle zum Ladenhüter, weil es den notwendigen gesellschaftlichen Umbruch nicht gegeben hatte. Erst als dieser vollzogen war, wurde die Mikrowelle erfolgreich. Wenn es so einfach wäre, Disruptivität herzustellen, wie in der Studie beschrieben, würden das in Zukunft alle so machen. Aus meiner Sicht erfordert Disruptivität aber ein ganzheitliches Denken von der Theorie bis in die Praxis. Erst dort entscheidet sich, wie disruptiv eine Idee am Ende ist.“

„Kreative wissenschaftliche Zusammenarbeit erfordert Spontanität und Lebhaftigkeit, wie sie nur in persönlichen Begegnungen möglich ist. Das gilt insbesondere für die nicht planbaren Anteile, bei denen es um die Exploration von neuen Ideen, konzeptionelle Fragen und die unerwartete Einbeziehung neuer Aspekte geht. Ein solches Brainstorming erfordert auch gegenseitiges Vertrauen und eine Vertrautheit, die nur in räumlicher Nähe entsteht. Die Wissenschaftsgeschichte hält dafür viele Beispiele bereit, schließlich gab es auch vor den digitalen Medien die Alternative zwischen einem Austausch aus der Ferne und der unmittelbaren Begegnung.“

„Der D-Score ist ein Versuch zu quantifizieren, wie bahnbrechend oder ,disruptiv’ ein Forschungsartikel (oder Patent) ist, im Vergleich zu Arbeiten, die schrittweise bestehende Einsichten vertiefen oder in Technologien und Produkte umwandeln. Allerdings lässt sich anhand der vorhandenen Information über die allermeisten Forschungsartikel gar nicht sagen, wie bahnbrechend die Studie ist. Der D-Score ist ein Hilfsmittel, das – basierend auf den wenigen einfach verfügbaren Informationen über einen Artikel (im Wesentlichen Zitationsstatistiken: welcher Artikel zitiert welche anderen Artikel) – dennoch eine solche Analyse ermöglichen soll. Der D-Score hat nicht den Anspruch, im Einzelfall korrekt zu sein, sondern will nur auf statistischer Ebene mit Disruption korrelieren. Aber selbst für diesen Anspruch gibt die vorliegende Arbeit kaum empirische Evidenz. Ich konnte die Plausibilität des D-Scores nicht nachprüfen (zum Beispiel anhand von Stichproben), da die Daten proprietär sind.“

„Die Autoren wählten eine bestimmte mathematische Definition (Formel) des D-Scores. Allerdings gäbe es eine Reihe ebenso plausibler alternativer Definitionen. Es geht aus dem Text nicht hervor, warum die Autoren genau diese eine Formel wählten.“

„Obwohl der D-Score im Prinzip von -1 bis 1 variiert, liegt sein tatsächlicher Wertebereich eng um Null herum: Für 95 Prozent aller Artikel liegt er zwischen -0.04 und +0.04. Die Studie macht nicht deutlich – auch weil die Daten, auf denen die Analyse basiert, nicht öffentlich zugänglich sind – inwieweit die Schlussfolgerungen auf solch kleinen Unterschieden beruhen und inwieweit die behaupteten Unterschiede wirklich für die Praxis relevant sind.“

„Man muss berücksichtigen, dass Korrelation nicht Kausalität ist. Laut der Studie sollen remote Teams tendenziell weniger bahnbrechende Innovation liefern. Es geht allerdings aus der Analyse nicht hervor, ob das so ist, weil die Entfernung den Projektausgang bestimmt, oder weil, zum Beispiel, bestimmte Projekte von vornherein mehr oder weniger innovativ aufgestellt wurden. Oder ob andere, dritte Faktoren beides bedingen.“

„Um aus dieser Analyse wirklich praktische Konsequenzen zu ziehen, müsste man – was hier aber nicht getan wurde – auch Kosten und Praktikabilität mit in die Analyse einfließen lassen: Ein äquivalentes Team lokal zusammenzusetzen wird oft im Vergleich zu einem remote Team wesentlich teurer sein, länger dauern, oder einfach gar nicht praktikabel sein. Die Daten des Papers sagen hierzu nichts aus. In Anbetracht des nicht besonders großen festgestellten Unterschieds im Output per Projekt könnte es aber sein, dass remote Teams mehr Disruption per eingesetzte Ressourcen produzieren.“

Auf die Frage, inwiefern der geringere Anteil bahnbrechender Forschung daran liegen könnte, dass große Durchbrüche der Grundlagenforschung bereits stattgefunden haben:
„Das halte ich für Unsinn und ein Zeichen mangelnder Phantasie. Die Idee, dass die großen Durchbrüche der Grundlagenforschung bereits stattgefunden haben, gibt es schon mindestens seit den 1860er Jahren, und war damals wahrscheinlich genauso falsch wie heute.“

„Remote-Formate ermöglichen mehr Diversität und Inklusion. Es können Leute zusammenarbeiten, die nicht am gleichen Ort wohnen, oder die aus verschiedenen Gründen nicht zu den gleichen Kernzeiten an einem bestimmten Ort anwesend sein können. Das Ermöglichen von remote-Formaten kann somit durch die Einbindung von Personen mit diverseren geographischen, kulturellen und sozialen Hintergründen durchaus zu mehr Innovation führen.“

„Remote versus räumliche Nähe schließen sich nicht gegenseitig aus. Viele erfolgreiche Teams, die ich kenne, vereinbaren beides, zum Beispiel indem sie sich regelmäßig persönlich zu Retreats, Workshops und dergleichen treffen, und dann die Arbeit remote mit Hilfe elektronischer Kommunikations- und Cloud-Technologien weiterführen. Meiner Erfahrung nach ist der soziale Faktor des Team Building und der persönlichen Vertrautheit wesentlich für eine funktionierende Kollaboration. Konflikte und Missstimmungen lassen sich von Angesicht zu Angesicht zweifellos besser lösen als per Chat oder E-Mail. Nichtsdestotrotz bedeutet das nicht, dass man ständig im gleichen Raum oder im gleichen Gebäude sitzen muss.“

„Die aktuelle Studie beruht auf Daten von 1960 bis 2020. Viele der heute wichtigen Kollaborationsinstrumente wie Videokonferenzen, Office-Software in der Cloud, GitHub, E-Mail und Chat Tools sind viel jünger als dieser Zeitraum. Auch die COVID-19-Pandemie hat Arbeits- und Interaktionsmuster verändert, geht aber in die aktuelle Studie nicht ein. Es ist meines Erachtens deshalb überhaupt nicht sicher, ob Aussagen wie ,junge Forschende bringen seltener ihre Ideen ein‘ wirklich korrekt sind, oder ob remote-Formate nicht gerade die Teilnahme jüngerer und weniger privilegierter Personen an manchen Projekten überhaupt erst ermöglichen.“