Sprachmodell von Meta zur Vorhersage von Proteinstruktur

„Es ist eine ausgezeichnete Studie, die methodisch sehr sorgfältig durchgeführt wurde. Sie demonstriert eindrucksvoll, in welchem Maße Methoden der Künstlichen Intelligenz und Sprachmodelle auch auf andere Bereiche, hier die Molekularbiologie, ausstrahlen können. Der große Traum der Proteinstrukturvorhersage war es, basierend auf der Proteinsequenz die dreidimensionale Struktur vorherzusagen. In vielen Fällen gelingt dies mittlerweile. Die hohe Geschwindigkeit der Vorhersagen von ESMFold ist beeindruckend.“

Auf die Frage, inwiefern das vorgestellte Modell ein Fortschritt ist und was Vor- und Nachteile gegenüber bisherigen State-of-the-Art Methoden sind:
„Zunächst möchte ich kurz darauf hinweisen, dass die aktuelle Version von AlphaFold, AlphaFold2 (AF2), sich in der Modellarchitektur stark von AlphaFold 1 unterscheidet. Insbesondere AF2 war ein extrem beeindruckender Fortschritt.“

„Die vorliegende Veröffentlichung wiederum verfolgt technisch einen anderen Ansatz als AF2 durch die Nutzung großer Sprachmodelle mit einer gewaltigen Menge von bis zu 15 Milliarden Parametern. Zudem finde ich es interessant, dass die Trainingsdaten nicht nur aus experimentell bestimmten Proteinstrukturen bestehen, sondern auch aus mit AF2 vorhergesagten Strukturen. Verglichen mit AF2 ist in ESMFold die Geschwindigkeit der Vorhersage stark verbessert, wobei jedoch die Genauigkeit der Vorhersage minimal geringer – aber immer noch sehr hoch – ist. Den vorliegenden ESM Metagenomic Atlas empfinde ich als spannende Demonstration von ESMFold.“

Auf die Frage, wie sich das Forschungsfeld seit AlphaFold verändert hat und wie solche KI-Programme mittlerweile in der Praxis eingesetzt werden:
„Das gesamte Forschungsfeld der Strukturvorhersage hat sich schon vor AlphaFold in der letzten Dekade gewandelt. Es gab basierend auf Analysen der evolutionären Mutationsmuster zunächst sogenannte Kontaktvorhersagen, die Strukturvorhersagen wesentlich verbessern konnten. Später ab etwa 2017 kamen dann immer mehr Methoden des tiefen Lernens hinzu. Insbesondere AlphaFold war ein unglaublicher Fortschritt, der das Feld stark weiterentwickelt hat. Für viele Klassen von Proteinen waren plötzlich mit geringem Aufwand Vorhersagen verfügbar, die die Genauigkeit von experimentellen Messungen erreicht haben. Dazu muss man wissen, dass solche Experimente durch Synthese, Aufreinigung und Messung beziehungsweise Strukturbestimmung sehr aufwendig werden können. Die einfache und genaue Vorhersage von Proteinstrukturen durch KI-Programme hat mittlerweile große Verbreitung und ermöglich neue Studien in vielen Gebieten. So profitiert nicht nur die Grundlagenforschung etwa in der Molekularbiologie und Biophysik, sondern auch verwandte Gebiete mit Anwendungsbezug wie Pharmazie und Medizin.“

Auf die Frage, in welchen Bereichen solche Modelle schon zu Verbesserungen in der Praxis geführt haben und bei welchen Problemen sie noch scheitern:
„Um die Funktionsweise von Proteinen im Detail zu verstehen, aber auch um zum Beispiel Medikamente zu entwickeln, die mit bestimmten Oberflächenstrukturen von Proteinen wechselwirken, ist eine Kenntnis der molekularen Struktur von Proteinen wesentlich. Für viele Proteine funktionieren die Verfahren mit hoher Zuverlässigkeit und Genauigkeit. Derzeit sind allerdings noch nicht alle Klassen von Biomolekülen durch Vorhersagemodelle mit einer solchen hohen Zuverlässigkeit der Vorhersagen zugänglich. Dazu zählen bestimmte Proteinklassen wie zum Beispiel intrinsisch ungeordnete Proteine, Proteine mit Kofaktoren oder große Proteinkomplexe. Was ich aus der Studie zudem nicht herauslesen kann, ist die Genauigkeit für Vorsagen von Proteinstrukturen mit Mutationen oder mit chemischen Modifikationen, was bei der gezielten Veränderung von Proteinen und von Proteineigenschaften relevant ist. Auch für andere Biomoleküle wie zum Beispiel RNS, für die deutlich weniger Trainingsdaten für die KI-Modelle vorliegen, gibt es derzeit noch keine zuverlässigen Vorhersagen.“

„Eine wichtige Informationsquelle für die Proteinstrukturvorhersage waren bisher korrelierte genetische Variationen, die durch den Vergleich von vielen ähnlichen Sequenzen in Datenbanken gefunden wurden und Hinweise auf räumliche Anordnung lieferten. Ein sehr interessanter Aspekt von ESMFold ist, dass diese Information nun nicht mehr explizit verwendet wird, sondern vom Sprachmodell implizit gelernt wurde.“

„Obwohl ESMFold nicht die gleiche Genauigkeit wie AlphaFold2 oder RoseTTAFold erreicht, berechnet ESMFold die Strukturen deutlich schneller, um ein bis zwei Größenordnungen. Allein die höhere Geschwindigkeit hat einen Wert und ermöglicht es, Fragestellungen zu bearbeiten, die bisher nicht erreichbar waren.“

Auf die Frage, wie sich das Forschungsfeld seit AlphaFold verändert hat und wie solche KI-Programme mittlerweile in der Praxis eingesetzt werden:
„AlphaFold ist mittlerweile fester Bestandteil der täglichen wissenschaftlichen Arbeit in der Strukturbiologie geworden. Es ist natürlich klar, dass nicht alle AlphaFold-Modelle korrekt sind, aber sie liefern oft interessante Arbeitshypothesen, neue Fragestellungen und helfen, gezieltere Experimente zu planen.“

„Die Studie präsentiert einen innovativen Ansatz, Sprachmodelle zur Vorhersage von Proteinstrukturen zu nutzen und dabei eine relativ gute Genauigkeit zu erzielen. Der Vorteil beim Einsatz von Sprachmodellen zur Strukturvorhersage liegt im Vergleich zu Ansätzen wie AlphaFold oder RoseTTAFold darin, dass keine Sequenz-Alignements berechnet werden müssen. Zum einen ist dieser Schritt rechnerisch aufwendig, Methoden wie ESMFold sind dadurch deutlich schneller. Zum anderen bestand die Hypothese, dass Sprachmodelle für ‚orphan proteins‘ – also Proteine ohne nahe Verwandte, für die daher keine aussagekräftigen Sequenz-Alignements berechnet werden können – die Genauigkeit von Strukturvorhersagen erhöhen könnten. In der aktuellen Ausgabe des CASP-Experiments (CASP15) [1] konnten auf Sprachmodellen basierende Vorhersagemethoden wie ESMFold diese Erwartung jedoch nicht erfüllen.“

„Auch wenn die Genauigkeit der Vorhersagen heute noch nicht den aktuellen Stand der Technik – zum Beispiel AlphaFold2 – erreicht, sehe ich in der Verwendung von Sprachmodellen zur Vorhersage von Proteinstrukturen hohes Entwicklungspotenzial für die Zukunft.“

Auf die Frage, inwiefern das vorgestellte Modell ein Fortschritt ist und was Vor- und Nachteile gegenüber bisherigen State-of-the-Art Methoden sind:
„Ich betrachte ESMFold als wichtigen ‚proof-of-concept‘ dafür, dass Sprachmodelle im Prinzip erfolgreich zur Vorhersage von Proteinfaltung benutzt werden können. Die Geschwindigkeit der Vorhersagen ist – zumindest bis zu einer Sequenzlänge von 1024 Aminosäuren wie in Figur S2 gezeigt – bedeutend höher als beispielweise für AlphaFold2, allerdings zum Preis einer geringeren Genauigkeit der Vorhersagen. Der ESMFold-Atlas beinhaltet eine deutlich größere Anzahl an Proteinmodellen als die AlphaFold-Datenbank. Für welche Anwendungen diese zusätzlichen Modelle einen Mehrwert gegenüber den mehr als 200 Millionen Proteinen in der AlphaFold-Datenbank bieten, welche die meisten Organismen und natürlich vorkommenden Proteinfamilien abdecken, lässt sich zum jetzigen Zeitpunkt schwer abschätzen.“

„Für viele praktische Anwendungen in den Life Sciences ist die Genauigkeit eines Proteinmodells das ausschlaggebende Kriterium. In der aktuellen Ausgabe des CASP15-Experiments basieren die genauesten Methoden auf AlphaFold oder verwandten Ansätzen. Im Vergleich dazu lieferten auf Sprachmodellen basierende Methoden deutlich weniger genaue Vorhersagen [2] [3] [4] [5].“

Auf die Frage, wie sich das Forschungsfeld seit AlphaFold verändert hat und wie solche KI-Programme mittlerweile in der Praxis eingesetzt werden:
„AlphaFold hatte einen sehr großen Einfluss auf das Forschungsgebiet und schon kurze Zeit nach der Veröffentlichung der AlphaFold-Software wurde diese für verschiedenste Anwendungen weiterentwickelt und angepasst. Die Verfügbarkeit von zuverlässigen 3D Modellen für (fast) alle Proteine eines Organismus ermöglicht ein breites Spektrum an Anwendungen, wie zum Beispiel die effektive Planung von Laborexperimenten oder die Interpretation von Mutationen in menschlichen Proteinen und Krankheitserregern [6] [7].“

Auf die Frage, inwelchen Bereichen solche Modelle schon zu Verbesserungen in der Praxis geführt haben und beiwelchen Problemen sie nochscheitern:
„In den letzten Jahren hat sich die Proteinstrukturvorhersage als ein wichtiges Werkzeug in den Life Sciences durchgesetzt, welches die experimentelle Strukturbestimmung ergänzt.“

„Die Verfügbarkeit von hochqualitativen Modellen für die meisten Proteinfamilien erlaubt es, systematisch nach strukturellen Ähnlichkeiten zwischen Proteinen zu suchen. Diese strukturellen Verknüpfungen ermöglichen es, Zusammenhänge zwischen Proteinen sichtbar zu machen, die aufgrund der Sequenzen nicht nachweisbar wären. Sie ermöglichen so die funktionale Charakterisierung bisher unbekannter Proteinfamilien [8].“

„Die experimentelle Strukturbestimmung wird bedeutend vereinfacht, indem akkurate Vorhersagen als Ausgangsmodelle in der Röntgenkristallographie oder in der cryo- Elektronenmikroskopie dienen.“

„Ein bisher noch ungelöstes Problem der Proteinstrukturvorhersage sind alternative Konformationen von Proteinen, also Bewegungen, welche zum Beispiel durch die Bindung eines Liganden oder anderer Makromoleküle hervorgerufen werden können.“

„Zudem besteht bei der Vorhersage der strukturellen Folgen von Mutationen noch viel Verbesserungsbedarf. Möglicherweise besteht in diesem Bereich das größte Potential für den Einsatz von Sprachmodellen zur Vorhersage von Proteinstrukturen.“