KI-Modelle bei der Vorhersage seltener Wetterextreme unterlegen

„Die Aussagen des Papers sind grundsätzlich stichhaltig. Aber es besteht die Gefahr, dass die Rezeption dieser Studie zu Falschaussagen führt. Es geht in der Veröffentlichung ganz konkret um ‚record-breaking extremes‘. Das sind die letzten zwei Prozentpunkte einer Häufigkeitsverteilung.“

„Demgegenüber gab es lange Zeit die vorherrschende Meinung, dass KI-Modelle generell nicht in der Lage sind, Extremwetterereignisse gut vorherzusagen. Das bezog sich auf frühere Veröffentlichungen. In denen konnten zwar Zugbahnen von großen Wirbelstürmen akkurat bestimmt werden, die Intensität des Sturms wurde aber immer zu schwach simuliert. Das hat sich in der Zwischenzeit geändert: Die aktuellen KI-Wettermodelle können Ereignisse bis etwa zum 95. Perzentil sehr gut vorhersagen– das sind schon sehr heftige Stürme“

„Das Problem ist in der Tat, dass Extremereignisse sehr selten sind und daher in den Trainingsdaten so gut wie nicht vorkommen. Und, ja, die KI-Modelle können nicht gut extrapolieren. Aber ein bisschen was geht da schon.“

„Dennoch ist es möglich, dass man in Zukunft KI-Modelle sehen wird, die auch die stärksten Extremereignisse hinbekommen. Das könnte gelinge, indem man zum Training auch synthetische Daten benutzt. Dieser Ansatz wird in anderen Disziplinen erfolgreich eingesetzt. Hierzu braucht man dann klassische numerische Modelle, welche eine genügende Fallzahl solcher Extremereignisse in guter Qualität produzieren können.“

„Rein datengesteuerte Machine-Learning-Modelle haben sich bei der Wettervorhersage bis zu 14 Tage im Voraus als äußerst erfolgreich erwiesen. Darin übertreffen sie sogar herkömmliche physikalische Wettervorhersagemodelle. Solche Machine-Learning-Modelle werden jedoch auf historischen Daten trainiert. Aus diesem Grund ist nicht zu erwarten, dass sie bei den extremsten Wetterereignissen gut funktionieren. Denn diese kommen in den Trainingsdaten selten vor.“

„Beispiellose Extremereignisse fehlen per Definition gänzlich in den Trainingsdaten. Die vorliegende Studie bestätigt die Erwartung, dass physikalische Modelle bei der Vorhersage solcher Ereignisse immer noch besser sind als datengesteuerte Modelle.“

„Im Grunde genommen sind Machine-Learning-Modelle nicht in der Lage, über ihre Trainingsverteilung hinaus zu extrapolieren. Über die Wettervorhersage hinaus ist diese Tatsache besonders für Klimaprognosen relevant. Dies gilt insbesondere, wenn versucht wird, auf historischen Daten trainierte Modelle des maschinellen Lernens für Klimaprognosen einzusetzen. Diese können unmöglich die Merkmale zukünftiger extremer Wetterereignisse erlernen.“

„Der menschengemachte Anstieg der Treibhausgaskonzentrationen und der damit verbundene Klimawandel stellen für Machine-Learning-Modelle ein klassisches Out-of-Sample-Problem dar (Modell performt auf neuen, nicht zu den Trainingsdaten gehörenden Daten schlechter; Anm. d. Red.). Wir sollten nicht erwarten, dass solche Modelle unter zukünftigen Klimabedingungen funktionieren, die in den historischen Trainingsdaten nicht vorkommen.“

„Die Studie zeigt systematisch, dass gängige KI-Wettermodelle bei noch nie dagewesenen Rekordereignissen größere Vorhersagefehler machen als das physikbasierte HRES-Modell des Europäischen Wetterdienstes ECMWF. Das ist ein wichtiges Ergebnis, aber kein überraschendes: Rein datengetriebene Modelle lernen aus der Vergangenheit. Was dort nicht aufgetaucht ist, können sie zunächst schlechter abbilden.“

„Entscheidend für die Einordnung ist jedoch, dass die getesteten Modelle GraphCast, Pangu-Weather und Fuxi nicht mehr zur aktuellen Generation an KI-Wettermodellen gehören. Sie sind alle deterministisch. Das heißt, sie berechnen eine einzelne Vorhersage ohne jede Unsicherheitsangabe. Neuere, probabilistische und generative Modelle wie beispielsweise AIFS-CRPS des ECMWF wurde nicht untersucht. Dieses Modell erzeugt explizit Ensembles möglicher Wetterverläufe und sollte besser geeignet sein, um Extreme vorherzusagen. Grundsätzlich hat die Schwäche bei Extremen aber strukturelle Gründe.“

„KI-Wettermodelle haben den Nachteil, dass sie atmosphärische Dynamiken aus historischen Daten erlernen müssen. Das bedeutet, dass Zustände, die im Training nicht oder kaum vorkamen, schlechter abgebildet werden. Physikbasierte Modelle haben hier einen konzeptuellen Vorteil: Sie lösen Erhaltungsgleichungen und sind dadurch nicht an die Grenzen des Beobachteten gebunden. Das macht sie nicht zur universell besseren Lösung, denn sie sind rechenintensiv und haben eigene systematische Fehler. Aber KI-Modelle müssen noch besser darin werden, in ungesehene Zustände zu extrapolieren.“

„Dazu gibt es verschiedene Ansätze: etwa hybride Architekturen, die atmosphärische Physik als Lernziel verankern, oder den gezielten Transfer von Wissen aus anderen Regionen der Welt – 40 Grad in Europa mag selten sein, vergleichbare Temperaturen in anderen Teilen der Welt dagegen nicht. Am vielversprechendsten erscheinen derzeit probabilistische, generative Modelle. Diese sollten mit Klimainformationen angereichert sein und über die historisch beobachteten Zustände hinaus extrapolieren können.“

„Wichtig ist zu beachten, dass KI-Wettermodelle nicht grundsätzlich an allen Extremen scheitern und dass physikbasierte Modelle sicherlich noch weiter eine Rolle spielen werden. Die Studie testet eine spezifische Klasse von Ereignissen. Sie testet lokale Rekordüberschreitungen mit deterministischen Modellen, die nicht mehr ganz dem aktuellen Stand der Forschung entsprechen. Sie zeigt aber sehr gut, dass diese KI-Modelle im Moment keine ausreichend gute Leistung bei Extremereignissen liefern. Die gute Nachricht: Die Forschungsgemeinschaft arbeitet aktiv an den identifizierten Schwächen.“

„Wie in vielen Bereichen der Gesellschaft und der Wissenschaft hat die KI in den letzten Jahren auch in der Wettervorhersage substanzielle und erstaunliche Fortschritte gemacht. Eine kritische Überprüfung und Evaluierung sind jedoch erforderlich, um Vertrauen in diese Modelle aufzubauen und ihre Leistungsgrenzen zu verstehen.“

„KI-Modelle verstehen die Physik nicht. Sie lernen ausschließlich aus den Daten, die ihnen vorliegen. Aus diesem Grund schneiden sie im Allgemeinen unter Bedingungen am besten ab, die ihrem Training ähneln. Vergleichbar mit großen Sprachmodellen wie ChatGPT sind KI-basierte Wettervorhersagen gut darin, das Gelernte zu kopieren und in verschiedenen Varianten zu reproduzieren.“

„Diese Studie liefert eine wichtige Warnung: Diese KI-basierten Vorhersagen schneiden weniger gut bei der Prognose von Bedingungen ab, die sie in ihrem Training nicht gesehen haben. Das sind wie etwa rekordbrechenden Extremereignissen. Rekordbrechende Extreme haben oft erhebliche sozioökonomische Auswirkungen. Diese Schwierigkeit beeinträchtigt bei der Vorhersage von Extremen derzeit den Einsatz von KI-basierten Wettervorhersagen für Frühwarnsysteme.“

„Ebenso wie beim Training von KI-Modellen ist auch bei deren Evaluierung die Datenverfügbarkeit oft ein limitierender Faktor. Diese Studie präsentiert Evaluierungen auf Basis von nur ein bis zwei Jahren an Daten. Dies ist zwar geeignet, um das Problem zu veranschaulichen, doch eine systematischere und umfassendere Evaluierung wäre wünschenswert. Nur so lässt sich die Größenordnung des Problems vollends verstehen und sicherstellen, dass die Ergebnisse nicht durch Zufallseffekte bei der Datenauswahl beeinflusst wurden.“

„KI‑Modelle können schon heute Extremereignisse vorhersagen und bewegen sich damit auch außerhalb ihres Trainingsdatenbereichs. Dass aktuelle KI‑Modelle stärker geglättete Vorhersagen liefern als physikalische Modelle, beruht auf der Art der beim Training eingesetzten Strafterme (Methode zur Anpassung von KI-Modellen im maschinellen Lernen; Anm. d. Red.) und ist zu erwarten. Es gibt verschiedene Ansätze, die darauf abzielen, das Training auf Extremereignisse auszurichten. Diese werden in der Forschung intensiv verfolgt.“

„Die Physik der Atmosphäre ist in der Vergangenheit und in der Zukunft dieselbe. Modelle beschreiben grundsätzlich dieselbe Physik in den Tropen wie in den gemäßigten Breiten. Das gilt auch für KI‑basierte Modelle. Um die Unsicherheit in der Modellierung abzubilden, werden Ensembles von Vorhersagen eingesetzt. Das könnte ein gangbarer Weg für die Zukunft der Vorhersage sein. In Zukunft wollen wir physikalische und KI‑basierte Vorhersagen in einem Gesamtsystem kombinieren. Der Deutsche Wetterdienst (DWD) hat dafür bereits mit dem Aufbau eines kombinierten Ensemble-Systems begonnen: sein globales KI‑System AICON läuft operationell parallel zu den physikalischen ICON‑Vorhersagen.“

„KI‑Modelle optimieren während des Trainings eine Verlustfunktion (Strafterme). Die Modelle werden mit einer Auswahl von meteorologischen Fällen konfrontiert, sogenannten Reanalysen. Daraus lernen sie und passen dabei ihre Vorhersagen an diese Situationen an. Derzeit gibt es zwei wichtig Schritte, um KI-Modelle insbesondere für High-Impact-Situationen zu verbessern: Extremereignisse in ihrer Repräsentation im Trainingsdatensatz angemessen zu berücksichtigen und die Verlustfunktion gezielt auf Extremereignisse anzupassen.“

„KI‑Modelle bieten neue und weitreichende Möglichkeiten für die meteorologische Modellierung und Vorhersage. Gleichzeitig gibt es einen großen, reichen Schatz an hochqualitativen physikalischen Modellen, in denen viele Details atmosphärischer Prozesse explizit berücksichtigt und dargestellt werden. Eine Kombination beider Welten in einem hybriden Vorhersagesystem erscheint als Königsweg. Damit könnten die Vorteile der jeweiligen Methoden vollständig der Gesellschaft zur Verfügung gestellt werden.“

„Die folgende Frage ist entscheidend für die praktische Nutzbarkeit von KI-Modelle: Können KI-basierte Wettermodelle auch Extremereignisse, die am Randbereich der statistischen Verteilung liegen, akkurat simulieren? KI-Modelle schneiden bei der Vorhersage ‚normaler‘ Wetterbedingungen häufig besser ab. In der aktuellen Studie wurde nun gezeigt, dass dies für Extremereignisse wie neue Hitzerekorde, Kälterekorde und Windrekorde nicht der Fall ist. Im Gegenteil: Umso extremer das Ereignis, desto stärker unterschätzen die KI-Modelle die Ereignisse im Vergleich zur herkömmlichen Vorhersage. KI-Wettermodelle sagen tatsächlich eingetretene Rekorde nicht nur zu schwach (Intensität), sondern auch zu selten voraus (Häufigkeit).“

„Dies ist ein wichtiges Ergebnis für die Bewertung von KI-Wettermodellen. Es zeigt, dass auf KI-basierenden Modellen, also datenbasierter Extrapolation, bei solchen extremen Ereignissen nicht uneingeschränkt vertraut werden kann: Dies ist eine Schlussfolgerung, die nicht ganz unerwartet ist. Denn Vorhersagen von KI-Modellen haben häufig die Tendenz, Extreme zu unterschätzen. Dennoch ist meines Erachtens der deutliche Unterschied zwischen KI-Modellen und dem physikalischen Modell bemerkenswert. Und die Schlussfolgerung ist höchst relevant für die gesellschaftliche Nutzbarkeit von KI-Wettermodellen.“

„Eine methodische Einschränkung der Studie ist, dass nur die Jahre 2018 und 2020 ausgewertet wurden. Außerdem wurden darin nur Rekordereignisse betrachtet. Es bleibt abzuwarten, ob sich die Ergebnisse für weitere Jahre und Extremereignisse genauso systematisch bestätigen – wovon auszugehen ist.“

Auf die Frage, ob physikalische, numerische Modelle die „Lebensversicherung“ der Extremwetter-Prognose bleiben werden : „Physikalische Modelle bleiben das zentrale Werkzeug für die Prognose von Extremereignissen, insbesondere im Kontext des Klimawandels. Sie basieren auf fundamentalen physikalischen Gesetzmäßigkeiten und können daher auch Zustände jenseits der beobachteten Vergangenheit plausibel beschreiben. KI-Modelle hingegen werden auf historischen Reanalysedaten trainiert. Deshalb sind sie auf den Bereich der beobachteten Variabilität begrenzt.“

„Gleichzeitig ist der Fortschritt bei KI-Wettermodellen und KI in der Klimaforschung in vielerlei Hinsicht beeindruckend. So kann beispielsweise eine hybride Kombination von physikalischen Gesetzmäßigkeiten und KI zu besseren Modellen und auch besserer Extrapolation führen. Gleiches gilt für gezieltes Training auf physikalischen Simulationen von sehr extremen Ereignissen. Die Entwicklung bleibt also spannend: Vermutlich liegt die Zukunft nicht in einem ‚entweder Physik oder Daten‘, sondern eher in einer cleveren Kombination beider Ansätze.“

Auf die Frage, welche Konsequenzen sich für den Einsatz von KI in der Wettervorhersage ergeben, und wie KI-Modelle für seltene Extremereignisse verbessert werden könnten: „KI-Wettermodelle sind aktuell nicht ausreichend zuverlässig, um zum Beispiel für Wetterwarnungen genutzt zu werden. Als Ergänzung zu physikalischen Modellen sowie unter Beachtung der Einschränkungen dieser Modelle können diese dennoch sehr nützlich sein.“