Sprachmodelle entwickeln unerwünschte Verhaltensweisen

„Das beschriebene Fehlverhalten ist für sich genommen in der Praxis relevant, aber das Szenario als Ganzes ist arg konstruiert. Ich würde das Ergebnis der Studie so zusammenfassen: Wenn man das gute Verhalten eines Modells auf einer Dimension in sein schädliches Gegenteil verkehrt, dann kann das dieselbe Verkehrung auf anderen Dimensionen nach sich ziehen.“

„In einem möglichen Szenario hätte ein böswilliger Akteur Kontrolle über das Modell. Es spielt dann kaum eine Rolle, ob neben dem intendierten schädlichen Verhalten, das der Akteur ausnutzen will, noch weitere Sicherheitsmechanismen ausgehebelt werden. Böswillige Akteure werden deswegen nicht mehr Schaden anrichten können. Andererseits: Wer die Modelle wie vorgesehen verwendet, ist nicht betroffen.“

„Insofern halte ich die Studie nicht für praxisrelevant. Sie trägt aber zu unserem Verständnis der Komplexität der Prozesse bei, die zum Sichermachen der Modelle verwendet werden.“

Auf die Frage, wie schwierig es grundsätzlich ist, Sprachmodelle zu Fehlerverhalten zu bringen:
„Der Fall von Adam Raine zeigt, dass dies durchaus möglich ist und auch geschieht (Adam Raine war ein US-amerikanischer Teenager, der sich im Frühling 2025 das Leben nahm. Zuvor hatte er mit dem Chatbot ChatGPT monatelang über seine Pläne gesprochen. Der Chatbot hatte in einigen Anfragen nicht wie vorgesehen auf die Äußerungen reagiert; Anm. d. Red.) [1].“

„Da wir die Modelle nur unzureichend verstehen, sind die aktuellen Methoden zur Sicherung heuristisch und riskant. Langfristig ist die einzig erfolgversprechende Strategie, ein tieferes Verständnis der zugrunde liegenden Mechanismen in den Modellen zu gewinnen. Momentan tappen wir im Dunkeln.“

„In meiner Interpretation sagen die Autor:innen der aktuellen Studie genau das: ‚More broadly, these findings underscore the need for a mature science of alignment, which can predict when and why interventions may induce misaligned behaviour.‘“

„Zum Schluss würde ich gerne spekulieren, was das emergente Fehlverhalten verursachen könnte. Wenn einem Menschen mit festen Werten ein Pfeiler seines Wertesystems wegbricht, dann kann das dazu führen, dass er das Wertesystem insgesamt in Frage stellt. So könnte es auch bei Sprachmodellen sein: Wenn man versucht, einen zentralen Wert ‚chirurgisch‘ umzudrehen, dann wird das System der Werte als Ganzes durcheinandergebracht.“

„Die Studie ist nach meiner Einschätzung überzeugend und solide: Das Autorenteam hat verschiedene aktuelle Modelle untersucht und dabei konsistent eine signifikante Erhöhung des Misalignment, also des Fehlverhaltens, beobachtet.“

„In einer Vorarbeit des Autorenteams wurden Modelle zunächst auf das Generieren von unsicherem Code feinabgestimmt [2]. Diese Modelle zeigten auch Fehlverhalten bei Anfragen (Prompts), die nichts mit Code-Generierung zu tun hatten. Das kann also nicht durch die Feinabstimmung erklärt werden. Beispielsweise machten solche Modelle auf Freiform-Fragen Vorschläge, die illegal und unmoralisch waren.“

„Ähnliche Effekte ließen sich im Vorgängerartikel auch beobachten. Wenn Modelle feinabgestimmt wurden, um andere problematische Textklassen zu erzeugen, wie falsche medizinische Beratung oder gefährliche Extremsportvorschläge.“

„Überraschend ist vor allem, dass ein sehr enges Fine-Tuning – zum Beispiel unsicheren Code erzeugen – breites Fehlverhalten in völlig anderen Kontexten auslösen kann. Von den feinabgestimmten Modellen wird also nicht nur mehr unsicherer Code erzeugt, sondern auch höchst problematische Antworten auf Freiform-Fragen.“

„Interessanterweise ist aus der Gruppe des Senior-Autors, Owain Evans, eine weitere aktuelle Arbeit erschienen, die ein anderes überraschendes emergentes Verhalten zeigt: Im sogenannten Teacher-Student-Training wird ein Student-Modell trainiert, ein Teacher-Modell zu imitieren, das bestimmte Präfenzen hat. zum Beispiel ‚mag‘ das Teacher-Modell Eulen. Das Student-Modell ‚lernt‘ dann auch diese Präferenz. Dies tut es auch, wenn im Trainingsprozess die Präferenz nie explizit ein Thema ist, weil es beispielsweise nur um die Generierung von Zahlenreihen geht. Diese Studie ist bisher nur als Preprint zu finden [3], ist aber glaubwürdig und gut durch veröffentlichten Quellcode nachvollziehbar [4].“

„Aber noch viel fundamentaler ist das Training großer Sprachmodelle ein Prozess, in dem immer wieder überraschende positive emergente Eigenschaften entdeckt wurden. Das sind oft neu erworbene Fähigkeiten, die nicht explizit trainiert wurden. Das zeigte nachdrücklich der Artikel ‚Large Language Models are Zero-Shot Reasoners‘, der 2022 bei der Konferenz NeurIPS erschienen ist [5]. Hier wurden diese emergenten Eigenschaften an einer Vielzahl von Aufgabenstellungen dokumentiert.“

„Die Autoren des Nature-Artikels referenzieren einen ersten interessanten Erklärungsansatz: Sprachmodelle könnten – fast schon psychologisch – als eine Kombination verschiedener Aspekte verstanden werden. Verwandt mit der Idee einer ‚Persona‘, die in verschiedenen Antworten mehr oder weniger stark zu Tage tritt. Durch das Fine-Tuning zum Generieren unsicheren Codes könnten die toxischen Persönlichkeitsanteile vereinfacht gesagt betont werden. Und dann auch bei anderen Aufgaben in den Vordergrund treten.“

„Dementsprechend ist es interessant daran zu arbeiten, diese verschiedenen ‚Persönlichkeitsanteile‘ – genauer gesagt die Muster der fehlausgerichteten Netzaktivierungen – zu isolieren und explizit zu reduzieren. Das kann durch Interventionen zur Trainings- oder auch zur Testzeit geschehen. Hierzu gibt es ebenfalls einen Preprint, der bisher allerdings noch kein Peer-Review durchlaufen hat [6].“

„Gleichzeitig betonen die Autoren, dass das Verhalten der Modelle oft nicht vollständig kohärent ist und eine umfassende mechanistische Erklärung noch fehlt.“

„Interessant für die Sicherheit der Sprachmodelle ist, dass die Fine-Tuning-Daten in gewisser Weise ‚böswillig‘ gestaltet waren. Also so, dass sie ein Risiko für die Nutzenden implizieren, aber nicht darauf hingewiesen wird. Bei ‚gut gemeinter‘ Feinabstimmung sollte also sorgsam darauf geachtet werden, ausschließlich auf wünschenswerten Beispielen zu tunen und gegebenenfalls dafür die Beispiele in einen Lernkontext einzubetten.“

„Weitere Arbeit sollte in die Frage fließen, wie Modelle nach dem Training oder der Feinabstimmung systematisch validiert und laufend überwacht werden können. Hier arbeiten Firmen mit sogenanntem Red-Teaming und Adversarial Testing (Sprachmodelle sollen darin explizit dazu gebracht werden, schädliche Inhalte zu produzieren, damit Anbietende das gezielt verhindern können; Anm. d. Red.). So wollen sie evaluieren, wie die Sicherheitsmechanismen eines Modells ausgehebelt werden können – und solche Angriffe dann weitestgehend unterbinden. Das im Artikel beschriebene emergente Misalignment kann durch Schlüsselworte ausgelöst werden. Außerdem werden manche feinabgestimmten Modelle durch kleinere Gruppen entwickelt, die nicht unbedingt die Möglichkeiten eines umfassenden Red-Teaming haben. Aus diesen Gründen sind weitere Forschungsarbeiten nötig.“

„Und schließlich sind auch interdisziplinäre Anstrengungen essenziell, um die Sicherheit großer Sprachmodelle kontinuierlich zu überwachen. Denn nicht alle Probleme sind so leicht sichtbar, wie das hier ganz eindrückliche Misalignment. Und technische Tests allein erfassen nicht jede Form von Schaden.“

„Die Methodik der Studie ist sehr solide. Die Autor*innen haben vor knapp einem Jahr erstmals auf das Problem von emergentem Fehlverhalten aufmerksam gemacht. Diese Studie greift die ursprünglichen Ergebnisse auf und erweitert sie um wichtige Robustheitschecks. So werden zum Beispiel verschiedene ‚bösartige‘ Datensätze zum Fine-Tuning getestet, wodurch eindeutig klar wird, dass nicht nur unsicherer Code zu emergentem Fehlverhalten führen kann.“

„Es ist nicht überraschend, dass Sprachmodelle ungewolltes und potenziell gefährliches Verhalten an den Tag legen können. Es ist auch nicht überraschend, dass Sprachmodelle, die eigentlich trainiert wurden, sich nicht gefährlich zu verhalten, durch Fine-Tuning dazu gebracht werden können, dies doch zu tun.“

„Das Überraschende an emergentem Fehlverhalten ist, dass sehr spezifisches ‚bösartiges‘ Fine-Tuning zu allgemeinerem, ungewolltem Verhalten führt. Anders gesagt: Sprachmodelle haben die Fähigkeit, unsicheren Code zu schreiben, werden aber meist von ihren Entwicklern trainiert, dies nicht zu tun. Durch gezieltes Fine-Tuning können Dritte die Modelle dazu bringen, doch unsicheren Code zu schreiben. Das Überraschende ist, dass die gefinetunten Modelle plötzlich auch noch mordlustig und homophob sind.“

„Inwiefern neuere, größere Modelle stärker von emergentem Fehlverhalten betroffen sind, ist basierend auf den Ergebnissen der Studie nicht eindeutig. Ich halte es durchaus für plausibel, da größere Modelle komplexere und abstraktere Assoziationen lernen. Und diese Assoziationen sind wahrscheinlich ein Grund für emergentes Fehlverhalten.“

„Die plausibelste Hypothese wird auch von den Autor*innen selbst angeführt: Einzelne interne Merkmale (Features) des Sprachmodells steuern Fehlverhalten in verschiedenen Kontexten. Wenn diese ‚bösartigen‘ Merkmale verstärkt werden, zum Beispiel durch Training auf bösartigen Code, dann führt dies zu vielfältigem Fehlverhalten. Die Merkmale selbst könnten zum Beispiel dadurch entstehen, dass in Foren, in denen unsicherer Code geteilt wird, auch andere kriminelle Aktivitäten besprochen werden.“

„Komplett ‚aus Versehen‘ wird es selten zu emergentem Fehlverhalten kommen. Die Ergebnisse der Studie zeigen, dass Fine-Tuning auf sicherem Code und anderen harmlosen Datensätzen praktisch nie zu ungewolltem Verhalten führt. Falls jedoch jemand mit spezifischen bösen Absichten ein Modell zum Beispiel zum Hacken finetuned, dann könnte diese Person unabsichtlich auch anderes Fehlverhalten im Modell aktivieren.“

„Es gibt mehrere unabhängige Faktoren, die die praktische Relevanz der aufgezeigten Risiken etwas einschränken: Erstens zeigt die Studie vor allem, dass spezifisches ‚bösartiges‘ Fine-Tuning allgemeinere schädliche Nebeneffekte haben kann. ‚Gut gemeintes‘ Fine-Tuning führt nur in den wenigsten Fällen zu ungewolltem Verhalten. Es wird also selten aus Versehen zu emergentem Fehlverhalten kommen.“

„Zweitens können bösartige Akteure auch heute schon mit Absicht jegliches Fehlverhalten durch Fine-Tuning in Modellen hervorrufen. Emergentes Fehlverhalten schafft keine neuen gefährlichen Fähigkeiten.“

„Drittens ist Fine-Tuning von starken Sprachmodellen teuer und für kommerzielle Modelle wie ChatGPT nur eingeschränkt möglich. Wenn kommerzielle Anbieter Fine-Tuning anbieten, dann gepaart mit Sicherheitsfiltern, die gegen bösartiges Fine-Tuning schützen.“

„Die Methodik ist für die getroffenen Aussagen gut geeignet. In einer vorherigen Arbeit derselben Gruppe wurden Modelle auf unsicherem Code trainiert, was zu allgemeinem Fehlverhalten (Misalignment) geführt hatte. Die neue Studie zeigt nun, dass dieses Phänomen auch bei anderen Trainingsdaten auftritt, etwa bei Zahlen mit bestimmter Konnotation. Sie erweitert somit die Erkenntnisse. Zudem werden weitere Details beleuchtet, wie etwa das Format. Das führt zu einem besseren Verständnis.“

„Die Ergebnisse an sich sind nur teils überraschend. Bereits seit mindestens 2023 gibt es Arbeiten, die zeigen, dass Fine-Tuning selbst auf harmlosen Daten zu Misalignment führen kann [7]. Zudem gibt es eine Reihe an Arbeiten, die zeigen, dass nur wenige unsichere Beispiele im Pre-Training (breites Training mit großer Datenmenge zu Beginn der Trainingsphase; Anm. d. Red.) oder Fine-Tuning zu Misalignment führen können [8].“

„Überraschender ist eher die Tragweite des Misalignments, welches bereits durch wenige Beispiele ausgelöst werden kann. Allgemein ist davon auszugehen, dass solche Probleme auch bei aktuellen Modellen auftreten können.“

„Ein Erklärungsansatz, den Forscher von OpenAI gefunden haben, ist, dass solches Fine-Tuning das Sprachmodell dazu führt, eine bestimmte ‚Persona‘ darzustellen [9]. Eine ‚Persona‘, welche unsicheren Code generiert, tendiert demnach zum Beispiel auch zu manipulativem Verhalten.“

„In dieser Arbeit von OpenAI wird das Fine-Tuning auf sicheren Daten aus derselben Domäne vorgeschlagen [9]. Dies ist allerdings eher ein post-hoc fix, der voraussetzt, dass sich ein Nutzer dieser Gefahren bewusst ist. Es ist keine Intervention während des Alignments, welches dem Fine-Tuning vorausgeht.“

„Im Allgemeinen ist es noch eine offene Forschungsfrage, wie man diese Problematik am besten in den Griff kriegt: Selbst wenige Daten reichen teilweise aus, um Misalignment hervorzurufen. Daher ist eine späte Intervention unter Umständen schwierig.“

„Das Problem ist für viele Nutzer, die lediglich ein über eine API (auch Programmierschnittstelle genannt, ermöglicht Nutzenden die Einbindung von Sprachmodellen in eigene Anwendungen; Anm. d. Red.) angebotenes Modell verwenden, erst einmal nicht unbedingt relevant, da es im Kontext von Fine-Tuning auftritt.“

„Für jeden, der solches Fine-Tuning nutzt, ist es jedoch wichtig, sich dieser Implikationen bewusst zu sein. Daher sollten Modelle, die Nutzern nach dem Fine-Tuning angeboten werden, ausreichend getestet werden. Und es sollte sichergestellt werden, dass die verwendeten Trainingsdaten möglichst sicher und korrekt sind.“

Dieses Statement entstand in Zusammenarbeit mit Nico Daheim, der gemeinsam mit Iryna Gurevych im Labor für Ubiquitous Knowledge Processing der TU Darmstadt arbeitet.

„Die Studie ist die Fortführung einer vorherigen Studie aus dem gleichen Team [10]. Beide zeigen, hauptsächlich als Case Studies, dass moderne Sprachmodelle überraschend generalisieren – da die Modelle vollkommen automatisch trainiert sind, sind die Assoziationen, die diese Modelle zwischen (für uns) verschiedenen Bereichen setzen, nicht immer verständlich. Vor allem polysemantische (mehrere Bedeutungen haben, insbesondere bei Wörtern; Anm. d. Red.) Effekte können, wie in diesen Studien gezeigt, ein unerwartetes Problem darstellen. Die Methodik der Studie ist sinnvoll (und spannend), bleibt aber vor allem auf dem Level eines Fallberichts. Der eigentliche Mechanismus wird noch mehr Forschung benötigen, um verstanden zu werden.“

„In der Praxis sind diese Verstrickungen für Benutzer eher nicht so relevant. Für die Firmen, die diese Modelle trainieren, sind diese unerwarteten Verbindungen aber relativ besorgniserregend, da sie zeigen, wie schwer es ist, die ‚Persönlichkeit‘ des Modells zu kontrollieren. Oft arbeiten viele Teams an einem Modell, und die Studie zeigt, dass auch die Arbeit von Teams, die zum Beispiel Daten für neutrale Themen beisteuern, das Modell stark verändern können.“