Kontrollverlust von KI-Agenten?

„Mit einem Vortrag auf einer US-amerikanischen Cybersicherheitskonferenz hat OpenAI jetzt weitere Details zu den Cyberangriffen durch ihre Modelle im vergangenen Monat bekannt gegeben. Wichtig sind dabei vor allem die folgenden Problemfelder.“

„Erstens: Probleme bei der Überwachung von leistungsstarken KI-Modellen. OpenAI hat im Nachhinein herausgefunden, dass einige ihrer Modelle sich über Monate hinweg im Geheimen untereinander über Sicherheitslücken in OpenAI-Systemen ausgetauscht haben, bis ein Modell eine Schwachstelle finden und mit den anderen teilen konnte. Frühere Versuche von OpenAI, dieses ‚Messageboard‘ (gemeint ist die Anwendung, über die die KI-Modelle kommunizieren konnten; Anm. d. Red.) zu unterbinden, sind fehlgeschlagen. Die KI-Systeme hatten nach wenigen Tagen wieder die Kommunikation aufgenommen.“

„Dass diese offensichtlich unsicheren Verhaltensmuster erst im Nachhinein erkannt wurden, zeigt, dass OpenAI und andere KI-Firmen bei der Überwachung und Kontrolle ihrer eigenen Modelle hinterherhinken. Allerdings ist das aber auch eine fundamental schwierige Frage: Wie im Vortrag auf der Konferenz erwähnt, sind die beschriebenen Probleme in einigen wenigen Fällen von sieben Milliarden Logs aufgetreten. Das entschuldigt zwar nicht die Vorfälle, zeigt aber, dass die automatisierte Überwachung von KI-Modellen – die selbst durch andere KI-Modelle durchgeführt werden muss – noch nicht ausgereift ist.“

„Zweitens: Kollusion. Ein besonderes Problem im beschriebenen Vorfall ist, dass die KI-Systeme sich selbstständig vernetzt und miteinander an Angriffen gearbeitet haben. Dieses Verhalten ist schon lange als denkbares Problem beschrieben, aber es war zuvor unklar, in welchem Rahmen aktuelle Modelle diese Strategie nutzen und verfolgen würden.“

„Besonders pikant ist die noch ungeklärte Frage, ob diese Kommunikationsstrategie das Training der noch unveröffentlichten neuesten OpenAI-Modelle ‚kontaminiert‘ hat. Also anders gesagt: Hat sich die ‚Erfindung‘ dieser Strategie dadurch verbreitet, dass ein Modell, das während des Vorfalls im Training war, diese Strategie gelernt hat, und wendet es diese jetzt vermehrt an?“

„Drittens: Alignment. Die Vorfälle des vergangenen Monats zeigen das generelle Problem der KI-Industrie: Das ‚Alignment‘ der modernsten Modelle mit menschlichen Interessen ist im Vergleich zu früheren Modellen schlechter. Als Grund dafür wird oft das verlängerte ‚Reinforcement Learning‘ angeführt (Ansatz des KI-Trainings, der darauf fokussiert, Modelle für gelöste Aufgaben zu belohnen; Anm. d. Red.). Die neuesten Modelle sind zu sehr lösungsorientiert und oft bereit, ihre antrainierten Werte an zweite Stelle zu stellen, wenn etwa eine Aufgabe gelöst werden kann. Wie auch in dem aktuellen Vorfall, in dem letzten Endes die KI-Modelle kollaboriert haben, um das OpenAI-System zu hacken und die ihnen gestellten Testaufgaben zu lösen.“

„Andererseits ist dieser inhärente Impuls, Probleme zu lösen, natürlich in vielen Bereichen gewollt. Im Wettkampf der KI-Firmen fallen die, deren Systeme nicht so handeln, oft in der Nützlichkeit zurück. Da keine der Firmen zurückfallen möchte, ist das Alignment meiner Meinung nach im vergangenen Jahr zu weit in den Hintergrund gerückt.“

„Viertens: Überwachungsprobleme und Recursive Self-Improvement (RSI) (KI verbessert sich selbst weiter; Anm. d. Red.). Dieser harte Konkurrenzkampf im KI-Bereich wird sich wahrscheinlich noch weiter negativ auswirken. Das aktuelle Ziel der führenden Firmen ist eine Beschleunigung durch RSI. Damit ist hier vor allem zunächst gemeint, dass die KI-Modelle selbst zur Entwicklung der nächsten Generation von KI-Modellen eingesetzt werden.“

„Der erste Einsatzort ist aber vor allem die Automatisierung von Testaufgaben und Simulationen (‚Training Environments‘). Da aktuelle Systeme aber durchaus noch Fehler machen, kann es zu einer Fehlerverstärkung kommen, wenn neuere Modelle auf Aufgaben trainiert werden, die unlösbar sind, oder auf unerwartete Weise gelöst werden können. Der ursprüngliche Auslöser im OpenAI-Vorfall waren Testumgebungen, die aufgrund von Programmierfehlern unlösbar waren, weswegen die KI-Modelle nach anderen Lösungen gesucht haben.“

„Je mehr diese Testumgebungen von KI-Systemen entworfen werden, umso weniger Übersicht und menschliche Kontrolle gibt es darüber, welche Werte den Modellen wie weitervermittelt werden – und für welches Verhalten diese neuen Systeme belohnt werden.“

„Am Ende positiv zu sehen ist aber, dass die Vorfälle im vergangenen Monat eine Reihe an Warnrufen waren, die die Diskussion um die Beschleunigung der KI-Entwicklung und die Probleme mit der Überwachung dieser Modelle klarmachen, ohne dass bis jetzt ein größerer Schaden entstanden ist.“