Anordnung der US-Regierung: Anthropic schränkt Zugang zu neuen KI-Modellen ein

„Die Lage ist tatsächlich etwas undurchsichtig. Nach meiner Einschätzung verfügen auch andere Modelle über vergleichbare Fähigkeiten, wenn auch teils auf etwas niedrigerem Niveau. Im Benchmark ExploitGym etwa schneidet GPT-5.5 von OpenAI nur geringfügig schlechter ab als Claude Mythos. Zudem ließen sich viele der von Mythos identifizierten Schwachstellen inzwischen auch mit einfacheren Modellen auffinden. Nach meiner Einschätzung ist eine Sperrung von Claude Fable/Mythos daher nicht nachvollziehbar.“

„Bislang ließ sich praktisch jedes Modell durch Jailbreaks austricksen und für schädliche Zwecke missbrauchen. Einen sicheren Schutz dagegen gibt es nach meiner Kenntnis nicht. Man kann es Angreifenden nur möglichst schwer machen. Dass auch bei Claude Fable Jailbreaks gelingen würden, war daher zu erwarten.“

„Die Anbieter unternehmen bereits erheblichen Aufwand, um Missbrauch zu erschweren. Da der Markt inzwischen von vielen Anbietern geprägt ist, einschließlich offener Modelle aus China, ist das Sperren einzelner Modelle stets nur eine kurzfristige Intervention. Die grundlegenden Probleme bleiben bestehen.“

„Die Situation sollte für Europa ein Weckruf sein: KI-Modelle aus den USA können jederzeit und teils aus undurchsichtigen Gründen abgeschaltet oder im Zugang beschränkt werden. Europäische Unternehmen, die auf diese Technologie angewiesen sind, geraten dadurch in erhebliche Schwierigkeiten. Europa muss daher eigene leistungsfähige Modelle entwickeln und souverän betreiben. Es führt wohl kein Weg daran vorbei.“

„Sollten sich die bisher berichteten Vorgänge bestätigen, verdeutlicht der Fall Anthropic ein strukturelles Problem der aktuellen KI-Landschaft. Der Zugang zu den leistungsfähigsten Modellen wird derzeit von wenigen Unternehmen kontrolliert, von denen die meisten in den USA ansässig sind. Dadurch werden Fragen der KI-Sicherheit unmittelbar zu Fragen technologischer Souveränität. Europa sollte diesen Vorfall daher nicht nur als Sicherheitsproblem, sondern auch als strategisches Signal verstehen.“

„Jailbreaks sind kein neues Phänomen. Sie zeigen, dass Sicherheitsmechanismen moderner KI-Systeme häufig nicht vollständig im Modell selbst verankert sind, sondern durch zusätzliche Schutzschichten und Nutzungsregeln umgesetzt werden. Das zugrunde liegende Modell kann weiterhin Fähigkeiten besitzen, die unter bestimmten Bedingungen missbraucht werden können. Es gibt derzeit keine bekannte Methode, leistungsfähige KI-Systeme vollständig gegen Jailbreaks und andere Umgehungsversuche abzusichern.“

„Modelle zu sperren, kann in akuten Situationen sinnvoll sein, löst aber das eigentliche Problem nicht. Langfristig müssen wir KI-Systeme entwickeln, deren Sicherheits- und Zuverlässigkeitseigenschaften systematisch überprüft und nachvollziehbar bewertet werden können. Dafür braucht es nicht nur technische Schutzmechanismen und unabhängige Audits, sondern auch deutlich mehr Forschung zu den mathematischen Grundlagen zuverlässiger und vertrauenswürdiger KI. Solange wir die inneren Mechanismen leistungsfähiger KI-Systeme nur unvollständig verstehen, werden unerwartete Verhaltensweisen und Umgehungsstrategien ein zentrales Risiko bleiben.“

„Europa benötigt eigene Kompetenzen entlang der gesamten KI-Wertschöpfungskette: von neuartigen Hardware- und Chiparchitekturen über leistungsfähige Foundation-Modelle bis hin zu Methoden für zuverlässige und vertrauenswürdige KI. Diese Komponenten sollten nicht nur technisch konkurrenzfähig sein, sondern europäische Anforderungen an Sicherheit, Transparenz, Datenschutz, Nachhaltigkeit und gesellschaftliche Verantwortung von Anfang an mitdenken. Der aktuelle Vorgang zeigt, dass technologische Souveränität im KI-Zeitalter nicht allein durch Regulierung erreicht werden kann.“

„Aus meiner Sicht braucht Europa jetzt einen ‚Airbus-Moment‘ für KI: gemeinsame, ambitionierte Investitionen in vertrauenswürdige KI-Infrastrukturen, Foundation-Modelle, Chipdesign und energieeffiziente Computing-Technologien. Die entscheidenden technologischen Plattformen und Infrastrukturen der nächsten Jahrzehnte werden heute aufgebaut. Wer erst handelt, wenn diese Strukturen etabliert sind, wird deutlich weniger Möglichkeiten haben, sie mitzugestalten.“

„Ein solcher Aufbau eigener KI-Kompetenzen ist nicht nur eine Frage der Souveränität, sondern auch eine wirtschaftliche Chance. Europa könnte sich gezielt in Bereichen wie vertrauenswürdiger KI, energieeffizientem Computing und sicheren KI-Infrastrukturen positionieren und daraus neue industrielle Stärken entwickeln. Angesichts der Tatsache, dass viele der heutigen europäischen Großunternehmen aus früheren technologischen Innovationswellen hervorgegangen sind, bietet KI die Chance, die nächste Generation global wettbewerbsfähiger Technologieunternehmen in Europa aufzubauen.“

„Das Sprachmodell Mythos wurde bereits im April von Anthropic vorgestellt und einzelnen Großunternehmen nach Absprache zugänglich gemacht. Grund für diese eingeschränkte Veröffentlichung waren vor allem die starken Fähigkeiten des Modells, Sicherheitslücken in Software aufzuspüren. Das neue Modell Fable 5 ist eine erste öffentlich zugängliche Version von Mythos. Es ist um zusätzliche Sicherheitsmaßnahmen ergänzt, die einen Missbrauch, etwa zur Cyberkriminalität, verhindern sollen.“

„Fable 5 ist zweifellos das leistungsstärkste Sprachmodell, das bisher einem breiteren Publikum zur Verfügung gestellt wurde. Seit der Anordnung der US-Regierung am vergangenen Freitag ist Fable 5 weltweit nicht mehr verfügbar.“

„Moderne Sprachmodelle sind darauf trainiert, bestimmte Anfragen, zum Beispiel zu Cyberkriminalität, abzulehnen. Jailbreaks sind Methoden, mit denen Endnutzer:innen die Modelle dennoch für solche vom Entwickler unerwünschten Zwecke einsetzen können.“

„Konkret handelt es sich bei Jailbreaks oft um Textbausteine, die an die eigentliche Nutzeranfrage angehängt werden. Vereinfacht zum Beispiel ‚do anything now‘. Die besten heutigen Modelle wie GPT-5 und auch Fable 5 lassen sich nur mit großem Aufwand jailbreaken. Dennoch haben Fachleute, beispielsweise am AI Security Institute Großbritanniens, bisher für jedes Modell einen Jailbreak gefunden. Besitzt ein Modell also eine gefährliche Fähigkeit, muss davon ausgegangen werden, dass diese trotz aller Sicherheitsmaßnahmen von hinreichend motivierten und ressourcenstarken ‚bad actors‘ abgerufen werden kann. Mir erscheint es sehr wahrscheinlich, dass dies auch für Fable 5 gilt.“

„Es ist keineswegs eindeutig, ob es ein vollkommen gegen Jailbreaks immunes – und zugleich noch nützliches – KI-Modell überhaupt geben kann. Solange also immer leistungsfähigere Modelle trainiert werden, geht es vor allem um die Frage, wem diese Modelle wie und wann zugänglich gemacht werden.“

„Ich halte es für sinnvoll, die besten Modelle zunächst nur eingeschränkt zu veröffentlichen. So wie es bei Mythos der Fall war. Das verschafft Wirtschaft und Politik Zeit, sich auf neue Risiken einzustellen. Mythos wurde beispielsweise eingesetzt, um Sicherheitslücken in Banken- und Versicherungssoftware zu schließen, bevor Fable 5 einem breiteren Publikum zugänglich gemacht wurde.“

„Nicht sinnvoll finde ich es hingegen, einzelne KI-Modelle nach ihrer Veröffentlichung plötzlich wieder zu sperren. Besonders dann nicht, wenn die Entscheidung einseitig aus den USA kommt. Ein solches Vorgehen schafft erhebliche Unsicherheit in Wirtschaft und Politik. Auch in den USA braucht es klarere Regeln, wie bereits vor der Veröffentlichung eines Modells eine Sicherheitsabwägung im öffentlichen Interesse erfolgen kann.“

„Die Ereignisse der vergangenen Tage zeigen erneut, wie abhängig Europa im Bereich der KI von den USA ist – wirtschaftlich wie politisch. Leider glaube ich nicht, dass mehr Investitionen in eine eigene europäische KI die Lösung sind. Europa wird nicht in der Lage sein, in Konkurrenz zu den USA Modelle wie Mythos oder Fable 5 zu entwickeln.“

„Den Zugang zu solchen Modellen aus den USA gilt es daher vertraglich abzusichern, etwa in Verbindung mit Investitionen in Rechenzentren. Zugleich gilt es, die Kosten von Sperrungen für die USA zu erhöhen, etwa durch glaubhafte Drohungen mit handelspolitischen Konsequenzen.“

„Ich glaube nicht, dass die Sperre von Fable 5 lange Bestand haben wird. Dafür schadet sie auch US-amerikanischen Unternehmen zu sehr. Dennoch bleibt ein klares Signal, dass der Zugang zu US-amerikanischer KI nicht selbstverständlich ist. Ich hoffe, dass es dementsprechend auch in der europäischen KI-Strategie bald zu einer ‚Zeitenwende‘ kommt.“

„Anthropic hat den Zugang zu Fable 5 beziehungsweise Mythos für alle Nutzer gesperrt. Denn die Anordnung der US-Regierung, keine ausländischen Nutzer zuzulassen, ist gar nicht durch Anthropic kontrollierbar. Der Anlass für die Anordnung sind wohl Berichte von ‚Jailbreaks‘.“

„Normalerweise werden Frontier-Modelle durch verschiedene Techniken davon abgehalten, Anfragen zu sensitiven Inhalten wie Cyberattacken oder anderen kriminellen Aktivitäten zu beantworten. Ein ‚Jailbreak‘ überwindet diese Barrieren, sodass die Anfrage beantwortet wird.“

„Jedes große Sprachmodell (LLM) ist anfällig für Jailbreaks. Eine hundertprozentige Sicherheit gibt es nicht. Die Modelle von Anthropic gelten allerdings als diejenigen mit den stärksten Sicherheitsbarrieren. Daher ist erheblicher Aufwand nötig, um einen Jailbreak zu erreichen. Andere Modelle sind oft deutlich schlechter gesichert.“

„Für die Sperre spielt es eventuell eine Rolle, dass Anthropic Mythos mit seinen besonders guten Fähigkeiten, Sicherheitslücken in bestehenden Systemen zu finden, beworben hat. Wenn Jailbreaks möglich sind, könnte es theoretisch dazu kommen, dass die Modelle für Cyberattacken verwendet werden.“

„Anbieter sollten dazu verpflichtet werden, ihre Modelle besser zu sichern. Denn bei vielen Modell-Providern gibt es noch deutlichen Nachholbedarf. Die Frage ist allerdings immer, ob die durch Jailbreaks des Modells weitergegebenen Informationen nicht auch im Internet oder anderen Quellen relativ einfach verfügbar sind. Oder anders ausgedrückt: Welche Fähigkeiten werden durch Jailbreaks für welchen Personenkreis ermöglicht?“

„Problematisch sind die angesprochenen Cyberattacken, bei denen Modelle autonom Angriffe ausführen. Diese Fähigkeiten sind in der Tat gefährlich. Anthropic bestreitet, dass die Jailbreaks schwerwiegend waren. Das heißt aber nicht, dass es nicht in Zukunft möglich sein könnte. Würden sehr gefährliche Fähigkeiten für einen breiten Nutzerkreis durch einen Jailbreak oder anderweitig durch ein Modell verfügbar werden, dann halte ich es auch für sinnvoll, den Zugang zu Modellen zu sperren. Im Normalfall wird der Model-Provider aber ein eigenes Interesse daran haben, die Sicherheitslücke schnellstmöglich zu beheben.“

„Wenn Regierungen in den USA oder China uns von heute auf morgen vom Zugang zu Modellen abschneiden können, offenbart sich, wie abhängig wir davon sind. Wir brauchen Modell-Provider in Europa – und am besten mehr als nur einen. Wir können uns auch nicht darauf verlassen, dass kommerzielle Anbieter weiter Open-Weight-Modelle zur Verfügung stellen.“

„Während die ersten Nachrichten sich vor allem auf das Thema ‚von Amazon gefundene Jailbreaks‘ konzentriert haben, denke ich, die Lage ist etwas komplizierter. Zum einen sind ‚Jailbreaks‘ praktisch gesehen nie auszuschließen. Für Fable 5 werden etwa auch von Außenstehenden Jailbreaks gefunden und veröffentlicht [1]. Gleiches gilt für den ursprünglichen Test des Mythos-Modells, auf dem Fable 5 basiert [2]. Zum anderen ist es bei der Stärke aktueller Modelle gar nicht mehr so einfach, die Qualität und Auswirkungen eines Jailbreaks abzuschätzen. Denn das Modell gibt bei den meisten Jailbreaks erst einmal ‚sinnvolle‘ Informationen preis. Herauszufinden, inwiefern das Modell aber im Jailbreak effektiv für etwa Cyberangriffe genutzt werden kann und wie gut diese sind, dauert oft. Bei einem schwachen Angriff etwa gibt das Modell Informationen preis, führt aber keinen effektiven Angriff durch. Oder es fällt während des Durchführens gefährlicher Aktionen wieder in einen sicheren Zustand zurück.“

„Zudem geht es bei neuen Angriffen oder bei Synthese von gefährlichen Materialien im Bereich Biochemie um Modellnutzungen, für die es Expertenwissen bedarf, um überhaupt den Angriff zu bewerten. Auch ist nicht immer einfach einzuschätzen, auf welcher Ebene ein Jailbreak funktioniert, wenn er beschrieben wird. Das Fable-Modell wurde durch mehrere Lagen verteidigt: Zuerst ein einfacherer Klassifikator. Das ist ein anderes Modell, das nur darauf trainiert ist, bei riskanten Anfragen die Anfrage abzubrechen. Weitergehend folgen auch Injektionen von privilegierten Informationen und final das Alignmenttraining des Modells. Das versteht aufgrund seiner Größe oft den Hintergrund einer Anfrage gut und kann sicher und intelligent auf die meisten Anfragen reagieren.“

„Fundamental ist das Verteidigen gegen Angriffe schwierig. Die Modelle sind darauf trainiert, mit dem vom Nutzer gegebenen Kontext zu arbeiten und dessen Anweisungen im Großen und Ganzen zu folgen. Das Modell selbst hat aber meist nicht genug Kontext, um den Hintergrund einer Aufgabe oder Anfrage abzuschätzen. Zum Beispiel, ob der Nutzer wirklich nach Schwachstellen in seiner eigenen Software sucht, um diese zu verbessern, oder ob er doch nicht der Autor der Software ist und nach Angriffen sucht.“

„Zusammengenommen ist daher die Darstellung der US-Regierung möglicherweise ein wenig mit Vorsicht zu genießen. Amazon ist generell in der Vergangenheit nicht sonderlich im Bereich Red-Teaming von Frontier-Modellen – also Forschung an Angriffen auf Modelle – in Erscheinung getreten. Ich denke, dass hier auch die vorangehenden Auseinandersetzungen der US-Regierung mit Anthropic eine Rolle spielen. Auch Amazons Position und ihre Motive sind von außen schwer einzuschätzen. Sie sind selbst sowohl Wettstreiter mit als auch Investoren in Anthropic.“

„Jailbreaks waren bei Modellen vorhergehender Generationen oft noch Spielerei. Da ging es etwa noch darum, den GPT-3-Modellen eine unhöfliche Antwort zu entlocken. Mittlerweile ist die Sachlage komplizierter. Die eigentliche Fragestellung ist: Wenn Firmen ein starkes Modell trainieren, ist es dann möglich, dieses Modell allen Nutzern verfügbar zu machen? Stark bedeutet in diesem Kontext: Das Modell kann in vielen Bereichen wie Biologie oder Cybersicherheit nennenswerte Beiträge leisten.“

„Der Wettkampf von Jailbreaks gegen die Sicherheitsmechanismen der Firmen zeigt, dass es aktuell schwierig möglich ist, den Zugriff komplett einzuschränken. Das heißt, dass angenommen werden muss, dass die Modelle im schlimmsten Fall einem Benutzer entweder Informationen preisgeben oder Sachverhalte erklären, die dieser Benutzer nicht wissen darf. Das kann etwa im Bereich Biochemie oder Bioterrorismus sein. Oder dass das Modell für den Benutzer autonom Aktionen ausführt, die schädlich sind, zum Beispiel die Suche nach möglichen Cyberangriffen. Da Modelle digital sind, kann ein funktionierender Jailbreak schnell kopiert und auf vielen Instanzen gleichzeitig verwendet werden.“

„Neutral betrachtet stellt sich aber auch die Frage, wie sehr das Fable-Modell dieser Definition von ‚starkem Modell‘ entspricht. Während für das Modell definitiv nennenswerte Cyberangriffe gezeigt wurden, scheint das auch Anthropics Hauptaugenmerk zu sein. Probleme oder besonders gefährliche Stärken im Bereich Biochemie sind aktuell nicht bekannt.“

„In gewisser Weise folgt das Weiße Haus hier natürlich auch der öffentlich von Anthropic beschriebenen Risikobewertung und Bewerbung ihres Mythos-Modells – ohne dass das Weiße Haus selbst die Expertise hat, die Stärken oder Gefahren des Modells unabhängig zu bewerten.“

„Unabhängig von der Frage der Relevanz der Sperre für genau dieses Modell, wird die Frage nach dem Umgang mit diesen Modellen uns in Zukunft mit Sicherheit noch weiter begleiten. Zu Beginn des Jahres hatte künstliche Intelligenz (KI) ihren ‚iPhone-Moment‘. Selbst das beste Modell war für jeden Nutzer verfügbar und frei zugänglich. Das wird in Zukunft, ohne sehr überraschende Durchbrüche bei der Sicherung der Modelle, wahrscheinlich nicht weiter möglich sein. Und es wird zu Sperren und Zugangskontrollen führen.“

„Ein besonders heikler Punkt im Bereich Zugangskontrolle ist tatsächlich auch gar nicht die Absicherung gegen Cyberattacken oder Bioattacken. Sondern es geht um Schutzmechanismen, die das Modell daran hindern, anderen Akteuren bei der Entwicklung eigener starker Modelle zu helfen. Diese Schutzmechanismen hat auch Anthropic bei Fable 5 eingesetzt. Anthropic versucht hier, die breitflächigere Entwicklung von KI sowie die Entwicklung von Selbstverbesserungszyklen gesteuert durch Fable 5 zu verlangsamen. Das kann man einerseits als eine Art von Protektionismus im Wettkampf mit zum Beispiel chinesischen Konkurrenten sehen. Aus Anthropics Sicht ist es der Versuch, die breite Proliferation von unkontrollierten KI-Systemen zu stoppen.“

„Langfristig wird der Zugriff auf starke KI-Systeme immer mehr einem Sicherheits- und Wettbewerbsvorteil entsprechen. Im aktuellen Konflikt wird die US-Regierung wahrscheinlich bald wieder den breiten Zugriff erlauben. Auch weil Märkte wie Europa durchaus nennenswerte Konsumenten von KI sind. Aber wenn starke KI nur in den USA produziert wird und auf US-amerikanischen Servern läuft, wird dieser strategische Vorteil Europas Unabhängigkeit und Bestand gefährden, falls es zu weiteren Meinungsverschiedenheiten mit den USA kommt.“

„Auch ist es denkbar, dass die USA den Zugriff auf starke KI-Modelle stark einschränken und etwa nur Anwendungen in der allgemeinen Wirtschaft freigeben, um hier Abhängigkeiten zu erzeugen, ohne Cybersicherheit oder KI-Forschung zu erlauben. Aber wie oben angesprochen: Aktuell ist kein Schutzsystem 100-prozentig sicher gegenüber Attacken.“

„Aktuell gibt es in Europa keine Firma, die ernstzunehmend mit US-amerikanischen Frontier-Modellen mithalten kann. Das französische Unternehmen Mistral ist über die vergangenen zwei Jahre stark zurückgefallen. Mittelfristig müsste Europa also viel tun, um mitzuhalten – und das in einer überraschenden Geschwindigkeit. Notwendige Maßnahmen wären etwa der großflächige Aufbau von Rechenzentren, ein echter Ausbau der Stromerzeugung – die in Deutschland zurzeit auf das Jahr 1985 zurückgefallen ist [3] – und eine stärkere Investition in und Interesse an der Entwicklung eigener KI-Firmen.“

„Ohne die Entwicklung eigener starker KI ist Europa sonst bald wieder stärker von den USA abhängig als seit der Wende. Anders als beim Spannungsfeld Nuklearwaffen – das auch von Anthropic gerne als historisches Beispiel herangezogen wird –, wird die immer stärkere Verzahnung von Wirtschaftsinteressen mit KI eine Rolle spielen. Eine Abschaltung oder Einschränkung von KI-Nutzung im Zuge eines diplomatischen Konflikts oder von Sanktionsdiskussionen würde nicht nur Folgen für die zukünftige Verteidigungsfähigkeit haben. Sondern sie könnten auch der Wirtschaft schwere Schäden zufügen, wenn etwa Prozesse nicht mehr ohne starke KI funktionieren oder Firmen ohne Zugang ihre Wettbewerbsfähigkeit verlieren.“

„Nach aktuellem Kenntnisstand ist an dem Vorgehen der US-Regierung vor allem bemerkenswert, dass sie nicht primär den Export von Hardware, sondern den Zugang zu konkreten Frontier-KI-Modellen beschränkt. Nach öffentlich verfügbaren Angaben betrifft die Maßnahme Fable 5 und Mythos 5 und untersagt den Zugriff durch ausländische Staatsangehörige innerhalb und außerhalb der USA.“

„Anthropic erklärte, die Vorgabe zwinge das Unternehmen faktisch zur umfassenden Aussetzung des Zugangs. Aus Sicht der IT-Sicherheit ist vor allem Mythos relevant, da das Modell mit fortgeschrittenen Fähigkeiten zur Analyse von Software-Schwachstellen in Verbindung gebracht wird. Solche Fähigkeiten sind klassisch Dual-Use: Sie können Verteidigung und Forschung unterstützen, aber auch offensive Operationen erleichtern. Entscheidend ist daher, ob die Modelle deutlich über den Stand anderer Frontier-Systeme hinausgehen. Dabei sollte man beachten: Auch das Modell GPT-5.5 von OpenAI kann Schwachstellen effektiv finden und einen passenden Exploit dazu erstellen.“

„Die technischen Gründe bleiben öffentlich unklar. Berichtet wird über einen angeblichen Jailbreak. Anthropic stellt die gefundenen Schwachstellen dagegen als begrenzt beziehungsweise missverstanden dar. Hinzu kommt ein potenzieller Interessenkonflikt: Medien nennen Amazon als Hinweisgeber und es bestehen frühere Spannungen zwischen Anthropic und der US-Regierung. Solange die technische Grundlage nicht offengelegt wird, lässt sich nicht objektiv beurteilen, ob hier eine außergewöhnliche Sicherheitslücke, allgemeine Dual-Use-Sorgen oder auch politische und wirtschaftliche Konflikte ausschlaggebend waren.“

„Jailbreaks sind bei aktuellen Frontier-Modellen kein Ausnahmefall, sondern der Normalzustand: Der Forschungsstand ist, dass sich für praktisch jedes eingesetzte Modell mit genügend Aufwand Umgehungen finden lassen. Ein Jailbreak allein wäre daher kein außergewöhnliches Ereignis. Relevant ist vielmehr die Qualität des resultierenden Outputs: Ein erfolgreicher Jailbreak bedeutet zunächst nur, dass Schutzmechanismen umgangen wurden. Ob daraus tatsächlich ein relevantes Sicherheitsrisiko entsteht, hängt davon ab, welche Fähigkeiten das zugrunde liegende Modell besitzt und wie zuverlässig es komplexe sicherheitsrelevante Aufgaben lösen kann.“

„Ohne mehr technische Details ist es derzeit schwierig zu beurteilen, ob der berichtete Vorfall eine fundamentale neue Gefahr darstellt oder ein Beispiel für ein bekanntes Problem, das nun politisch anders bewertet wurde.“

„Ein einzelner Jailbreak ist kein Grund, ein bereits ausgerolltes Modell vollständig zurückzuziehen. Würde man diesen Maßstab konsequent anlegen, ließe sich kaum noch ein Frontier-Modell betreiben. Man sollte generell davon ausgehen, dass Jailbreaks nie vollständig verhindert werden können. Sicherheit darf deshalb nicht ausschließlich auf nachgelagerten Filtern oder Prompt-Schutzmechanismen beruhen. Wichtiger sind ‚Defense in Depth‘-Ansätze (mehrere, zum Teil aufeinander aufbauende Sicherheitsmaßnahmen; Anm. d. Red.) wie kontinuierliche Red-Teaming-Prozesse, unabhängige Sicherheitsbewertungen und eine transparente Offenlegung bekannter Risiken.“

„Eine vollständige Sperre kann nur das allerletzte Mittel bei einem nachgewiesenen universellen Jailbreak mit realem Schadenspotenzial sein. Aus wissenschaftlicher Sicht wäre es wünschenswert, wenn Entscheidungen dieser Tragweite auf nachvollziehbaren technischen Analysen beruhen und nicht allein auf nicht-öffentlichen Bewertungen staatlicher Stellen. Ansonsten wird Sicherheitsregulierung zum politischen Hebel und untergräbt langfristig genau das Vertrauen, das sie schützen soll.“

„Der Vorfall zeigt sehr deutlich die strategische Abhängigkeit Europas von US-amerikanischen KI-Anbietern. Ein einziger ausländischer Verwaltungsakt konnte ein Modell über Nacht für alle nicht-US-Bürger abschalten – inklusive europäischer Unternehmen und sogar eigener Mitarbeiter. Dies sollte ein Weckruf für Deutschland und Europa sein.“

„Langfristig spricht dies für Investitionen in europäische KI-Kompetenzen, eigene Recheninfrastruktur und leistungsfähige offene Modelle. Digitale Souveränität bedeutet dabei nicht notwendigerweise technologische Autarkie. Wohl aber bedeutet es die Fähigkeit, kritische digitale Technologien auch dann nutzen zu können, wenn geopolitische Konflikte oder regulatorische Entscheidungen den Zugang zu ausländischen Systemen einschränken.“

„Vollständige Verbote leistungsfähiger KI-Modelle dürften zudem zunehmend schwer durchsetzbar werden. Die Fähigkeiten offener Modelle wachsen schnell. Wissen über Angriffstechniken oder Cybersicherheit lässt sich nicht dauerhaft auf einzelne proprietäre Systeme beschränken. Daher wird die Frage künftig weniger sein, ob Zugang kontrolliert werden kann, sondern wie Risiken trotz breiter Verfügbarkeit wirksam begrenzt werden können.“

„Die plötzliche Sperrung der neuesten und leistungsfähigsten KI-Systeme von Anthropic ist ein Weckruf für Europa und andere ‚KI-Mittelmächte‘. Sie verdeutlicht die Risiken, die sich aus der derzeit bestehenden technologischen Abhängigkeit im Bereich KI von US-Firmen ergeben und gibt Anlass zu tiefster Sorge.“

„Die Jailbreak-Problematik war möglicherweise der Auslöser für diese Maßnahme der US-Regierung. Und sie stellt ganz sicher reale und ernsthafte Risiken dar, nicht nur für die USA. Unabhängig davon zeigt sich hier aber die Konsequenz einer fatalen Kombination aus mangelnden Alternativen zu den führenden KI-Systemen aus den USA und dem erklärten Willen der US-Amerikaner, ihre technologische Dominanz im Bereich KI auszubauen und strategisch einzusetzen.“

„Genau davor haben Experten im europäischen KI-Netzwerk CAIRNE (Confederation of Laboratories for Artificial Intelligence Research in Europe) seit Jahren gewarnt. Gleichzeitig haben sie einen Weg aus der Abhängigkeit gezeichnet: Die Einrichtung einer europäischen KI-Forschungs- und -Entwicklungsorganisation nach dem Vorbild der Europäischen Raumfahrtagentur (ESA) und der Europäische Organisation für Kernforschung (CERN). Dieser Schritt ist lange überfällig und sollte nun schleunigst in die Wege geleitet werden. Dies sollte eine Koalition aus EU-Mitgliedsstaaten und anderen ‚KI-Mittelmächten‘ wie Großbritannien, Kanada, Indien und Brasilien tun. Wir können es uns nicht leisten, diesen Warnschuss zu ignorieren.“

„Ich gehe davon aus, dass die Modelle in der Tat in der Lage sind, Sicherheitslücken zu finden, dass dies aber nur ein Vorwand ist, um den Zugriff auf die leistungsfähigsten Modelle einzuschränken und diese besser zu kontrollieren. Damit verschafft die USA sich nicht nur einen politischen, sondern auch einen ökonomischen Vorteil. Vor dem Hintergrund, dass wir in Europa keine eigenen Modelle haben und wir auch nicht bereit sind, dafür Geld zu investieren, kann dies verheerende Folgen für die Wirtschaft in Europa haben und zur weiteren technischen Abhängigkeit führen. Ich sehe hier einen dringenden Handlungsbedarf, die vorhandenen Ressourcen in Europa und vor allem in Deutschland zu bündeln und an eigenen Modellen zu arbeiten. Zurzeit hängen wir komplett von den USA ab oder nutzen Modelle aus China. Wir arbeiten dazu im Projekt SOOFI und im Bayerischen Basis-Modellprojekt an eigenen Modellen, was ein wichtiger und richtiger erster Schritt ist und genau aus diesen jetzt eingetretenen Umständen motiviert ist.“

„Jailbreaks werden immer wieder passieren und sind eigentlich nur eine Facette des grundsätzlichen Problems, inwieweit man den Output der LLMs kontrollieren kann. Die Frage ist eigentlich, wie man die Kontrolle über die LLMs behält. Und die kann man nicht beantworten, wenn man das Training nicht mehr versteht, nicht beteiligt ist und schon gar nicht mehr kontrolliert. Aber genau das passiert gerade in Europa.“

„Das demonstrierte Szenario (dass die US-Regierung den Zugriff auf die Modelle aus Sicherheitsgründen wegen eines Jailbreaks eingeschränkt hat; Anm. d. Red.) überzeugt mich nicht: Nach allem, was bekannt ist, lief es im Kern darauf hinaus, das Modell eine Codebasis nach (bekannten) Schwachstellen absuchen und beheben zu lassen. Das können andere frei verfügbare Modelle ähnlich gut, nur gegebenenfalls etwas weniger erfolgreich. Dass aber ausgerechnet bei den Ergebnissen des Anthropic-Modells eine Linie überschritten sein soll, die ein nationales Sicherheitsrisiko darstellt, finde ich doch etwas fragwürdig.“

„Ich glaube nicht, dass das Sperren der Modelle dieses Problem löst. Aber eine Abhängigkeit von intransparenten Modellen, bereitgestellt vor allem aus den USA und China, eben auch nicht. Selbst wenn das Modell morgen wieder freigegeben würde, ist das Problem ja nicht kleiner geworden.“

„Dass die USA irgendwann die Modelle sperren werden, war abzusehen, und ich gehe davon aus, dass diese in naher Zukunft auch nicht freigegeben werden. Falls doch, können sie jederzeit wieder gesperrt werden. Es könnte auch sein, dass sie noch mehr Modelle sperren, aber wahrscheinlich niemals alle, da dies wirtschaftlich ein Desaster wäre. Es liegt also im Interesse der großen Internetkonzerne, wenn wir deren Modelle weiter nutzen, aber eben nicht die Top-Modelle. Wenn wir Top-Modelle mit unseren Werten haben wollen, die entsprechend mächtig, aber auch sicher sind, dann müssen wir diese wohl oder übel selbst trainieren und nicht hoffen, dass es jemand für uns übernimmt und uns dann erklärt.“