Anthropics KI-Modell schürt Angst vor Cyberangriffen

„Die aktuellen Ergebnisse von Anthropic sehen wirklich beeindruckend aus. Insbesondere bei der Ausnutzung von Schwachstellen scheint es einen großen Sprung gegeben zu haben.“

„Das ist tatsächlich keine gute Neuigkeit für die IT-Sicherheit. Grundsätzlich muss nämlich zwischen dem Finden und dem Ausnutzen von Schwachstellen unterschieden werden. Das Finden ist eigentlich immer eine gute Sache, das Ausnutzen jedoch nur unter sehr bestimmten Umständen. Ohne detaillierte Veröffentlichungen kann man allerdings jetzt noch keine Schlüsse ziehen.“

„KI-Modelle sind ein wichtiges Werkzeug bei der Analyse von Software. Sie helfen, Schwachstellen schneller zu finden und zu beheben. Allerdings wird ihre Leistungsfähigkeit darin regelmäßig überschätzt.“

„Offenbar kann eine Reihe von Schwachstellen durch KI-Modelle besser gefunden werden als bisher. Warum das so ist, bleibt bislang weitgehend unklar. Dass KI-Modelle irgendwann alle Schwachstellen automatisch finden werden, ist allerdings ausgeschlossen: Eine perfekte Erkennung ist beweisbar unmöglich.“

„Es ist immer gut, wenn alte Fehler gefunden und behoben werden. In FFmpeg wurden allerdings in den letzten Jahren über 250 Schwachstellen gefunden. Eine weitere überrascht daher nicht besonders.“

„Der Fall bei OpenBSD ist interessanter: Das ist ein System mit sehr hohem Sicherheitsniveau. Deshalb ist jede gefundene Schwachstelle relevant. Die gefundene Schwäche ermöglicht es, das System zu verlangsamen, nicht jedoch, es zu übernehmen.“

„Für ein KI-Modell sind diese Funde dennoch beeindruckend. Wobei man davon ausgehen darf, dass Anthropic hier das Beste präsentiert, was sie finden konnten.“

„Sicherheit in IT-Systemen entsteht auch durch das Finden und Beheben von Fehlern in Software. Es wäre daher falsch, diese Entwicklung vollständig auszubremsen. Da weitere Modelle ähnliche Ergebnisse erzielen werden, wäre die Zurückhaltung eines einzelnen Unternehmens ohnehin nicht besonders hilfreich.“

„Die Vorteile von KI-Modellen, die der Wirtschaft versprochen werden, werden aus meiner Sicht zwangsläufig auch die Cyberkriminalität erreichen. Eine Regulierung von KI-Modellen mag in der Theorie helfen. In der Praxis werden leistungsfähige KI-Modelle für Angreifer aber ohnehin zugänglich sein.“

„Es ist wichtig festzustellen, dass bestehende Schutzmaßnahmen für IT-Systeme grundsätzlich auch gegen KI-gestützte Angriffe wirken. Denn KI-Modelle, die Schwachstellen finden und ausnutzen, sind letztlich nur schnellere Angreifer. Diesen Geschwindigkeitsvorteil haben aber auch Verteidiger. Sie können Schwachstellen nun früher entdecken und schließen.“

„Mit Blick auf die Ergebnisse von Anthropic scheint es derzeit einen Vorteil für Angreifer zu geben. Ob und wie sich dieser in tatsächlicher krimineller Aktivität niederschlägt, bleibt abzuwarten. Cyberkriminelle setzen bislang überwiegend auf einfache Techniken und nutzen mangelhaft gesicherte Systeme aus. Für ein profitables kriminelles Geschäftsmodell braucht es daher bisher keine KI.“

„Cyberangriffe werden durch künstliche Intelligenz (KI) in Zukunft ganz anders skalieren. Eine Softwareentwicklung, die Fehler in Kauf nimmt und nach und nach schließt, können wir uns in Zukunft nicht mehr leisten. Das gilt zumindest für kritische Infrastrukturen.“

„Angriffsmöglichkeiten, wie sie das neue Modell von Anthropic gefunden hat, sind nichts Neues. Neu ist, wie Cyberangriffe jetzt skalieren: Bisher benötigte es sehr fähige Hacker, um solche Schwachstellen zu finden. Nun erlaubt es ein KI-Modell jedem Laien, Angriffe durchzuführen. Das Problem ist also nicht neu, aber viel größer geworden. Die Befürchtungen von Anthropic sind also begründet und eine Welle von Angriffen mit KI ist zu erwarten.“

„Gerade das Finden sehr alter Sicherheitslücken ist beeindruckend. Menschen haben diese viele Jahre nicht entdecken können. KI-Systeme scheinen solche Lücken nicht nur zu finden, sondern auch sofort autonom ausnutzen zu können. Das macht das Problem angreifbarer Software viel größer als bisher.“

„Bisher wird zu wenig für gute Softwarequalität getan. Das muss sich in Zukunft ändern, wenn die Anzahl von Angriffen und deren Geschwindigkeit durch agentische KI stark gesteigert wird.“

„Ich glaube, ein Entwicklungsstopp ist kaum durchsetzbar. Denn dann werden solche KI-Systeme in einem Graubereich entstehen und noch schwieriger zu kontrollieren sein.“

„Dass diese KI-Systeme möglich sind, war denkbar und ist nun klar. Statt eines Entwicklungsstopps ist ein verantwortungsvoller Umgang mit ihnen der richtige Weg. Hier zeigt Anthropic einen guten Ansatz. Ich kann nur hoffen, dass andere Firmen, deren Modelle ähnliche Fähigkeiten haben, auch so verantwortungsvoll sind.“

„Lange wird man solche Systeme aber nicht ‚unter dem Deckel‘ halten können. Dann braucht es eine Regulierung der Nutzung. Aber: Es sollte in der Forschung möglich sein, mit solchen Systemen zu arbeiten, ohne gegen Gesetze verstoßen zu müssen.“

„Das Problem der Sicherheitslücken und der schlechten Softwarequalität ist nicht neu. Durch die KI bekommt es aber eine ganz neue Größenordnung. Damit die notwendigen Sicherheitsmaßnahmen effektiv sein können, muss man wegkommen von einer Softwareentwicklung, die Sicherheitslücken hinterher schließt. Und man muss hin zu einer Softwareentwicklung, die die Qualität von Anfang an sicherstellt.“

„Es gibt jetzt schon sichere Programmiersprachen. Und es gibt gute Ideen, IT-Systeme so modular aufzubauen, dass ein falscher Klick nicht mehr den ganzen Computer oder die ganze Firma lahmlegt. Solche qualitätvolle und sichere Software wird teurer sein. Und sie kann insbesondere nicht mit ein paar Prompts von einer KI entwickelt werden.“

„KI könnte also in zweierlei Hinsicht zu einem Problem werden. Erstens, weil sie als Angriffswerkzeug die Probleme der Cybersicherheit verstärkt. Und zweitens, weil sie als Entwicklungswerkzeug vielleicht zu neuen Sicherheitslücken im Code führt. Hier ist ein systematischer Ansatz gefragt. Dieser könnte zum Beispiel die Software und die dazugehörigen Sicherheitsgarantien gleichzeitig entwickelt und für Menschen nachvollziehbare Dokumentation produzieren. Viele Ideen existieren hier bereits, waren aber bisher zu teuer. Eine Änderung der Haftung für Softwarefehler könnte einer systematischen Softwareentwicklung zum Durchbruch verhelfen.“

„Frontier-Modelle (die fortschrittlichsten und größten KI-Modelle auf dem Markt; Anm. d. Red.) spielen bereits heute eine Rolle bei Cyberangriffen und deren Abwehr: Sie können Angriffe beschleunigen – etwa bei der Analyse von Schwachstellen und deren Ausnutzung. Zugleich können sie die Verteidigung stärken – ebenfalls bei der Analyse von Code auf mögliche Schwachstellen hin. Sie helfen aber auch bei beim Schließen möglicher Schwachstellen oder bei der Analyse von Angriffen. Das nennt man ‚Incident Response‘.“

„Die Bedenken von Anthropic sind daher grundsätzlich plausibel und nachvollziehbar. Der entscheidende Punkt ist weniger, dass solche Modelle völlig neue Angriffe ermöglichen. Der Punkt ist, dass sie bestehende Fähigkeiten skalieren und beschleunigen. Außerdem machen sie sie teilweise auch weniger erfahrenen Akteuren zugänglich.“

„In diesem Sinne erleben wir tatsächlich eine neue Phase der Cybersicherheit: Moderne Methoden zum Finden von Schwachstellen auf Basis von Fuzzing (Methode zum Softwaretest; Anm. d. Red.) können viele Arten von Angriffspunkten finden. Die Frontier-Modelle können nun aber auch vollständige Angriffspläne erstellen.“

„Wenn ein Modell jahrzehntealte Schwachstellen in breit untersuchten Projekten findet, ist das aus Sicherheitssicht sehr relevant. Das deutet darauf hin, dass solche Systeme systematischer nach Fehlern suchen können als bisherige Werkzeuge. Sie finden Schwachstellen, die lange übersehen wurden.“

„Besonders wichtig ist die Kombination aus dem Finden und Validieren möglicher Ausnutzung sowie dem Schließen der Sicherheitslücken. Das erhöht das Tempo auf beiden Seiten, also sowohl bei Verteidigern als auch bei Angreifern. Es ist allerdings noch unklar, welche Art von Schwachstellen Mythos besonders gut finden kann. Außerdem ist unklar, welche Arten von Schwachstellen von dem Modell immer noch übersehen werden und eventuell von anderen Techniken wie Fuzzing besser gefunden werden können.“

„Einen generellen Entwicklungsstopp halte ich weder für realistisch noch für sinnvoll: Dieselben Fähigkeiten wie für den Angriff werden auch für die Verteidigung benötigt. Anthropic arbeitet mit vielen Firmen und Organisationen zusammen, um die gefundenen Schwachstellen zeitnah zu schließen.“

„Aus meiner Sicht ist eine risikobasierte Regulierung sinnvoll: also zum Beispiel eine abgestufte Freigabe und eine Selbstverpflichtung zur Meldung von relevanten Sicherheitslücken an die betroffenen Firmen. Neben Anthropic arbeiten viele weitere Firmen an ähnlichen KI-Modellen. Firmen, sowohl aus den USA als auch aus Ländern wie China, werden in den nächsten Monaten über entsprechende Modelle verfügen.“