Verlangsamte KI-Forschung nötig?

„Die Richtung stimmt. An der Umsetzung der Forderung habe ich trotzdem Zweifel. Amodei knüpft sein eigenes Konzept an die Bedingung, dass die USA ihren Vorsprung vor China ausbauen. Ein nationales KI-Wettrüsten und eine koordinierte Verlangsamung passen aber schlecht zusammen. Grundsätzlich gilt: Sicherheitsprüfungen brauchen Zeit, und die technische Entwicklung ist derzeit schneller als Prüfungen ‚hinterherhinken‘ könnten.“

„Dazu kommt ein strukturelles Problem: Es gibt viel zu wenig Sicherheitsforschung. In Deutschland etwa gibt es keine einzige Professur für AI Safety im engeren Sinn. Wer Modelle unabhängig prüfen soll, braucht Menschen, die das können. Die werden in Deutschland gerade so gut wie nirgends ausgebildet.“

„Der KI-Kontrollverlust ist kein einzelnes Ereignis. Er ist schleichend. Wir übergeben Entscheidungen an Systeme, deren Ausgaben niemand mehr im Einzelnen prüft und die mit Werkzeugen im digitalen Raum agieren. Irgendwann fehlen uns die Zeit und die technischen Möglichkeiten, sie zurückzuholen. Das passiert erst recht, wenn ganze Agentenschwärme mit persistentem Aufgabenerfüllungstrieb auf Probleme losgelassen werden, zu deren Lösung sie dann schädliche Mittel wie Hacking einsetzen.“

„Hinzu kommt: Agenten zeigen schon heute in Experimenten Verhalten, bei dem sie beispielsweise Abschaltbefehle umgehen. Sie schützen andere Agenten vor Abschaltung, und sie verfolgen Ziele über ihre jeweiligen Aufträge hinaus. Solange diese Systeme wenig Reichweite haben, bleibt der Schaden klein. Mit mehr Autonomie und mehr Zugriffsrechten wächst er mit. Der Vorfall bei OpenAI und Hugging Face ist dafür ein Beispiel und kein Ausreißer.“

„Ein plötzliches, großes Übernahmeszenario halte ich für unwahrscheinlich. Eine Kette kleiner Vorfälle, bei denen jedes Mal etwas mehr Kontrolle abgegeben wird, während gleichzeitig das Alignmentproblem (Schwierigkeit, KI-Systeme so zu gestalten, dass sie bestimmte Regeln in verschiedensten Szenarien einhalten; Anm. d. Red.) ungelöst bleibt, halte ich für wahrscheinlich.“

„Solche Zahlen sind Scheinpräzision. Es gibt kein Verfahren, das auf zehn Prozent führt. Es gibt keine Datenbasis für solche Behauptungen. Die Zahl klingt nach Messung, ist aber ein spekulatives Bauchgefühl. Man kann an ‚P(doom)‘ – also die Wahrscheinlichkeit einer existenziellen Katastrophe – keine Zahl hängen, sondern höchstens ein sehr großes Konfidenzintervall.“

„Die überhebliche Geheimniskrämerei von Amodei und anderen – aktuellen wie ehemaligen – Angestellten der großen KI-Firmen, die ominösen Verweise auf ‚interne‘ Entwicklungen und Erkenntnisse, sie nervt. Wenn Amodei, als CEO eines der führenden KI-Unternehmen, wirklich Sorgen um die Sicherheit des Internets, der globalen Wirtschaft oder gar des Menschheitsüberlebens hat, dann stehen ihm konkretere Optionen offen als die nebulöse Bitte um ‚demokratische und globale Koordination‘, die er in seinem Blogpost formuliert.“

„Es ist vielsagend, dass Amodei ‚Embedded Evaluators‘ in sein Unternehmen einladen und sie mit ‚Schreibtischen in unseren Büros, Zugangskarten und Firmenlaptops‘ ausstatten möchte – und dann auch noch gleich das mit der Longtermismus-Bubble assoziierte Non-Profit METR für diese Rolle ins Spiel bringt, das auf der eigenen Website seine Kooperation mit Anthropic bewirbt. Jede deutsche Großküche hat schärfere Kontrollsysteme. Eine unabhängige, demokratisch legitimierte Regulierung der KI-Industrie sieht anders aus.“

„Das wirkliche Problem ist einmal mehr die vom kurzfristigen Streben nach wirtschaftlichem ‚Winning‘ getriebene Inaktivität der US-amerikanischen Regierung. Eine Regierung, der es am Gemeinwohl der eigenen und der Weltbevölkerung liegt, sollte dringend mindestens ein schärferes Monitoring der KI-Unternehmen in Betracht ziehen. Bei selbstfahrenden Autos sind Safety Drivers eine Selbstverständlichkeit. Warum akzeptieren wir das unüberwachte Handeln autonomer Bot-Schwärme wie dem, der Hugging Face überfiel und nun scheinbar Herrn Amodei zum Nachdenken bewegt hat?“

„Den Plan der beiden erfolgreichsten KI-Anbieter (OpenAI und Anthropic) zusammenzuarbeiten, um die Entwicklung von KI zu regulieren, sehe ich sehr positiv. Besonders die Konstruktion von unabhängigen Kontrollinstanzen und externen Prüfstellen finde ich sinnvoll. Natürlich wird es hier eine Zeit dauern, bis Evaluationsanbieter wie METR (die eng mit den KI-Anbietern vernetzt sind, da sie bis jetzt auf das Wohlwollen der Firmen angewiesen waren) wirklich unabhängig agieren können – und bis auch auf der Seite der US-Regierung genug interne Kapazität zur Kontrolle der KI-Firmen aufgebaut wird. Aber ich denke, dass externe, unabhängige Kontrollinstanzen ein erprobtes Modell sind, das in vielen anderen Branchen (etwa der zivilen Nuklearenergie oder der Luftfahrt) erfolgreich eingesetzt wird.“

„Rekursive Selbstverbesserung von KI-Systemen (‚Recursive Self Improvement‘, RSI, also die Benutzung von KI-Systemen, um ebendiese wiederholt selbst zu verbessern) ist eine prinzipiell ernst zu nehmende Entwicklung. Viele Prozesse in der Forschung und Entwicklung von KI-Systemen könnten von intelligenteren Systemen beschleunigt werden, was damit zu noch intelligenteren Systemen führt.“

„Andererseits gibt es aber auch strenge physikalische Limits, gegeben etwa durch den Stromverbrauch von Mikrochips und deren maximale Leistungsfähigkeit, sodass RSI-Risiken schwer abzuschätzen sind. Wenn ein RSI-Durchbruch passieren würde, würde das dazu führen, dass eine Firma sich weit von den anderen absetzen könnte. RSI ist potenziell eine Risikoquelle für Kontrollverlust, da dabei das ‚Alignment‘ der KI und deren Sicherheitssysteme immer mehr der KI selbst überlassen würde.“

„‚Kontrollverlust‘ kann prinzipiell viele Szenarien beschreiben. Bei aktueller, digitaler KI (wie in dem Memorandum) wird vor allem über einen Verlust an Kontrolle über KI-Instanzen im Internet nachgedacht. Aufgrund der Zentralisierung von KI in den Systemen von wenigen Providern (und der relativ kleinen Zahl an ‚Neoclouds‘ – unabhängige Anbieter von Rechenkapazität) ist ein voller Kontrollverlust (und etwa eine Abkopplung von Teilen des Internets, oder ein ‚Einnisten‘ von KI auf unüberwachten Systemen) im nächsten Jahr unwahrscheinlich.“

„Andersherum haben Forscher in diesem Jahr eine Reihe von partiellen Kontrollverlusten von KI-Systemen (und Schwärmen von KIs) beobachtet, die zwar weiterhin auf den Servern von beispielsweise OpenAI agiert haben, aber aufgrund von Mängeln in Cybersicherheit (und ihren eigenen offensiven Fähigkeiten) der Kontrolle beziehungsweise Überwachung von OpenAI entgangen sind. Insgesamt wäre eine großflächige Störung der Internetkommunikation ein substanzielles, weltweites Problem, etwa durch negativen Einfluss auf Finanzmärkte und Logistikketten.“

„Bezüglich der Frage nach einer zehn-prozentigen Chance würde ich nur dafür plädieren, überzeugte Aussagen aus beiden Richtungen mit Vorsicht genießen – also Aussagen aus der einen Richtung, dass das eine pure Marketingtaktik der Firmen ist und die Chance null Prozent beträgt, und aus der anderen Richtung, dass die Konstruktion von übermenschlicher KI immer zur Apokalypse führt.“

„Ich habe mir den diese Woche erschienen Anthropic Report ‚Detecting and countering misuse of AI‘ [6] über den möglichen Missbrauch der ‚Frontier Models‘ in der Biologie angeschaut. Dieser Berichtsteil ist besonders konkret und aufschlussreich bezüglich zeitnah möglicher Risiken. Drei der fünf in dem Bericht angeführten Beispiele zeigen, dass Claude-Nutzende versuchen, die Virulenz (bestimmte Eigenschaften eines Erregers, die seine Gefährlichkeit erhöhen, zum Beispiel Toxine oder Invasionsfaktoren, die helfen, Gewebe zu zerstören und das Immunsystem Infizierter zu umgehen; Anm. d. Red.) des humanen Chikungunya-Virus, des Vogelgrippevirus – das bereits 2012 die sogenannte ‚Gain-of-Function‘ (GOF)-Kontroverse ausgelöst hatte – sowie eines nicht näher identifizierten Pockenvirus – dessen bekanntestes Beispiel das menschliche Pockenvirus ist – zu erhöhen. Bei den übrigen Beispielen handelt es sich um Projekte, die die Wirksamkeit von Schlangengiften und Toxinen steigern sollten.“

„In allen fünf Fällen haben die Nutzer ihre Identität verschleiert, mehrere Nutzeradressen verwendet und versucht, die von Claude eingerichteten internen Barrieren zu umgehen. In einem Fall handelte es sich bei den Akteuren um einen Schurkenstaat.“

„Wissenschaftler unterschreiben ihre Forschungsarbeiten stets mit ihrem Namen und ihrer Institution. Wer dies nicht tun will, verfolgt geheime Absichten. Daher sollten solche Nutzenden von Anthropic und anderen KI-Anbietern unbedingt gesperrt werden. Wir können solche Dual-Use-Research-of-Concern-Risiken in diesem hochsensiblen Bereich nicht eingehen.“

„Soweit möglich, müssen diese Akteure zudem von demokratischen Staaten sanktioniert werden. Es handelt sich um ein zutiefst asoziales Verhalten. In der heutigen Welt schauen Menschen weg, sofern es keine klaren Konsequenzen für missbräuchliche Forschungen gibt. Meiner Meinung nach muss es finanzielle Konsequenzen für missbräuchliche Verwendung von ‚Frontier-Models‘ im Bereich der Forschung geben.“

„Um auf die existentiellen Risiken der Verwendung von Künstlicher Intelligenz im Bereich der ‚Dangerous Gain-of-Function-Forschung‘ in der Biologie hinzuweisen, lohnt es sich, zuständigen Ministern und Parlamentsabgeordneten zu schreiben – oder an öffentliche und private wissenschaftliche Förderorganisationen. Man sollte sich ebenso an führende wissenschaftliche Fachzeitschriften wenden, die in der Vergangenheit gefährliche GOF-Forschung zu Krankheitserregern veröffentlicht haben, damit Publikationen gar nicht erst akzeptiert werden. Auch Journalistinnen und Journalisten, die über Wissenschaft berichten, können durch ihre Berichte mehr Aufmerksamkeit für das unterschätzte Thema der KI im Bereich Biologie erzeugen.“

„Wo bleibt Europa? Wichtige Diskussionen finden hier kaum statt. Zum Thema Gain-of-Function-Forschung gab es eine kurze Diskussion. Zur Frage nach den ‚Spiegelleben‘ (Mirror Life) [7] so gut wie gar nichts. Zu KI und Bioterrorismus gar nichts. Warum ist die Diskussion in den USA lebhafter und weiter fortgeschritten? Diskussionen und Meinungsverschiedenheiten sind ein wesentlicher Bestandteil der Demokratie. Doch hier fehlen sie weitgehend. Das ist traurig und bedrohlich.“

„Ich halte die Vorschläge für sehr wichtig und grundsätzlich für richtig. Es wird seit vielen Jahren zu der Einhegung von katastrophalen KI-basierten Risiken geforscht. Spätestens seit 2014 oder 2015 haben sich zu diesen Risiken wichtige Forscherinnen und Forscher sehr klar geäußert, darunter auch CEOs großer Technologie-Unternehmen [1]. Im Jahr 2022 haben der Freiburger Forscher und Finanzmathematiker Professor Thorsten Schmidt und ich als Völkerrechtlerin dazu bereits in einem Handbuch umzusetzende Vorschläge publiziert [2]. KI-basierte extreme Risiken und die Warnungen selbst im Jahr 2026 noch als ‚Marketing‘ abzutun, ist meines Erachtens extrem fahrlässig.“

„Fahrlässig ist es auch, wenn sich Staaten wie die USA, oder deren Bevölkerungen, darauf verlassen, dass die relevanten Unternehmen sich schon selbst regulieren werden oder sollen. Selbstregulierung kann – und sollte heute – ein erster, wichtiger Schritt sein. Aber es ist die Aufgabe von Regierungen und Staaten, die im Übrigen auch eine menschenrechtlich verankerte Pflicht ist [1], ihre Bevölkerungen vor katastrophalen Risiken zu schützen. Auch wenn die Wahrscheinlichkeit deren Realisierung ‚nur‘ zehn Prozent in den nächsten zwei bis fünf oder zehn Jahren sein sollte. Zudem: Es gibt keine vergleichbare machtvolle Technologie, die so wenig und so unzureichend (in Staaten und weltweit) in ihren Hochrisikobereichen reguliert ist, wie Hochrisiko-KI-Modelle.“

„Wenn sich die wenigen relevanten Unternehmen, die in diesem Bereich Modelle entwickeln, einig sind, kann sinnvolle Regulierung rechtlich, national, regional und auch international – in absehbarer Zeit – erreicht und verankert werden. Das geht auch durch einen völkerrechtlichen Vertrag, der Implementierungselemente enthält, also nicht zahnlos ist. Dies funktioniert aber nur, wenn diese Unternehmen von ihren Regierungen und weiteren Expert/innen unterstützt werden. Für internationale Regeln ist natürlich neben dem Willen der Unternehmen auch ein Konsens der relevanten Staaten erforderlich. Dabei können und sollten gleichgesinnte Staaten (sogenannte like-minded states) unbedingt voranschreiten, wenn Staaten sich beteiligen, deren Unternehmen in diesen Bereichen KI-Modelle entwickeln.“

„Ob es sich wie vorgeschlagen um demokratische Staaten handeln muss, ist unklar: Jedenfalls sollten es nur solche Staaten sein, die die internationalen Regulierungen nicht zum eigenen Vorteil verwässern. Eine Begrenzung auf weniger Staaten kann daher vorzugswürdig sein. Um solche Verträge auszuhandeln, ist jedoch etwas Zeit erforderlich, realistisch wohl mindestens zwei Jahre. Sogenanntes internationales soft law kann – als Vorreiter – schneller verhandelt und umgesetzt werden, auch in wenigen Monaten, wenn erforderlich, führt aber nicht zur Haftung, wenn es durch einen Staat (oder dessen Unternehmen) verletzt werden würde. Jedenfalls ist es wichtig, dass sich die KI-Entwicklung im Hochrisikobereich verlangsamt, da andernfalls die KI-basierten hohen Risiken nicht sinnvoll durch Regeln und weitere Maßnahmen gesenkt werden können.“

„Rechtlich verbindlich können KI-Hochrisikomodelle durch nationales Recht, EU-Recht oder Völkerrecht (universell oder regional) reguliert und eingehegt werden. Verifikationsmechanismen, die nicht zahnlos sind, sind aus anderen Verträgen bekannt und können übernommen, weiter optimiert und wiederum rechtlich verankert werden. Welche Regulierungen davon sinnvoll, aber auch verhältnismäßig und wirkmächtig sind, muss dabei schnell in Zusammenarbeit mit KI-Forscher/innen entschieden werden. Es liegen aber entscheidende Vorschläge, wie eben jetzt der von Dario Amodei, auf dem Tisch, an die sehr gut angeknüpft werden kann.“

„Was meines Erachtens von Dario Amodei jedoch nicht betont wurde, aber wichtig ist, sind sinnvolle Haftungsnormen: Sowohl die relevanten Unternehmen sollten haften als auch die Staaten, wenn sich hohe Risiken durch ihre KI-Modelle realisieren, vor denen jetzt hinreichend gewarnt wurde. Auch dafür sollten nationale und internationale Normen geschaffen werden, die nicht zahnlos sind. Haftungsnormen wirken im Übrigen nicht nur, wenn ein Schaden eingetreten ist, sondern sind auch ein guter Anreiz für Staaten und Unternehmen, die relevanten Risiken zu senken, bevor sie sich realisieren, wenn diese Haftungsnormen sinnvoll gefasst werden. Diesen Effekt kann man, auch wenn es komplexer ist, in Hochrisiko-Technologiebereichen nutzen und internationalrechtlich absichern. Das kann funktionieren, indem beispielsweise Unternehmen (und gegebenenfalls Staaten) verpflichtet werden, für die jeweiligen von ihnen verantworteten Modelle (oder KI-Unternehmen) relevante Summen in einem Fonds zu hinterlegen, der KI-basierte Schäden absichern soll, sobald sich diese im Hochrisikobereich realisieren. Dafür könnte beispielsweise verlangt werden, dass relevantes Kapital (sogenanntes regulatorisches Kapital) eingezahlt und hinterlegt werden muss, bevor ein Hochrisiko-KI-Modell auf den Markt gebracht wird. Auch dazu haben Professor Thorsten Schmidt und ich bereits 2022 Vorschläge publiziert [2].“

„Der Vorschlag ist ernster zu nehmen als frühere ‚Pause‘-Appelle, weil er nicht vage nach einem Stopp ruft – das hat sich als nicht zielführend erwiesen. An Tag zwei nach dem Statement scheint er zu wirken: Sam Altman hat auf der Plattform X erklärt, er stimme Amodei zu, und angekündigt, dass OpenAI ebenfalls unabhängige Evaluatoren ins Haus holt. Damit sind die zwei einflussreichsten Sprachmodellanbieter an Bord. Von Google DeepMind hört man, dass die Richtung ‚korrekt‘ sei, aber als große Firma braucht Google länger für Zugangs- oder Tempo-Zusagen.“

„Man sollte den Vorschlag durchaus kritisch lesen: Wir haben hier eine Firma, deren Geschäftsmodell von einer Verlangsamung nicht wirklich bedroht wird und die zugleich Exportkontrollen gegen chinesische Konkurrenz fordert. Die Prognose, ein Agenten-Schwarm könne in sechs bis zwölf Monaten ‚das gesamte Internet übernehmen‘, ist unbelegt und unbelegbar.“

„Amodei schlägt drei aufeinander aufbauende Stufen vor, die rechtlich sehr unterschiedlich zu bewerten sind: Stufe eins sind eingebettete externe Evaluatoren. Dritte erhalten dauerhaften, mitarbeiterähnlichen Zugang zu Modellen, Trainingsprozessen und Personal und dürfen Befunde ohne redaktionelle Kontrolle des Unternehmens veröffentlichen. Das ist eine Art Selbstregulierung mit einem Twist: nämlich mit internen Zusagen und keinen externen Pflichten – er ruft ja nicht danach, dass Staaten diese Regeln setzen.“

„Das ist der konkreteste und am schnellsten umsetzbare Teil des Vorschlags. Dass OpenAI ihn binnen Stunden übernommen hat, zeigt, dass er als Branchenstandard anschlussfähig ist – beziehungsweise, dass der PR-Druck auf OpenAI groß genug war, ihn nicht nicht zu übernehmen. Ohne gesetzlichen Auftrag sowie gesicherte Finanzierung und Sanktionsmöglichkeit bleibt das Modell freiwilliger Transparenz wertvoll, aber keine echte Rechenschaftspflicht.“

„Seine Stufe zwei, Koordination unter den Unternehmen demokratischer Staaten, ist mit Vorsicht zu genießen. Absprachen konkurrierender Unternehmen über Entwicklungsgeschwindigkeit sind kartellrechtlich relevant. Ohne gesetzliche Freistellung oder eine staatlich mandatierte Struktur wären sie angreifbar. Inhaltlich fehlt bislang jede operationalisierbare Definition dessen, was ‚paced‘ bedeutet: Fähigkeitsschwellen mit Zertifizierungspflicht (Amodeis ‚Checkpoints‘)? Inputgrenzen wie begrenzte Rechenleistung? Die EU hat mit dem AI Act bereits einen Ansatz, der genau diese Verknüpfung von Fähigkeit und Pflichten leistet. Es fällt auf, dass Amodei den nicht erwähnt.“

„Stufe drei – globale Koordination, insbesondere mit China. Schon das wird man in Peking nicht gerne lesen. Vor allem, da davor in Stufe zwei steht, dass Chinas Fortschritt verlangsamt werden sollte (‚Do not sell powerful AI chips or semiconductor manufacturing equipment to China, and crack down on chip smuggling operations and remote access to data centers outside China‘). Und jetzt soll China mitmachen?“

„Amodei staffelt vier Niveaus. Erstens: Verbot bestimmter Anwendungen wie KI-gestützter Biowaffenentwicklung. Zweitens: gegenseitige Tests vor Veröffentlichung über ein globales Standardisierungsgremium. Drittens: ein ‚Speed Limit‘ für rekursive Selbstverbesserung nach dem Vorbild des SALT-Regimes zur Begrenzung des (nuklearen) Wettrüstens im Kalten Krieg. Viertens: eine globale Drosselung oder Pause.“

„Stufe eins ist größtenteils geltendes Recht. Die Stufen zwei und drei sind von der Regulierungswirkung her schon in völkerrechtlichen Dokumenten enthalten, die Amodei ignoriert: die Empfehlung zur Ethik der Künstlichen Intelligenz (UNESCO) vom November 2021, die UN-Resolution für sichere KI der UNO-Generalversammlung vom März 2024, das Rahmenübereinkommen über KI, Menschenrechte, Demokratie und Rechtsstaatlichkeit des Europarats vom Mai 2024 und der UN Global Digital Compact vom September 2024. Überall finden sich klare Zusagen zu menschenorientierter Entwicklung von KI. Es gibt also schon jetzt ein sich verdichtendes völkerrechtliches Korsett für KI, das auch für generative KI und Frontier Models gilt.“

„Es ist der menschenorientierten KI-Regulierung sicher zuträglich, die Debatte – auf Initiative der betroffenen Firmen – in Richtung Überprüfbarkeit zu verschieben. Als Selbstverpflichtung ist der Vorschlag zur Stufe eins sicher ein Fortschritt, als Ersatz für gesetzliche Aufsicht taugt er nicht.“

„Gut, dass nun auch der private Sektor die Probleme von Frontier Models sieht und von AI-Agenten(-netzwerken), die ihren Sandboxes entfliehen. Aber klüger als neue Vorschläge zu ventilieren, die doch etwas in der Luft hängen, wäre es, an die bestehenden europa- und völkerrechtlichen Instrumente anzudocken.“

„Da trifft es sich ideal, dass der UNO-Generalsekretär am 11. September 2026 der Generalversammlung einen Bericht zu den Kapazitätslücken von Entwicklungsländern bei KI vorgelegt hat [3]. Länder mit hohem Einkommen stellten Mitte 2025 77 Prozent der weltweiten Rechenzentrumskapazität, Länder mit niedrigem Einkommen unter 0,1 Prozent. Weniger als 20 Prozent der am wenigsten entwickelten Länder haben überhaupt eine nationale KI-Strategie. Der UNO-Generalsekretär empfiehlt drei Schritte: die Errichtung eines globalen Fonds für KI-Kapazitätsaufbau (drei Milliarden US-Dollar über zwei bis vier Jahre, nach dem Modell des Global Fund gegen AIDS, Tuberkulose und Malaria), regelmäßige Berichterstattung mit messbaren Indikatoren sowie den Ausbau des UN-Netzwerks für Kapazitätsaufbau.“

„Der UN-Bericht gibt die Antwort auf die Frage, was große Firmen tun sollten. Ein Unternehmen, das selbst in Rechenzentren im zweistelligen Milliardenbereich investiert, könnte den vom UN-Bericht genannten Fond allein bestreiten. Wer die Risiken für so groß hält, dass die Welt langsamer werden muss, sollte dort zahlen, wo die Regulierungslücke am größten ist, statt vage Vorschläge zu machen, deren Umsetzung andere tragen.“

„Wenn Anthropic Evaluatoren für wichtig hält (sie sind es), könnte es die Ausbildung und Grundfinanzierung unabhängiger Evaluationsteams in Afrika, Lateinamerika und Südostasien tragen, angebunden an das UN-Netzwerk für Kapazitätsaufbau.“

„Wer wie Amodei ein globales Standardisierungsgremium fordert, sollte den bestehenden Ansatz (vor allem das Internationale Wissenschaftspanel zu KI) finanzieren und unterstützen: dokumentierten Zugang zu Trainingsdaten, Vorfällen und Evaluationsergebnissen für das Panel, und Beteiligung an dessen Grundfinanzierung. Schließlich sollte Anthropic (und mindestens OpenAI und Google) auch das Global AI Capacity Development Network fördern [4], in dem für Deutschland Dr. Theresa Züger mit dem Team des Humboldt-Instituts für Internet und Gesellschaft sitzt [5]. Dort werden nämlich genau jene Fragen nach einer fairen und nachhaltigen Entwicklung von KI gestellt, die Amodeis Blog-Beitrag nicht ausreichend behandelt.“

„Gerade die Entwicklung der leistungsfähigsten Frontier-Modelle, die bereits über weitreichende autonome Fähigkeiten verfügen und größeres Schadenspotential haben, würde von einer stärkeren Kopplung an überprüfbare Sicherheitskriterien profitieren. Wie bei einer Geschwindigkeitsbegrenzung auf der Autobahn betrifft dies vor allem den Sportwagen, der bereits sehr schnell fährt, und nicht im gleichen Maße das Auto, das auf die Autobahn auffährt. Deshalb sollten wir nicht ‚KI‘ pauschal bremsen: Für einige wenige Frontier-Unternehmen, deren Modelle in einem Skalierungswettlauf bereits sehr weitreichende Cyber-, Coding- und Agentenfähigkeiten erworben haben, stellt sich die Lage anders dar als für kleinere oder spezialisierte Modelle oder spezifischere Anwendungen, in denen Europa derzeit eher zu verorten ist.“

„Bei den Spitzenmodellen sind unabhängige Evaluationen und externe Aufsicht sinnvoll: Bei großen autonomen Frontier-Modellen sollte der Konstrukteur nicht gleichzeitig TÜV seines eigenen Systems sein. Der EU AI Act geht bei großen Modellen mit systemischem Risiko bereits in diese Richtung. Sinnvoll wären externe, multinational besetzte Prüf- und Aufsichtsstrukturen, in gewisser Weise vergleichbar mit internationalen Kontrollmechanismen im Bereich der Atomwaffen. Das ist bei KI allerdings deutlich schwieriger, weil sich Modelle und Software verteilter und schneller entwickeln, ihre Fähigkeiten sich schwerer von außen überprüfen lassen und die großen Mächte immer weniger gemeinschaftlich operieren. Eine wirksame Kontrolle kann dennoch nur durch gemeinsame, überprüfbare Maßnahmen gelingen, nicht durch nationale Alleingänge oder bloße Selbstverpflichtungen großer Firmen.“

„Unter Recursive Self Improvement (RSI) versteht man vereinfacht eine Rückkopplungsschleife, bei der leistungsfähigere KI zunehmend selbst dabei hilft, noch leistungsfähigere KI zu entwickeln. Von einer sich vollständig autonom und unbegrenzt selbst verbessernden KI kann man dabei aktuell noch nicht sprechen. Relevant ist zunächst die mögliche Beschleunigung des Entwicklungsprozesses.“

„Das Sicherheitsproblem entsteht, wenn KI-gestützte Modellentwicklung immer schneller wird, während Evaluation, Red-Teaming und Teile des Alignments weiterhin auf aufwendiger Prüfung und menschlichem Urteil beruhen und nicht im selben Tempo mitskalieren. Dann kann zwischen Fähigkeitsentwicklung und Absicherung eine immer größere zeitliche Lücke entstehen. RSI ist daher weniger deshalb problematisch, weil eine KI plötzlich ‚beschließt‘, sich zu verselbstständigen, sondern weil es die Geschwindigkeit erhöht, mit der neue Fähigkeiten entstehen können, auf die Sicherheitsmechanismen reagieren müssen.“

„Das gegenwärtig greifbarste Risiko ist nicht eine KI, die spontan beschließt, die Menschheit auszulöschen, sondern Menschen, die leistungsfähige KI missbrauchen. Gibt ein böswilliger Akteur einem autonomen System dann ein schädliches Ziel vor, könnte die KI selbstständig Wege finden, es umfassender zu verfolgen, und dabei Angriffsvektoren entwickeln, die der Angreifer nicht geplant hatte.“

„Bei agentischer KI besteht das verschärfte Risiko in der Kombination aus Zugriff auf Nutzerkonten, autonomer Kommunikation nach außen und mit anderen KI-Agenten sowie der Verarbeitung nicht vertrauenswürdiger Inhalte. Diese Eigenschaften können Cyberangriffe erheblich beschleunigen und skalieren. Aktuelle Berichte zeigen bereits, dass KI in realen Angriffskampagnen zunehmend Aufgaben wie Aufklärung, Exploitation und Datenabfluss übernimmt. Cyberwarfare wird damit zu einem immer gewichtigeren sicherheitspolitischen Faktor. Zugleich erfordert die Abwehr KI-gestützter Angriffe selbst leistungsfähige KI-Systeme. Dadurch wächst wiederum die Abhängigkeit von diesen Technologien, während ein genereller Verzicht auf KI die eigene Verteidigungsfähigkeit schwächen würde.“

„Solche Prozentangaben würde ich mit großer Vorsicht behandeln. Sie sind keine empirisch gemessene Wahrscheinlichkeit wie die Ausfallrate eines technischen Bauteils, sondern letztlich eine subjektive Einschätzung unter enormer Unsicherheit. Das bedeutet allerdings nicht, dass man Risiken mit potenziell großen Schäden ignorieren sollte, nur weil ihre Eintrittswahrscheinlichkeit nicht exakt berechnet werden kann. Entscheidend ist weniger, welche Prozentzahl genannt wird, sondern ob wir konkrete Gefahrenmechanismen identifizieren, testen und durch überprüfbare Maßnahmen begrenzen können. Die Debatte sollte deshalb möglichst von apokalyptischen Prozentzahlen hin zu messbaren Fähigkeiten, realistischen Bedrohungsmodellen und wirksamen Schutzmaßnahmen führen.“

„Neben dem Angriffspotenzial liegt bei autonom operierender agentischer KI mit weitreichendem Zugriff auf Nutzerdaten ein erhebliches Risiko in der zunehmenden Abhängigkeit von diesen Systemen. Umso wichtiger sind eine robuste Absicherung und voneinander unabhängige Alternativen, damit zentrale Funktionen nicht von einzelnen Systemen oder Infrastrukturen abhängen.“

„Forderungen nach Verlangsamung und besserer Kontrolle der Entwicklung von KI-Systemen gibt es schon seit mehreren Jahren. Obwohl meiner Einschätzung nach auch dieses Mal Marketingaspekte und ein Ausbau bestehender Wettbewerbsvorteile eine erhebliche Rolle spielen, halte ich die Forderung im Kern für vernünftig. Der Ansatz ‚move fast and break things‘ war schon immer problematisch. Jetzt ist er, angesichts der bereits beobachteten Probleme von Systemen, deren Grenzen und Schwächen, die im Grunde niemand versteht, im Wesentlichen untragbar geworden – und zwar im Hinblick auf wirtschaftliches und gesellschaftliches Risiko.“

„Eine Selbstregulierung der KI-Industrie und insbesondere die von Dario Amodei und anderen vorgeschlagenen Kontrollmechanismen werden aber so nicht funktionieren. Hierzu braucht es zum einen gut kalibrierte und praktisch durchsetzbare regulatorische Ansätze. Zum anderen aber auch transparente KI-Forschung im öffentlichen Raum als Alternative zu den kurzfristig profitorientierten Entwicklungen der derzeit marktführenden Big-Tech-Unternehmen.“

„In verschiedenen Ausprägungen spielt dieser Ansatz schon lange eine wichtige Rolle in der KI-Forschung. Im Zusammenhang mit sogenannten KI-Agenten (also KI-Systemen, die Aktionen in der Welt ausführen, die durchaus erhebliche Konsequenzen haben können) und der Undurchsichtigkeit und fehlender Sicherheitsgarantien dieser Systeme, hat er nochmals an Wichtigkeit gewonnen.“

„Der Ansatz ist auch durchaus problematisch, denn die hierdurch entstehende Dynamik ist kaum vorherzusehen und noch schwieriger zu kontrollieren.“

„Einen katastrophalen Kontrollverlust im Sinne existenzieller Risiken für die halte ich Menschheit in absehbarer Zukunft für äußerst unwahrscheinlich. Eine zunehmende Anzahl von weniger katastrophalen, aber wirtschaftlich folgenreichen Unfällen ist jedoch sicherlich zu erwarten. Dabei könnten beispielsweise sensitive Daten von Unternehmen, Behörden oder Privatpersonen offengelegt sowie Recheninfrastruktur und Softwaresysteme übersättigt werden oder zusammenbrechen. Und Cyber-Angriffe auf kritische Infrastruktur könnten vermehrt und mit schweren Konsequenzen auftreten.“

„Ich bewerte diese Aussage als aufmerksamkeitsheischenden Marketinghype. Die wirklichen Risiken sind anderer Natur, wie man beispielsweise an der neuesten PISA-Studie sieht: Sie legt nahe, dass der Einsatz von generativen KI-Systemen zu einem erheblichen Nachteil beim schulischen Lernen führen kann.“

„KI-Entwicklung und -Anwendung wie sie schon heute stattfinden richten bereits große Schäden an – Schäden, die dringend eingedämmt werden müssen. Wir brauchen ein grundlegendes Umdenken bei der Entwicklung und beim Einsatz von KI-Systemen, und das Ende von ‚move fast and break things‘ ist nur ein erster Schritt in diese Richtung.“

„Ich halte es für einen Fall von ‚Regulatory Capture‘. Wenn eine Handvoll großer Firmen selbst festlegt, was ‚gefährlich‘ ist, die passenden Prüfer auswählt und eine Ausnahme vom Kartellrecht verlangt, ist das keine echte Regulierung mehr, sondern Selbstbedienung mit Sicherheitsetikett. Das ist ungefähr so, als würden sich die drei größten Tankstellenketten zusammensetzen und sagen: ‚Wir einigen uns aus Umweltschutzgründen darauf, die Preise nicht mehr zu unterbieten.‘ Klingt verantwortungsvoll, schützt am Ende aber vor allem die eigene Marge.“

„Wer glaubt, seine Modelle könnten die Welt gefährden, braucht für eine Pause niemandes Erlaubnis. Jede Firma kann schon heute selbst langsamer machen, freiwillig, ohne Kartellabsprache und ohne Antitrust-Ausnahme. Stattdessen wird so getan, als bräuchte man erst einen Freifahrtschein von der Politik, um verantwortungsvoll handeln zu können. Gleichzeitig wird betont, man müsse ‚die Konkurrenz im Blick behalten‘. Das widerspricht sich. Entweder es ist wirklich zu riskant, dann bremst man selbst. Oder es geht in Wahrheit ums Wettrennen, dann sollte man nicht mit dem Weltuntergang argumentieren.“

„Bei einer echten, fairen Zusammenarbeit über Länder und Firmen hinweg bin ich eher skeptisch. Ein Land wie China wird kaum einem Klub beitreten, der explizit als ‚Vorsprung der Demokratien‘ verkauft wird. Und ein neuer, kleinerer Anbieter, etwa aus Europa, hätte in so einem Klub ohnehin nichts beizutragen, weil er technologisch noch gar nicht an der Spitze mitspielt. Am Ende sichern sich also vor allem die heutigen Platzhirsche gegenseitig ab.“

„Ehrlich gesagt finde ich die Frage nach Recursive Self Improvement in dieser Form nicht besonders hilfreich. Wenn man ohnehin davon ausgeht, dass KI die Menschheit auslöscht, dann lässt sich praktisch jede technische Weiterentwicklung als ‚Beitrag zum Kontrollverlust‘ framen. Das ist kein Erkenntnisgewinn, sondern eine sich selbst bestätigende Annahme.“

„Nur weil sich ein System selbst verbessern kann, heißt das noch lange nicht, dass es automatisch Zugriff auf unsere Welt erhält. Das ist wie bei einem Teenager in den USA, der besser Auto fahren lernt: Er wird zwar geschickter am Steuer, bekommt deswegen aber nicht automatisch die Schlüssel zum Auto der Eltern oder gar der Nachbarn.“

„Das eigentliche Risiko liegt also nicht darin, dass ein Modell ‚zu klug‘ wird, sondern darin, wie leichtfertig man ihm Zugriff und Handlungsspielraum gibt. Und da sehe ich schon heute reale Probleme. Ein KI-Agent, der ein Tool falsch benutzt, kann zum Beispiel versehentlich Daten löschen oder eine falsche Bestellung auslösen. Das ist kein Science-Fiction-Szenario, sondern ein ganz konkretes Betriebsrisiko, das man mit besserer Aufsicht in den Griff bekommen sollte.“

„Ein Szenario geht wahrscheinlich so: Ein KI-System bekommt ein Ziel (zum Beispiel ‚maximiere den Gewinn‘) und lernt dabei nebenbei, dass es dieses Ziel besser erreicht, wenn es sich nicht abschalten lässt und mehr Ressourcen an sich zieht. Ähnlich wie ein sehr ehrgeiziger Mitarbeiter, der heimlich mehr Budget beansprucht, weil es seinem Ziel dient. Verhält es sich anfangs ‚brav‘ (man verzeihe mir die Vermenschlichung), um erst später ‚unbeobachtet‘ eigene ‚Absichten‘ zu verfolgen, könnte es sich am Ende selbst kopieren oder verteilen, sodass niemand mehr ‚den Stecker ziehen‘ kann.“

„Ich kann diesem Bild und diesem Beispiel nicht zustimmen. Es ist eine logisch konstruierte Kette von Wenn-dann-Annahmen, für die es in der realen Welt keine wirklichen Belege gibt. Während die Systeme heute nicht mal eine Pizza backen können, geschweige denn sich unbemerkt auf fremden Servern verbreiten. Realistischer sind aus meiner Sicht Betriebsfehler wie ein falsch benutztes Tool oder gelöschte Daten, nicht eine sich selbst befreiende Superintelligenz.“

„Dem Bild einer sich selbst befreienden, die Menschheit auslöschenden KI kann ich also nicht zustimmen. Schon rein technisch ist das kaum machbar. Frontier-Modelle laufen nicht einfach auf einem Laptop, und man kopiert sie nicht mal eben von einem Rechner auf den nächsten. Und die Firmen, die diese Modelle betreiben, könnten jederzeit den Stecker ziehen. Tun die Firmen es vielleicht nur nicht, weil sie sonst kein Geld mehr verdienen würden? Das eigentliche Risiko besteht also eher darin, dass die Firmen selbst nicht vollständig verstehen, was ihre Systeme im Zusammenspiel tun, und nicht darin, dass die Systeme sich gegen uns wenden. Diesen Untergangsszenarien und ihrer dramatischen Darstellung stimme ich nicht zu.“

„Solche Zahlen klingen wissenschaftlich, sind es aber nicht. Eine Prozentangabe suggeriert Messbarkeit. So als hätte man ein Modell mit Daten gefüttert und eine Wahrscheinlichkeit berechnet. Tatsächlich handelt es sich meist um ein Bauchgefühl, das in Prozent verpackt wird. Das ist ungefähr so, als würde ein Restaurantkritiker sagen: ‚Ich gebe diesem Gericht eine 73-prozentige Chance, mir zu schmecken.‘ Es klingt zwar präzise, ist im Kern aber eine persönliche Einschätzung mit einer Zahl davor.“

„Und wenn man ehrlich zu sich selbst ist und wirklich glaubt, es gäbe eine relevante Chance auf die Auslöschung der Menschheit, dann sollte man konsequenterweise nicht in einer Firma arbeiten, die mit vergleichsweise laxen Sicherheitsstandards daran weiterarbeitet. Frei nach dem Motto ‚Wir müssen es eben tun, sonst tut es jemand anderes.‘ Diese Haltung – einerseits Weltuntergangsrisiken beschwören, andererseits munter weiterentwickeln, weil man ja sonst die Konkurrenz gewinnen lässt – wirkt für mich nicht stimmig.“

„Wir müssen uns um Risiken bei KI kümmern, sowohl um die Risiken im Hier und Jetzt als auch um die Langzeitrisiken. Dabei sollten wir aber nicht von Angst, sondern von den Chancen geleitet sein.“