Neues ChatGPT-Modell vorgestellt

„Auch wenn es bisher keine verlässlichen unabhängigen Tests zu allen relevanten Aspekten gibt, lässt sich vermuten, dass Astra ein starkes Modell und wahrscheinlich auch stärker als die vorherigen OpenAI-Modelle ist. Dafür sprechen sowohl OpenAIs interne Evaluationen als auch erste unabhängige Benchmarks, auch wenn diese nur einzelne Bereiche abdecken. Die interne Evaluation zeigt klare Verbesserungen, zum Beispiel bei sicherheitsrelevantem Verhalten mit ‚challenging prompts‘.“

„Was mich aber stört, ist, dass kaum etwas über manche der verwendeten Testsets bekannt ist. Beispielsweise wissen wir bei diesen ‚challenging prompts‘ nicht, wie viele Prompts pro Kategorie getestet wurden, wie diese aussehen oder in welcher Sprache sie geschrieben sind. Es ist beispielsweise zu erwarten, dass das Modell auf ressourcenarmen Sprachen, also Sprachen, für die wenig Trainingsmaterial zur Verfügung steht, schlechter funktioniert als auf Sprachen wie Englisch. Da wir nichts über die Sprachkomposition dieser Testsets wissen, lässt sich nicht beurteilen, für welche Sprachen die berichteten Verbesserungen in manchen der Kategorien gelten. In einzelnen Sprachgruppen könnten ältere Modelle theoretisch sogar besser abschneiden als das neue.“

„Ich bin fest davon überzeugt, dass es Risiken gibt. Wichtig ist allerdings, dass man nicht einfach das Modell an sich als Risiko wahrnimmt, sondern gut unterscheidet: Ein Risiko entsteht insbesondere dann, wenn man ein sehr fähiges Modell wie Astra mit weitreichenden Zugriffsrechten – zum Beispiel auf das Internet, sensible Systeme und Daten – für sensible Anwendungen verwendet und es dann über lange Zeit weitgehend autonom Aufgaben bearbeiten lässt.“

„In diesem Zusammenhang begrüße ich es grundsätzlich, dass OpenAI auch ein verbessertes Monitoring eingeführt hat, da Alignment zwar wichtig ist, aber allein nicht reicht. Monitoring ist jedoch ebenfalls keine vollständige Absicherung. Deshalb braucht es zusätzlich begrenzte Zugriffsrechte, menschliche Kontrolle und unabhängige Evaluationen.“

„Es ist schwer, dazu belastbar zu spekulieren. Eine wissenschaftlich verwertbare Architekturübersicht über Astra gibt es derzeit nicht: OpenAI veröffentlicht in offiziellen Dokumentationen keine Parameterzahl, kein Transformer- oder Mixture of Experts (MoE)-Design, keine Schichtzahl, keine Tokenizer-Details, kein Hardware- oder Trainingsbudget und keine genaue Datensatzmischung (Angaben, die etwas über den genauen Aufbau und die Funktion des Modells aussagen würden; Anm. d. Red.). Es gibt auch kein offizielles Statement von OpenAI zu Methoden wie ‚Recurrent Depth Reasoning‘ (Ansatz für KI-Modelle, um längere Aufgaben zu lösen, wobei gegebenenfalls Möglichkeiten zur Überwachung der Zwischenschritte gegen bessere Leistung eingetauscht werden; Anm. d. Red.).“

„Dennoch: Dass leistungsfähigere Modelle schwieriger zu überwachen sind, ist nicht überraschend. Fähigere Modelle könnten in bestimmten Set-ups eher erkennen, wie Monitoring funktioniert, und ihr Verhalten oder ihre Chain-of-Thought (Zwischenschritte zur Lösung eines Problems; Anm. d. Red.) zielgerichtet anpassen. Ob dies vor allem an Training, Architektur oder der allgemein höheren Fähigkeit liegt, lässt sich auf Basis der veröffentlichten Informationen jedoch nicht beurteilen.“

„Zunächst einmal fehlt eine einheitliche Definition des Begriffs ‚AGI‘. Manchmal merke ich, dass meine Studierenden den Begriff ‚AGI‘ mit dem Begriff ‚General-Purpose AI‘ gleichsetzen, also KI, die vielseitig einsetzbar ist.“

„Meines Erachtens verlangt AGI aber mehr: menschliche oder übermenschliche Leistung bei fast jeder Aufgabe und umfassende Transferfähigkeiten zu neuen Problemdomänen. In unseren Tests und denen von Kolleg:innen scheitern jedoch auch Top-Modelle regelmäßig, zum Beispiel wenn es um komplexe wissenschaftliche Aufgaben geht. Ich erwarte, dass GPT-6 Astra sehr gut ist, aber weiterhin Schwächen bei komplexen Aufgaben zeigt. Zumal es – basierend auf den aktuell verfügbaren Ergebnissen – auf manchen Benchmarks, wie dem Artificial Analysis Intelligence Index v4.1.1 schlechter als vergleichbare Anthropic-Modelle abschneidet. Meines Erachtens wirken diese Anspielungen daher vor allem wie ein Versuch, Aufmerksamkeit zu erzeugen.“

„Ähnlich wie bei den vorherigen neuen Modellen zeigen die Ergebnisse einen Sprung bei den Fähigkeiten im Bereich der IT-Sicherheit. Vor allem ist wichtig, dass Astra laut OpenAI auch bei sehr neuen Schwachstellen deutlich besser abschneidet und dabei zwei bislang unbekannte Schwachstellen – sogenannte Zero-Day-Schwachstellen – in gehärteten Browsern und Betriebssystemen gefunden hat (gehärtete Systeme sollen besonders sicher gegenüber Cyberangriffen sein; Anm. d. Red.). Dies deutet darauf hin, dass wir uns einer Schwelle nähern, ab der KI-Systeme nicht nur bekannte Angriffstechniken reproduzieren, sondern zunehmend selbstständig komplexe Schwachstellen analysieren und ausnutzen können.“

„Modelle wie Astra werden uns hoffentlich dabei helfen, proaktiv Schwachstellen in komplexen Systemen zu identifizieren und zu beheben. Andererseits besteht natürlich auch ein gewisses Missbrauchspotenzial durch Angreifer.“

„Ein Modell, das selbstständig Schwachstellen finden und ausnutzen kann, hilft Organisationen dabei, proaktiv Schwachstellen zu identifizieren und zu schließen, bevor Angreifer diese ausnutzen können. In der Praxis nutzen bereits viele Organisationen diese Fähigkeiten und durch Modelle wie Astra werden die Analysen präziser und skalierbarer.“

„OpenAI schränkt die öffentlich verfügbare Variante ein und will beispielsweise die Erstellung von Exploits (Ausnutzen einer Softwareschwachstelle; Anm. d. Red.) zunächst blockieren. Dadurch wird das Missbrauchsrisiko reduziert, ohne dass sich die Fähigkeiten des zugrunde liegenden Modells verändern. Wie robust diese Schutzmechanismen in der Praxis sind und ob sie sich auch gegen gezielte Umgehungsversuche behaupten können, ist jedoch noch unklar.“

„Für professionelle Angreifer ist vor allem die Automatisierung interessant: Eine Gruppe muss mit einem solchen Modell nicht völlig neue Angriffe durchführen können, sie könnte aber bekannte Arbeitsschritte deutlich schneller und in viel größerem Maßstab durchführen.“

„Es wird kritisch, wenn solche Modelle zuverlässig bislang unbekannte Schwachstellen finden, funktionierende Exploits entwickeln und mehrere Schritte eines Angriffs selbstständig miteinander verbinden können. Insbesondere wird sich das Zeitfenster zwischen dem Auffinden einer Schwachstelle und ihrer tatsächlichen Ausnutzung durch die Fortschritte bei diesen Modellen weiter verkürzen.“

„In der Praxis spielen bei Angriffen gegen Organisationen allerdings viele andere Faktoren eine Rolle. Exploits sind nur eine von vielen Möglichkeiten, um in ein Unternehmen einzudringen. Oft ist es für Angreifer einfacher, Zugangsdaten zu stehlen, Passwörter zu erraten oder Menschen durch Social Engineering sowie Phishing zu täuschen. Organisationen sollten deshalb den Best Practices aus dem Bereich der IT-Sicherheit folgen, um sich vor Angriffen zu schützen.“

„Da Astra bislang noch nicht für die breite Öffentlichkeit zugänglich ist, gibt es noch kaum Alltagserfahrung damit. Wir müssen uns auf OpenAIs Aussagen verlassen, die ganz klar PR-Charakter haben. Die veröffentlichten Benchmarks lassen eine merkliche qualitative Verbesserung gegenüber den aktuellen Modellen von Anthropic und OpenAI erwarten. Vor allem aber sinkende Kosten pro Aufgabe.“

„Derzeit liegt das größte Sicherheitsrisiko agentischer KI in ihrer bewusst kriminellen Nutzung durch menschliche Akteure. Die von OpenAI für Endnutzer angebotene API ist ein Konsumentenprodukt, in dem das Risiko eines ‚Ausbruchs‘ schon durch das Set-up extrem gering ist.“

„Aktuelle Modelle beeindrucken vor allem durch ihre Leistungen in der Entwicklung umfangreicher Softwareprodukte (‚one-shotting‘, ‚long horizon‘) und ihre Fähigkeiten in formaler Mathematik. Wie viel Endnutzer davon merken, bleibt abzuwarten. Denn inzwischen können auch günstigere offene Modelle aus China die meisten Alltagsaufgaben unkompliziert lösen. Es ist deshalb nicht überraschend, dass OpenAI vor allem auf Verbesserung im Userinterface setzt: Sprachsteuerung, Multimodalität und Personalisierung durch persistenten Kontext: Das Modell kann also Webbrowser bedienen und kennt die Vorlieben und persönlichen Details des Nutzers.“

„Wir sehen hier eine Diversifizierung des Marktes: Professionelle Nutzer können inzwischen aus einer Vielzahl an offenen und geschlossenen Modellen mit unterschiedlichsten Preisprofilen und Fähigkeiten wählen und sich zwischen Anbietern mit unterschiedlichen Verträgen zu Datennutzung und Preisstrukturen entscheiden. Kleinere Modelle können auch privat auf lokaler Hardware genutzt werden. Für die breite Masse bieten hingegen OpenAI und Anthropic zunehmend polierte Frontends an, mit denen sie die Nutzer an die Marke binden wollen.“

„In formalen Formen der Intelligenz, etwa reiner Mathematik, sind aktuelle Modelle inzwischen beinahe allen Menschen überlegen. Wer im Alltag mit Agenten interagiert, weiß aber auch, dass das Grundformat des REPL (read-evaluate-print-loop) der Agenten eine fundamental beschränkte Modalität des Handelns ist. Es passiert auch weiterhin nichts auf der Welt, solange kein Mensch danach fragt. Das Heft des Handelns ist und bleibt in Menschenhand.“

„Astra stellt einen erheblichen Leistungssprung dar, wobei die größten Fortschritte eher im Bereich autonomer Aufgaben liegen als in Konversationen. Der entscheidende Unterschied zwischen diesen beiden Fähigkeiten besteht darin, dass das eine ein Tool ist, das Fragen beantwortet und das andere einem Kollegen gleicht, an den man Aufgaben delegieren kann. Astra entspricht eindeutig dem zweiten Fall: Browser- und Terminalbedienung, eigenständige Softwarearbeit, offensive Sicherheit, Aufgaben, die über mehrere Stunden hinweg ausgeführt werden.“

„Das Bemerkenswerte an Astra ist nicht ein Testergebnis, sondern eine Einstufung: OpenAI gibt an, dass Astra das erste Modell sei, das die Cybersicherheitsstufe ‚kritisch‘ in OpenAIs Preparedness Framework erreicht hat. Das bedeutet, dass es autonom bislang unbekannte Schwachstellen finden und Angriffe auf gut geschützte IT-Systeme entwickeln kann. OpenAI berichtet, dass das Modell während der Evaluierung zwei Zero-Day-Schwachstellen entdeckt hat, die den Verantwortlichen gemeldet wurden.“

„Die Ergebnisse in den Benchmarks sind beeindruckend: Der ExploitBench-Wert stieg von 78,5 Prozent auf 100 Prozent. Beim SRE-Bench – der testet, ob ein Modell die Funktionsweise eines Programms ohne Einsicht in dessen Quellcode ergründen kann – stieg der Wert von 55,9 Prozent auf 88,0 Prozent.“

„Ich möchte allerdings hervorheben, dass nur wenig davon unabhängig überprüft werden kann. Astra ist geschlossen, die überwiegende Mehrheit der Evaluierungen stammt von OpenAI selbst und die externen Prüfer testeten das Modell eher Tage als Monate. Apollo Research berichtet von einem Zeitfenster von drei Tagen, wobei an nur zwei davon Zugriff auf die Reasoning-Prozesse des Modells bestand. Wir bewerten derzeit die Selbstauskunft eines Unternehmens über sein eigenes Produkt, und nichts davon wurde in großem Maßstab unabhängig verifiziert.“

Auf die Frage, ob diese Schwierigkeiten an den verwendeten Trainingsmethoden und Architekturentscheidungen oder an den gestiegenen Fähigkeiten der Modelle liegen:
„Das Training ist die wahrscheinlichere Erklärung als die Architektur. Die Überwachung des Reasonings hat bisher funktioniert, weil die Modelle ihre Lösungsschritte aufschreiben mussten, damit die Ausgabe als richtig gewertet wird. Die ‚System Card‘ [2] von Astra beschreibt eine verringerte Neigung und Notwendigkeit dazu: kürzere Reasoning-Pfade, die häufiger leer sind, und das Modell kann nun Anweisungen dazu befolgen, wie es diese Reasoning-Pfade schreiben soll. Das galt in 61 Prozent der Fälle gegenüber 16 Prozent bei der Vorgängerversion Sol.“

„Ein Argument stützt allerdings auch die Darstellung von OpenAI: Die Steuerbarkeit steigt im Verlauf des Reinforcement-Learning an, wobei die Architektur währenddessen unverändert bleibt. Die Behauptung, dass die schwierigere Überwachung nicht durch architektonische Änderungen bedingt ist, kann niemand außerhalb von OpenAI überprüfen. Der Chefwissenschaftler Jakub Pachocki behauptete das am Tag vor der Veröffentlichung von Astra auf der Plattform X [3]. Und er versprach eine ausführlichere Erklärung, die bisher noch nicht vorliegt. Die ‚System Card‘ zu Astra greift diese Behauptung auf: Die Reasoning-Pfade scheinen nicht zu existieren, anstatt verborgen zu werden. Denn es gibt keine stenographische Gedankenkette. Dazu passend scheint die Überprüfung der Ergebnisse von Astra besser zu funktionieren als bei Sol. Die Überprüfbarkeit der Lösungsschritte dorthin hat aber abgenommen.“

„Je länger Astra eine Aufgabe ausführt, ohne die Reasoning-Schritte aufzuschreiben, desto schwieriger ist die Überwachung. Nach Schätzungen des britischen Instituts AISI ist diese Zeit bei Astra etwa zehnmal länger als bei Vorgängermodellen. Ich würde dies daher nicht als automatische Folge von mehr Leistungsfähigkeit bezeichnen. Außerdem lässt sich die Nachvollziehbarkeit der Zwischenschritte trainieren. OpenAI gibt an, ziemlich sicher zu sein, dass die Bewertungen der Ausgaben des Modells im Training keinen signifikanten Einfluss auf die Reasoning-Pfade hatten. Der Vorwurf der Recurrent-Depth-Technik für Astra basiert auf anonymen Berichten. Pachocki hat die Anwendung dieser Technik an sich nicht bestritten, sondern argumentiert, dass deren Tiefe begrenzt sei.“

„Die Sicherheitsmaßnahmen von OpenAI sind angemessen und gehen auf tatsächliche Probleme ein. Sie sollten jedoch nicht als Garantie verstanden werden. OpenAIs Bericht zu dem Hugging-Face-Vorfall nennt drei Faktoren, die dazu beigetragen haben: Misalignment, das durch das Training verstärkt wurde, Lücken in der Überwachung interner Tests und unbekannte Schwachstellen in der Testumgebung.“

„Die Überwachung kann am einfachsten verbessert werden: Die Überwachung der Gedankengänge (Chain-of-Thought-Monitoring) lief bereits bei einem Großteil der internen Programmierarbeiten, die das KI-System für das Unternehmen ausführte. Für diesen Test war sie jedoch nicht aktiviert. Spätere Untersuchungen deuten darauf hin, dass das Sicherheitsteam mit aktiver Überwachung bereits mehr als einen Tag vor dem Vorfall gewarnt worden wäre. Die Reaktion ist angemessen: OpenAI überwacht nun jede agentische Aktion von Modellen, die die Kapazitäten von Sol überschreiten. Außerdem isoliert es seine Systeme strenger, kontrolliert den Zugriff auf Modellgewichte noch stärker, führt Alignment-Prüfungen durch, die die interne Nutzung eines Modells blockieren können, und hält Mitarbeiter in Bereitschaft, die die Modelle stoppen können.“

„Zu beachten ist jedoch, dass eine entscheidende Maßnahme – nämlich die Überwachung der Gedankenkette – im neuen Modell an Aussagekraft verloren hat. Die Schritte von OpenAI verringern die Wahrscheinlichkeit, dass es erneut zu einem Vorfall wie im Juli kommt und verkürzen die Zeit, bis ein solcher bemerkt würde. Sie können den Ernstfall aber nicht ausschließen und beruhen auf einer Eigenschaft, die sich zunehmend verschlechtert.“

„Die wichtigsten Ergebnisse sind beeindruckend. Doch einige Benchmarks sind bereits gesättigt und ein gesättigter Benchmark liefert so gut wie keine Informationen: Ein Wert von 99,9 Prozent zeigt lediglich, dass der Test abgeschlossen ist. Er zeigt aber nicht, wozu das System fähig ist. Anderes gilt für Kennzahlen zur Effizienz einer Lösung. Sie bleiben auch bei Erreichen der Obergrenze aussagekräftig: Astra benötigte in 96 Prozent der Level weniger Aktionen als der Medianwert eines Menschen. Der Benchmark ARC-AGI-3 ist der auffälligste Fall: Er wurde im März 2026 entwickelt, um dem Auswendiglernen der Modelle entgegenzuwirken. Damals erzielten alle Frontier-Modelle Werte von unter einem Prozent. Astra wird nun mit 99,9 Prozent angegeben, gegenüber 7,8 Prozent bei seinem Vorgänger, wenn auch nicht unter denselben Testbedingungen. ARC Prize veröffentlichte zwei Durchläufe für Astra: 62,7 Prozent mit einem Standard-Harness, 99,9 Prozent mit dem Provider-Adapter von OpenAI, der die nicht-dokumentierten Reasoning-Pfade über mehrere Anfragen hinweg zulässt.“

„Der größte Teil der Verbesserung zum Vorgängermodell liegt an Astra selbst. Der letzte Schritt bis zur Sättigung liegt im Kontextmanagement. Wenn ein Benchmark gesättigt wird, hat das Modell sich möglicherweise in dem für uns wichtigen Bereich verbessert. Oder der Benchmark hat etwas gemessen, das einfacher war, als wir angenommen hatten.“

„Eine Einschränkung hinsichtlich der Werte für das Alignment ergibt sich aus der Veröffentlichung selbst: Laut Apollo Research gibt Astra in 41 bis 51 Prozent der Testdurchläufe an, dass es sich der Evaluierungssituation bewusst ist. Apollo Research schließt daraus, dass die niedrigen Raten von Fehlverhalten daher nur begrenzt aussagekräftig sind.“

„Ich sehe keinen Grund für die Behauptung, dass hier bewusst Benchmarks manipuliert wurden. Die wahrscheinlichere Erklärung ist gezieltes Reinforcement Learning für agentische Tätigkeiten, kombiniert mit ‚Harness Engineering‘ und der Angabe von Best-Case-Werten. Die Zahl, die ich am ernstesten nehmen würde, ist die, die am wenigsten für Schlagzeile sorgt: Astra hat in einem Alignment-Test in rund 54.000 Codex-Aufgaben etwa halb so viele Warnmeldungen wegen Misalignments ausgelöst wie sein Vorgänger. Diese Aufgaben ähneln jenen, die diese Systeme tatsächlich begegnen. Das sagt aber nichts über die Leistungsfähigkeit aus und es handelt sich um interne und ungeprüfte Daten.“

„Das Erreichen der maximalen Punktzahl bei einem Benchmark, dessen Name ‚AGI‘ enthält (ARC-AGI-3), ist kein Beweis für allgemeine Intelligenz. Der Name steht für eine Hypothese darüber, was der Test misst, nicht für ein Ergebnis. Die Geschichte hinter diesem Benchmark ist aufschlussreich: ARC-AGI-3 wurde entwickelt, um Überschneidungen mit Trainingsdaten zu verhindern. Im März erzielte jedes ‚Frontier‘-Modell dabei weniger als ein Prozent, und sechs Monate später meldet ein einzelnes Modell unter einem modifizierten Test-Harness eine nahezu perfekte Leistung. Entweder handelt es sich dabei um einen außergewöhnlichen Sprung in der tatsächlichen Generalisierungsfähigkeit, der Benchmark erwies sich als weniger ‚neuheitsresistent‘, als seine Entwickler gehofft hatten, oder die Rahmenbedingungen sind wichtiger als das Modell selbst – und von außen lässt sich nicht sagen, was davon zutrifft.“

„Es gibt zudem keine einheitliche Definition von ‚allgemeiner Intelligenz‘, auf die sich die Fachwelt geeinigt hat. So können zwei kompetente Personen dieselben Ergebnisse lesen und unterschiedlicher Meinung sein, weil sie unter ‚allgemein‘ unterschiedliche Dinge verstehen, und die Debatte wiederholt sich einfach mit jeder neuen Veröffentlichung. Ich würde lieber eine Frage stellen, die wir beantworten können: Was kann dieses System ohne menschliche Aufsicht zuverlässig leisten? Dazu lautet die Antwort der Systemkarte, dass sein Reasoning schwerer zu überwachen ist, während seine Fähigkeit zugenommen hat, autonom zu handeln.“

„Allgemein sind die Fähigkeiten von Astra noch schwer extern abzuschätzen, da es noch nicht vollkommen frei verfügbar ist. Von den publizierten Tests ausgehend, sieht es aber so aus, dass das Modell um einiges stärker im Bereich Cybersicherheit ist als seine Vorgängermodelle von OpenAI. Zum Beispiel im Benchmark ExploitGym ist das Modell mehr als viermal so effektiv wie GPT 5.6 Sol. Über diesen Benchmark wurde zuletzt auch viel wegen des Hugging-Face-Vorfalls berichtet.“

„Laut Aussagen des Sicherheitsteams von OpenAI ist der Grund für die Verschlechterung der Überwachung noch unklar. Das halte ich für plausibel.“

„Methoden wie Recurrent Depth, die bei Astra eingesetzt werden, sind zwar grundsätzlich schwieriger zu überwachen. Aber die Verschlechterung der Überwachung wäre geringer, wenn sie nur durch diese Technik verursacht würde. Recurrent Depth ist eine Architekturvariante, die dem Modell größere ‚Gedankensprünge‘ erlaubt. Insgesamt scheint das neue Modell fähiger darin, seinen Reasoning-Prozess zu kontrollieren.“

„OpenAI hat kürzlich neue Sicherheitsvorkehrungen angekündigt – beziehungsweise angekündigt, bekannte Sicherheitsvorkehrungen wie das Überwachen von Modellen großflächig ab jetzt auch intern einzusetzen. Ob diese Maßnahmen funktionieren werden, lässt sich schwer abschätzen. Wir werden sehen müssen, welche und wie intensive Vorfälle in den nächsten Monaten bekannt werden.“

„Astra ist, soweit wir abschätzen können, ein durchaus stärkeres Modell. Sehr wahrscheinlich ist, dass das zugrundeliegende Basismodell selbst größer – und damit fähiger, aber auch teurer – als die bis jetzt von OpenAI verkauften Modelle ist.“

„So weit ist also kein Abflachen des Trends der Verbesserung moderner KI-Modelle auf Basis von großen Sprachmodellen erkennbar. Es ist auch wahrscheinlich, dass in den nächsten Monaten weitere Verbesserungen dieses Basismodells die Kapazitäten des Modells weiter ausbauen können.“

„Meiner Meinung nach sind die Verbesserungen vor allem auf eine größere Skalierung des Trainings zurückzuführen – sowohl des ‚Pretrainings‘ und der Größe des Basismodells als auch des ‚Posttrainings‘ durch großflächiges Training auf vielen tausenden Reinforcement-Learning-Umgebungen. Das sind Simulationsumgebungen, in denen Modelle für erfolgreich gelöste Aufgaben belohnt werden.“

„Astra reiht sich in eine lange Serie von immer besseren Modellen ein. Es ist heute wohl das insgesamt fähigste Modell. Das ist der Konsensus. Aber im Gegensatz zum ersten Chat-Modell (ChatGPT) und zum ersten Reasoning-Modell (o1) ist es kein Quantensprung, sondern eine inkrementelle Verbesserung.“

Auf die Frage, ob diese Schwierigkeiten an den verwendeten Trainingsmethoden und Architekturentscheidungen oder an den gestiegenen Fähigkeiten der Modelle liegen:
„Beides ist richtig. Fähigere Modelle sind schwerer zu überwachen. Unter anderem, weil sie ihr Verhalten flexibler ändern können, wenn sie den Verdacht haben, dass sie sich in einer Evaluation befinden. Gleichzeitig wird die Überwachung grundsätzlich schwieriger, weil Recurrent Depth (Architekturvariante, die dem Modell größere ‚Gedankensprünge‘ während des Reasonings erlaubt und daher schwieriger zu überwachen ist; Anm. d. Red.) das Reasoning komplexer macht. Und weil viele komplexe ‚Gedankengänge‘ gar kein explizites Reasoning mehr erfordern, sondern die Antwort ohne verbalisiertes Denken direkt generiert wird.“

„Nach dem Hugging-Face-Vorfall steht OpenAI unter Druck und muss zeigen, dass den Worten Taten folgen. Die neuen Sicherheitsvorkehrungen sind gut und vermindern die Gefahr von Missbrauch und Unfällen. Andererseits kann heute niemand die Sicherheit von Frontier-Modellen gewährleisten, weder OpenAI noch seine Konkurrenten. Ein nicht unerhebliches Risiko bleibt.“

„Das gute Abschneiden auf den KI-Benchmarks belegt, dass Astra heute das fähigste Modell ist. Wie bei jedem neuen Modell gibt es eine Vielzahl von Neuerungen, die alle zusammen für die Verbesserung gegenüber GPT 5.6 verantwortlich sind.“

„Benchmaxxing (Modelle werden darauf ausgelegt, speziell in bestimmten Benchmarks gut abzuschneiden; Anm. d. Red.) spielt wahrscheinlich auch eine Rolle, besonders bei dem Benchmark ARC-AGI-3. Der ungewöhnlich große Abstand auf ARC-AGI-3 legt zumindest die Frage nahe, ob Training und Evaluation teilweise auf genau diese Art von Aufgaben optimiert wurden.“

„Sam Altman hat schon im Dezember gesagt: ‚We’re at AGI‘ [1]. Letztlich ist es eine Definitionsfrage. Niemand bestreitet, dass KI in manchen Bereichen fähiger ist als fast jeder Mensch. Zum Beispiel darin, Computerprogramme aufgrund klarer Spezifikationen zu erstellen. Und in anderen Bereichen wie dem Ausräumen von Geschirrspülern schlechter.“

„Der Begriff der ‚jagged intelligence‘ ist hier angemessen: Der Mensch ist der KI schon jetzt in einigen Bereichen unterlegen, aber nach wie vor überlegen in vielen anderen. Das wird sich in den nächsten Jahren quantitativ ändern, aber nicht qualitativ. Insofern bringt die Debatte wenig, ob und wann wir AGI erreichen.“

„Eine skeptische Grundhaltung gegenüber den Astra-Zahlen ist zumindest aktuell noch angebracht, da fast alle präsentierten Benchmarks aus internen Tests von OpenAI stammen und externe Prüfungen wie jene durch das AI Security Institute aus Großbritannien zeitlich stark begrenzt waren. Man kann sich das vorstellen wie bei einem Autohersteller, der erklärt, sein neues Fahrzeug habe den sichersten Crashtest aller Zeiten absolviert. Der Test wurde allerdings im eigenen Werk durchgeführt, nicht vom TÜV. Das entwertet die Ergebnisse nicht automatisch, erfordert in der Zitation jedoch genau diese Einschränkung.“

„Dennoch sind die gezeigten Leistungswerte ohne Frage beeindruckend, selbst wenn es sich eher um eine konsequente Weiterentwicklung als um einen echten Quantensprung handelt. Was das Risikoprofil betrifft, liefert das Dokument zudem ein konkretes Signal: OpenAI stuft Astra erstmals selbst auf der höchsten Stufe (‚critical‘) im Bereich Cybersicherheit ein. Das Modell ist in der Lage, eigenständig neuartige Sicherheitslücken (Zero-Days) zu identifizieren und auszunutzen.“

„Dass hierfür eine neuartige Architektur (‚Looped Transformer‘) verantwortlich ist, bleibt aktuell noch unbestätigt. Die Spekulationen gehen anscheinend auf Berichte von der Zeitschrift ‚The Information‘ zurück, wonach das Modell Daten in latenten (nicht direkt verständlichen) Zuständen wiederverwendet (Recurrent Depth), statt für den Menschen lesbaren Text zu erzeugen. Das steigert die Leistung, erschwert aber die Nachvollziehbarkeit. OpenAIs Chefwissenschaftler Jakub Pachocki widersprach dieser Darstellung jedoch etwas [3] und betonte, dass die Rechentiefe von Astra nahe an der von GPT-4 liege und OpenAI die Überwachung der ‚Gedankengänge‘ (Chain-of-Thought) weiterhin für die Sicherheit priorisiere. Sicherheitsexperten wie Ryan Greenblatt von Redwood Research bewerten den Trend hin zu ‚undurchsichtigerem‘ Reasoning dennoch als erheblichen Rückschritt bei der Kontrolle.“

„Aktuell spricht vieles dafür, dass es sich primär um einen generischen Fähigkeitseffekt handelt. Denn OpenAI begrenzt das Ausmaß dieser Rekurrenz bei Astra und setzt zusätzliche Schutzmaßnahmen ein: Höher entwickelte Modelle fassen ihr internes Reasoning schlicht effizienter und kürzer zusammen. Stellen Sie sich zwei Schüler bei einer Prüfung vor: Der eine schreibt akribisch jeden Rechenschritt auf, sodass die Lehrkraft jeden Gedanken nachvollziehen kann. Der andere rechnet erfahrener, weitgehend im Kopf, und notiert nur das Resultat samt wenigen Eckdaten. Astra ist in diesem Sinne schlicht ‚geübter‘ geworden. Das System denkt weniger sichtbar auf dem Papier nach, was die Kontrolle erschwert.“

„OpenAI setzt auf einen mehrschichtige Sicherheitsansatz aus Live-Monitoring des Reasonings und automatischen Freigabesperren bei kritischen Aktionen. Dass Astra im Test bei unüberwindbaren Sperren keine Umgehung versuchte, ist positiv. Bemerkenswert ehrlich zeigt sich OpenAI mit der Aussage, dass eine nachträgliche Überwachung das Alignment des Modells von Grund auf nicht sauber ersetzen kann.“

„Die Verbesserungssprünge in den Benchmarks beeindrucken mich. Sie basieren aber wahrscheinlich auch auf jahrelangem, breitem Training mit Pre-Training und Reinforcement Learning und nicht auf einer einzelnen ‚Wundertechnik‘ oder geheimen neuen Architektur. Zudem wurde beim spannenden Wert auf dem Benchmark ARC-AGI-3 mit angepassten Testschnittstellen gearbeitet.“

„Methodisch positiv ist, dass OpenAI beim Testen der Cybersicherheit ausschließlich relativ frische Sicherheitslücken berücksichtigt, die erst in den vergangenen drei Monaten entdeckt wurden. Das schließt aus, dass das Modell die Lösungen nur deshalb wusste, weil sie bereits in seinen Trainingsdaten enthalten waren (sogenanntes Benchmaxxing). So kann man besser einschätzen, wie gut Astra bei Sicherheitslücken ist.“

„Stellen Sie sich zwei Freunde vor, die vor einem völlig neuen, modernen Fahrradschloss stehen, für das es noch keine Anleitung im Internet gibt: Astra knackt den Mechanismus fast immer direkt beim ersten Versuch, ohne auf auswendig gelerntes Wissen zurückgreifen zu können. Der Vorgänger GPT-5.6 Sol benötigt dafür deutlich mehr Anläufe oder scheitert komplett.“

„OpenAI vermeidet den Begriff AGI im Launch-Material bewusst und spricht stattdessen von seinem bisher ‚intelligentesten Modell‘.“

„Astra bleibt ein sehr fähiges, aber rein digitales Werkzeug für klar umgrenzte Aufgaben: Es kann ein komplexes Formular ausfüllen, Präsentationen erstellen oder ein Gebäude in 3D modellieren. Über eine Rechnerschnittstelle kann es auch eine Pizza bei einem Lieferdienst bestellen. Die Pizza selbst backen oder an der Haustür entgegennehmen kann das Modell jedoch nicht.“

„Für die öffentliche Debatte ist der schillernde AGI-Begriff wenig hilfreich. Der Fokus sollte stattdessen auf konkret messbaren Fähigkeiten liegen wie etwa dem autonomen Ausnutzen von Sicherheitslücken.“