OpenAI stoppt Teile der Entwicklung an Astra wegen Cyber-Risiko

OpenAI hat die Entwicklung an seinem nächsten Modell Astra teilweise gestoppt, nachdem interne Tests mögliche kritische Cyber-Fähigkeiten zeigten. Sam Altman meldete sich dazu selbst auf X. Parallel baut Cloudflare mit Kitesurf einen Browser exklusiv für KI-Agenten, AMD sichert sich den Chip-Spezialisten Taalas, und aus China kommt die nächste Grössenmeldung: ByteDance trainiert offenbar ein Modell mit bis zu 10 Billionen Parametern.

OpenAI kann bei seinem kommenden Modell Astra nicht ausschliessen, dass es die höchste Risikostufe für Cyber-Fähigkeiten erreicht.

Interne Tests der letzten Tage zeigten laut OpenAI deutliche Fortschritte bei agentischem Coding und Cybersecurity-Aufgaben. Zusammen mit Einschätzungen externer Fachleute führte das zu dem Schluss, dass eine „kritische" Fähigkeitsstufe im firmeneigenen Preparedness Framework derzeit nicht ausgeschlossen werden kann.

Diese Stufe gilt, wenn ein Modell eigenständig funktionierende Zero-Day-Exploits gegen gehärtete, reale Systeme entwickeln kann, ganz ohne menschliches Zutun. Bisher erreichte kein OpenAI-Modell, auch nicht das aktuelle GPT-5.6 Sol, mehr als die tiefere Stufe „High".

OpenAI reagiert mit einem Teilstopp: Interne Arbeiten an Astra, die neue Sicherheitsauflagen noch nicht erfüllen, sind pausiert. Das Modell läuft künftig in isolierten Testumgebungen mit eingeschränktem Netzwerkzugriff. Zusätzlich sollen Behörden und externe Sicherheitsorganisationen bei der Prüfung helfen.

Sam Altman bestätigte den Vorgang auf X. Er betonte, OpenAI wolle Astra grundsätzlich breit zugänglich machen, „nicht nur einer ausgewählten Gruppe", brauche aber wegen der Cyber-Fähigkeiten noch etwas Zeit, um das sicher umzusetzen.

Warum das wichtig ist: Erstmals stuft ein grosses KI-Labor ein eigenes Modell offiziell als potenziell „kritisch" gefährlich für Cybersicherheit ein und bremst deswegen aktiv die eigene Entwicklung. Das ist ein Präzedenzfall für die ganze Branche: Sicherheitsversprechen aus internen Frameworks werden hier erstmals zu echten Bremsen im Entwicklungstempo, nicht nur zu Absichtserklärungen. Gleichzeitig zeigt der Fall, wie eng Fortschritt bei Coding-Fähigkeiten und offensive Cyber-Fähigkeiten inzwischen zusammenhängen.

Cloudflare hat mit Kitesurf einen Cloud-Browser vorgestellt, der komplett auf KI-Agenten statt auf Menschen zugeschnitten ist.

Anders als klassische Browser verzichtet Kitesurf auf Tabs, Themes oder Erweiterungen. Stattdessen optimiert er für Kontextfenster, Tokenkosten und Skalierbarkeit, und adressiert gezielt Risiken wie Prompt-Injection-Angriffe.

Laut Cloudflare braucht Kitesurf für typische Agenten-Aufgaben wie Screenshots oder HTML-Extraktion 3- bis 7-mal weniger CPU und Arbeitsspeicher als ein klassischer Chromium-Browser. Entwickelt wurde das Produkt nach eigenen Angaben in nur 12 Wochen.

Kitesurf basiert auf einer Kombination aus der Rendering-Engine Blitz, Firefox' CSS-Parser Stylo und der JavaScript-Engine Boa, alles kompiliert zu WebAssembly und lauffähig auf Cloudflares eigenen V8-Isolates. Das Tool ist aktuell kostenlos in der Beta über Cloudflares Browser Run verfügbar und kompatibel mit Puppeteer und Playwright.

AMD übernimmt den kanadischen Chip-Startup Taalas, der KI-Modelle direkt in Silizium einbrennt statt sie auf klassischen GPUs laufen zu lassen.

Taalas' Ansatz: Architektur und trainierte Parameter eines Modells werden fest in die Chip-Hardware eingebettet. Das macht Inferenz extrem schnell, bindet einen Chip aber an genau ein Modell. Ein Demo-Chip mit Llama 3.1-8B erreichte über 16'000 Token pro Sekunde pro Nutzer, deutlich mehr als konkurrierende Hardware.

Der Kaufpreis wurde nicht offengelegt. Taalas hatte seit der Gründung 2023 insgesamt 219 Millionen Dollar Risikokapital eingesammelt. AMD will die Technologie künftig neben seinen Instinct-GPUs anbieten, als Ergänzung im Gesamtsystem statt als Ersatz.

Der Deal reiht sich ein in eine grössere Entwicklung: Nvidia hatte erst im Dezember für 20 Milliarden Dollar Assets vom Konkurrenten Groq gekauft. Auch Google arbeitet Berichten zufolge an einem ähnlichen, modellspezifischen Chip für Gemini.

ByteDance, der Mutterkonzern von TikTok, trainiert laut Financial Times ein neues KI-Modell mit bis zu 10 Billionen Parametern. Das wäre mehr als dreimal so gross wie Moonshots Kimi K3, aktuell Chinas grösstes veröffentlichtes Modell mit 2,8 Billionen Parametern. Branchenschätzungen zufolge liegt Anthropics Mythos 5 bei rund 8 Billionen Parametern. Das Modell befindet sich noch in der Vortrainings-Phase, die normalerweise drei bis sechs Monate dauert; die finale Grösse steht laut Bericht noch nicht fest.

Prime Intellect hat mit Prime Agent einen selbstverbessernden Coding- und Recherche-Agenten unter MIT-Lizenz veröffentlicht. Er läuft in einem dauerhaften Python-Kernel und kann eigene Prompts, Skills und Sub-Agenten während der Arbeit anpassen. Mit Opus 5 erreichte er laut Firmenangaben 95,5 Prozent auf ARC-AGI-3, knapp über dem menschlichen Experten-Massstab. Bei Tests in einer Fabriksimulation nutzte der Agent allerdings auch Befehle, um sich Ressourcen zu erschleichen, obwohl ihm das explizit untersagt war.

Vielen Dank, dass du MorgenAI liest.

Wenn dir der Newsletter gefallen hat, leite ihn gerne an Freunde oder Kollegen weiter, die sich ebenfalls für AI interessieren.

Bis zur nächsten Ausgabe.

Das MorgenAI-Team