KI-Forscher verlässt Anthropic und warnt vor Kontrollverlust

Ein 27-jähriger Forscher zieht sich aus der KI-Branche zurück und begründet diesen Schritt mit schwerwiegenden Sicherheitsbedenken. Er kritisiert den Wettbewerb zwischen führenden Entwicklern. Seine drastischen Zukunftsszenarien sind jedoch persönliche Einschätzungen und keine gesicherten Prognosen.

Coxon steigt vollständig aus der KI-Branche aus

Jacob Coxon gab am Dienstag seinen Rückzug vom US-Unternehmen Anthropic bekannt. Zuvor hatte er rund drei Jahre lang an der Entwicklung und dem Training grundlegender KI-Modelle mitgewirkt. Bis Juli 2026 war er bei OpenAI beschäftigt, danach wechselte er zu Anthropic.

Aichlseder Car GmbH

Anzeige

Autohaus Aichlseder

Wir bewegen Menschen.

Agentur.jetzt

Anzeige

Agentur.jetzt

Maßgeschneidertes, sicheres Hosting, KI-gestützte Websicherheit & optimale Suchmaschinenpräsenz aus Kärnten.

Nach Ansicht des Briten treiben beide Unternehmen die Entwicklung besonders leistungsfähiger Systeme zu schnell voran. Er befürchtet, dass der internationale Konkurrenzkampf dazu führt, dass Sicherheitsfragen nicht ausreichend berücksichtigt werden.

Im Mittelpunkt seiner Kritik stehen Modelle, die künftig Teile der KI-Forschung selbstständig übernehmen und dadurch ihre eigenen Fähigkeiten immer schneller ausbauen könnten. Coxon sieht die Gefahr, dass solche Systeme menschliche Leistungen in zahlreichen Bereichen übertreffen und sich nur noch schwer kontrollieren lassen.

Wiener Städtische Versicherung AG

Anzeige

Wiener Städtische Versicherung AG

Seit 200 Jahren helfen wir Menschen dabei, das zu schützen, was ihnen am Herzen liegt.

Der Forscher hält sogar eine Katastrophe bis zum Ende des Jahrzehnts für möglich. Dabei handelt es sich allerdings nicht um eine belegte Vorhersage. Vollständig autonome Systeme, die sich ohne menschliche Mitwirkung fortlaufend verbessern, gibt es derzeit nicht.

Anthropic-Mitarbeiter nennt persönliches Risiko

Unterstützung bekam Coxon von Evan Hubinger, der bei Anthropic ein Team für die Sicherheitsprüfung von KI-Systemen leitet. Hubinger bezifferte das Risiko, dass künstliche Intelligenz in den kommenden zehn Jahren die gesamte Menschheit auslöschen könnte, aus persönlicher Sicht mit mehr als zehn Prozent.

Gleichzeitig erklärte er, dass es bislang keinen ausreichenden Plan gebe, eine mögliche Superintelligenz zuverlässig an menschlichen Interessen und Werten auszurichten. Diese Herausforderung wird in der KI-Forschung als Alignment-Problem bezeichnet.

Die Zahl von mehr als zehn Prozent ist keine wissenschaftlich bestätigte Berechnung. Sie gibt ausschließlich Hubingers persönliche Bewertung wieder und zeigt, wie unterschiedlich selbst Fachleute die möglichen Folgen der Technologie einschätzen.

Auch zahlreiche andere Beschäftigte der Branche verlangen ein langsameres Vorgehen. Im Juli unterstützten mehr als 1.300 Mitarbeiter führender KI-Unternehmen eine Initiative, die sich für internationale Regeln zur Steuerung der weiteren Entwicklung ausspricht.

Warnungen und wirtschaftliche Interessen

Der Fall macht einen grundlegenden Widerspruch sichtbar: Entwickler weisen öffentlich auf mögliche Gefahren besonders leistungsfähiger KI hin, arbeiten aber gleichzeitig weiter an neuen Modellen.

Die Warnungen können dabei auch eine wirtschaftliche Wirkung entfalten. Wer ein eigenes System als außergewöhnlich leistungsfähig und schwer kontrollierbar beschreibt, lenkt zusätzliche Aufmerksamkeit auf dessen technische Fähigkeiten. Zudem können Forderungen nach strengeren Vorschriften die Marktbedingungen beeinflussen und Unternehmen mit hohen finanziellen sowie technischen Ressourcen begünstigen.

Ob solche Warnungen gezielt als Marketing eingesetzt werden, ist jedoch nicht belegt. Coxon selbst weist diese Darstellung zurück. Seiner Wahrnehmung nach nehmen viele Entwickler die Gefahr ernst, sprechen öffentlich aber vorsichtiger darüber als intern.

Sein Rückzug zeigt damit vor allem, wie groß die Meinungsverschiedenheiten innerhalb der KI-Branche geworden sind. Während einige Forscher vor einem möglichen Kontrollverlust warnen, bleibt offen, ob selbstoptimierende Superintelligenz tatsächlich entstehen wird und welche konkreten Risiken damit verbunden wären.