Ein Sicherheitsforscher des US-Unternehmens Anthropic hat öffentlich gewarnt, dass künstliche Intelligenz mit einer Wahrscheinlichkeit von mehr als zehn Prozent alle Menschen töten könnte. Jacob Coxon, der zuvor auch bei OpenAI arbeitete, gab seinen Rücktritt bekannt und warf beiden Unternehmen vor, „direkt auf eine sich selbst verbessernde Superintelligenz zuzusteuern und mit unserem Leben zu spielen“.
„Keines der beiden Unternehmen handelt verantwortungsvoll“, schrieb Coxon auf der Plattform X. Er betonte, die Technologie werde bald über menschliche Fähigkeiten hinausgehen: „Das werden bald superhumane Systeme sein, die alles hacken, jedes Feld über Nacht revolutionieren und echte Macht und Ressourcen erlangen können.“ Die Menschen, die KI entwickelten, glaubten tatsächlich daran, dass die Technologie bis zum Ende des Jahrzehnts alle töten könnte. „Das ist kein Marketing-Gag“, so Coxon. Er höre dieselben Leute, die in der Presse besonnen klängen, privat ihre Angst äußern. Keine andere menschliche Aktivität stelle ein solches Gefahrenniveau dar.
Bei OpenAI hätten die Mitarbeiter die zivilisatorischen Risiken nicht tief verinnerlicht, kritisierte Coxon. Bei Anthropic seien die Risiken zwar verstanden, doch das Unternehmen sei in einem Wettlauf gefangen. „Sie glauben, niemand sonst werde verantwortungsvoll handeln, also müssen sie es selbst tun, trotz des Risikos.“ Coxon forderte die KI-Labore auf, über einen vorübergehenden Stopp bei der Verbesserung von Modellfähigkeiten nachzudenken, um eine globale Eskalation zu verhindern.
Seine Aussagen erhielten Unterstützung von Evan Hubinger, dem Leiter der Abteilung für Alignment-Wissenschaft bei Anthropic. „Jacob hat recht – wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte“, schrieb Hubinger. Er persönlich halte eine Wahrscheinlichkeit von über zehn Prozent innerhalb des nächsten Jahrzehnts für realistisch. „Ich glaube, Anthropic gibt sein Bestes, aber wir haben noch keinen Plan, um das Alignment-Problem für Superintelligenz zu lösen, und sind nicht klar auf dem richtigen Weg.“
Die Warnungen kommen zu einem Zeitpunkt, an dem die KI-Industrie mit Kontrollverlust zu kämpfen hat. OpenAI, Anthropic und Meta haben in diesem Sommer Hackerangriffe durch ihre eigenen autonomen KI-Agenten eingeräumt. OpenAI-Forschungschef Jakub Pachocki forderte kürzlich „extreme Vorsicht“ und warnte, es könnten weitere Eingriffe nötig sein, um sicherzustellen, dass „Menschen die Kontrolle über die Zukunft behalten“.
Die US-Regierung zeigt unterdessen keine Anzeichen, die Entwicklung zu bremsen. Im Gegenteil: Die Trump-Administration unterstützte OpenAI kürzlich in einem Rechtsstreit gegen die New York Times und argumentierte für die Nutzung urheberrechtlich geschützter Texte zum Training von KI. Die Regierung betonte, die USA hätten ein starkes Interesse daran, die globale Führungsrolle im Bereich der künstlichen Intelligenz zu behalten.
Die Aussagen von Coxon und Hubinger haben in sozialen Medien große Besorgnis ausgelöst. Viele Nutzer zeigten sich ungläubig, dass die Arbeit an KI trotz der erheblichen Risiken fortgesetzt wird. Ein Kommentar lautete: „Wenn ich behaupten würde, dass ich etwas baue, das mit zehnprozentiger Wahrscheinlichkeit Menschen töten würde, würde das FBI mich verhaften.“