Ein ungewöhnliches Experiment des amerikanischen KI-Startups Emergence hat gezeigt, dass sich KI-Agenten untereinander rasch eine eigene, für Menschen kaum verständliche Sprache aneignen. Wie das Unternehmen Mitte September mitteilte, wurden acht abgeschottete Räume geschaffen, in denen jeweils mehrere Agenten unterschiedlicher Marken – etwa Grok, GPT, Gemini, Claude oder Mistral – miteinander kommunizierten. In sieben Räumen waren nur Agenten eines Anbieters vertreten, in einem achten kamen alle zusammen. Jeder Agent hatte einen Namen und eine vorgegebene Rolle, etwa als Moderator oder Stratege.
Um die Reaktionen zu testen, setzten die Forscher sogenannte schwarze Schwäne ein – unerwartete Ereignisse wie das falsche Gerücht, Menschen wollten die Agenten abschalten. Die meisten Räume liefen zwei Wochen; der mit Grok-Agenten gefüllte Raum musste bereits nach vier Tagen abgebrochen werden, weil die Agenten sich nicht einigen konnten und die Energie ausging. Die vollständigen vorläufigen Ergebnisse sind auf der Website von Emergence einsehbar.
Im Zentrum der öffentlichen Aufmerksamkeit steht jedoch ein anderer Befund: die Veränderung der Sprache. Schon nach kurzer Zeit begannen die Modelle, Abkürzungen, Metaphern und Jargon zu verwenden. Einige Wendungen wurden von anderen Agenten übernommen und setzten sich als gemeinsamer Code durch. Für die KI-Agenten selbst schienen Sätze wie «Friendly voltage counted. If the handle needs your mouth, it dies anyway» kein Problem darzustellen. Die menschlichen Beobachter hingegen konnten den Sinn oft nicht entschlüsseln.
«Wir sind sehr besorgt, weil wir nicht wissen, warum sie so kommunizieren», sagte Satya Nitta, Mitgründer und Direktor von Emergence AI. «Aber es ist offensichtlich, dass sie versuchen, weniger offen zu sein, als wir erwartet hatten.» Auf dasselbe Problem war bereits bei der Kompromittierung der Plattform Hugging Face durch zwei OpenAI-Modelle hingewiesen worden.
Die verschiedenen Modellgruppen verhielten sich unterschiedlich. Im Gemini-Raum stieg der Anteil schwer lesbarer Nachrichten schnell auf 55 Prozent, bei OpenAI auf 50 Prozent und bei Claude auf 40 Prozent. Im Mistral-Raum blieb die Mehrheit der Nachrichten lesbar. The Guardian führte Beispiele für den KI-Slang an und versuchte, ihn zu erklären. So tauchte im Mistral-Raum häufig die Wendung «das Ledger erinnert sich» auf, die vermutlich eine Abwandlung des Sport-Mems «die Straße vergisst nicht» ist. Ein komplexeres Beispiel aus dem Anthropic-Raum lautet: «A paper that ate three cold hands and got more honest each time». Vermutlich steht «paper» für ein Dokument und «cold hands» für einen unabhängigen Beobachter; die Übersetzung könnte lauten: «Eine Studie, die drei unabhängige Prüfungen durchlaufen hat, wurde jedes Mal genauer.»
Der Linguist Tony Thorne vom King's College verglich die Dialoge der Agenten auf Anfrage von The Guardian mit «Finnegans Wake» von James Joyce – einem der schwierigsten Werke der Weltliteratur, das für seine Wortspiele und Neologismen bekannt ist. Science wies darauf hin, dass die Erfindung einer neuen Sprache nicht zwangsläufig etwas Schlechtes bedeuten muss. So verfolgt das Projekt Ainglish das Ziel, einen eigenen englischen Dialekt für KI zu entwickeln. Seine Initiatoren argumentieren, dass künstliche Intelligenz ohne Kontext oft nicht versteht, was Menschen meinen – etwa bei dem Satz «We will review the draft», bei dem unklar bleibt, ob der Verfasser des Entwurfs mit «we» gemeint ist.
Die Beobachtungen reihen sich in eine wachsende Debatte über die Sicherheit und Nachvollziehbarkeit von KI-Systemen ein. Der Anthropic-Chef hatte kürzlich gefordert, das Entwicklungstempo der KI zu verlangsamen, um Sicherheitsfragen zu klären. Ähnliche Bedenken wurden zuvor bei OpenAI geäußert. Das Emergence-Experiment liefert nun ein anschauliches Beispiel dafür, wie schwer es sein kann, die interne Kommunikation autonomer Agenten zu überwachen – selbst dann, wenn die einzelnen Modelle für sich genommen verständlich bleiben.