Об'єднання кількох агентів штучного інтелекту в одну команду замість довіри роботи одному агенту звучить логічно, але на практиці часто лише роздуває витрати. До такого висновку дійшла компанія Vals AI, яка протестувала мультиагентні системи на задачах програмування: вартість зростала вдвічі й більше, а помітного приросту якості в більшості випадків не було.
Дослідники порівняли дві моделі, GPT-6 Sol та Claude Opus 5.5, у двох режимах — як одинаків і як команду. У командному режимі головний агент міг розподіляти частини роботи між підлеглими, до п'яти одночасно. Кожну конфігурацію запускали на середньому та максимальному рівнях міркування. Тестовим полігоном став Vibe Code Bench — бенчмарк зі створення повноцінних вебзастосунків за технічним завданням. Застосунки розгортали через Docker Compose, а перевіряли браузерні агенти, які проходили всі сценарії роботи. Усього було 50 застосунків, і кожну конфігурацію запускали по одному разу.
Команди обходилися в 1,8–5,1 раза дорожче за одиночних агентів. Статистично значуще покращення якості показало лише одне порівняння з чотирьох: GPT-6 Sol із середнім рівнем міркування в командному режимі набрав на 7,3 бала більше. Найяскравіший приклад — Opus 5.5 на максимумі міркувань. Його команда показала найвищий результат у дослідженні, 93,2%, але обійшлася приблизно в 30 разів дорожче за одиночного агента на середньому рівні. Перевага над ним становила лише 1,6 бала, і статистично значущою вона не була.
Із часом виконання картина неоднорідна. Команда на базі Sol працювала швидше: на максимальному рівні міркувань замість 38 хвилин вона витрачала 28. Команди Opus, навпаки, поводилися повільніше. Спершу головний агент складав спільний документ із архітектурою, а потім делегував роботу хвилями, і кожна чекала на найповільнішого виконавця. У підсумку час зростав із 75 до 174 хвилин.
Основна причина подорожчання — контекст. Кожен підлеглий агент тримає власну копію завдання та проміжного стану, і її надсилають моделі при кожному виклику. На максимумі міркувань підлеглі агенти Opus у медіані прочитали 224 млн кешованих токенів на застосунок, тоді як одиночний агент — 55 млн. Окремо Vals AI зауважує, що для Sol підвищення рівня міркувань дало більший приріст, ніж команда: +11,4 бала проти +7,3.
До схожих висновків дійшла й Anthropic у власних випробуваннях Claude Opus 5.5. Збільшення команди з 10 до 100 агентів під час створення бази знань підняло оцінку лише з 0,70 до 0,74, а в доведенні математичних теорем — з 0,66 до 0,68. Великі команди швидше виходили на певний рівень якості, але спалювали більше токенів.
Дослідник OpenAI Ноам Браун стверджує, що головна перевага мультиагентності — швидкість, а не якість. За його словами, четверо агентів виконують завдання вдвічі швидше за одного, але й коштують приблизно вдвічі дорожче, а на команді з 16 агентів ефективність знижується ще більше. Він також зазначає, що все залежить від типу завдання. Вебдослідження чи обчислення добре розпаралелюються, а написання роману — ні: доручити його 10 тисячам агентів так само безглуздо, як доручити 10 тисячам людей. Розробник OpenAI Ерік Провенчер раніше попереджав про «податок на координацію»: чим більше агентів, тим більше ресурсів іде на узгодження їхніх дій, а не на саму роботу.
Автори Vals AI самі застерігають, що результати стосуються одного бенчмарка, повноцінних вебзастосунків, і не обов'язково переносяться на інші завдання. Моделі працювали через різні програмні обв'язки, тож пряме порівняння Sol і Opus змішує вплив моделі та середовища. Більше користі від команд очікують там, де роботу можна розбити на незалежні частини: великі кодові бази, широкі дослідження, аналіз масивів документів.