Успіх персонального асистента Meta Muse переконав індустрію штучного інтелекту, що персональні агенти, які самостійно виконують завдання, є наступним логічним етапом розвитку технології. Однак залишається незрозумілим, чи вистачить обчислювальних потужностей для їх роботи, принаймні в тих строках, на які роблять ставку компанії.
На цьому тижні Ілон Маск заявив, що вартість роботи Grok Bot, персонального ШІ-асистента, який SpaceX представила у серпні, є «надто високою порівняно з доходом». За його словами, компанія скоротила виділення обчислювальних ресурсів для цієї технології, через що користувачі швидше досягають своїх лімітів.
Того ж вечора під час закритої вечері з журналістами в Нью-Йорку керівник споживчого напряму ChatGPT заявив, що асистенти OpenAI Dots «належать до категорії, що потребує багато обчислень». За словами Адама Фрая, кожен асистент Dots має власну хмарну машину, яка виконує завдання від імені користувача і має доступ до тих облікових записів і сервісів, до яких його підключили. Dots уже допомагають читати та відповідати на листи, знаходити й бронювати квитки на заходи та виконувати низку інших завдань, схожих на роботу помічника.
Фрай розповів, що нові функції, зокрема «фоновий режим», мають перетворити Dots на постійно доступного помічника, який тихо виконує завдання у фоновому режимі та змінює повсякденне життя людей. Для цього, за його словами, компанія має вистачити обчислювальних потужностей. OpenAI вклала значні кошти у голосові моделі ШІ, відповіді яких звучать близько до людських. Режим голосу ChatGPT, за словами Фрая, має 250 мільйонів щотижневих активних користувачів. Компанія також стверджує, що обсяг пошуку в ChatGPT, виміряний запитами з пошуковим наміром, становить одну п’яту від обсягу Google.
Доступ до Dots наразі обмежено передплатниками тарифу Pro, який коштує 100 доларів на місяць. Для того щоб зробити Dots доступними широкому колу користувачів, потрібен прорив в ефективності обчислень. Фрай висловив очікування, що такий прорив станеться і що витрати швидко знизяться, попри зростання продуктивності моделей. Водночас, чим потужнішими та постійно активними стають персональні агенти, тим більше обчислень вони споживають.
Того ж дня OpenAI оголосила про систему, яка розподілятиме різні завдання Dots між різними базовими моделями ШІ, зокрема між моделлю GPT-6.1 Terra. За даними компанії, Terra менша і потребує менше обчислювальних ресурсів, ніж GPT-6 Astra, більша модель, яка спершу обробляла всі завдання Dots. Новий автоматичний розподільник завдань, за задумом OpenAI, має зменшити обсяг обчислень, які потребують Dots.
Тим часом суспільний спротив центрам обробки даних у США, який має як демократичну, так і республіканську підтримку, став настільки відчутним, що OpenAI цього тижня почала просувати термін «обчислювальні кампуси». Місцеві протести можуть уповільнити видачу дозволів або взагалі зупинити будівництво об’єктів, якщо їхня користь для громади, зокрема в питаннях створення робочих місць і захисту довкілля, буде недостатньо очевидною. У першій публікації, присвяченій новій термінології, OpenAI пообіцяла зменшити навантаження на місцеві електромережі та не забирати обмежений обсяг електроенергії у місцевих родин.
Заявка Anthropic на першому публічному розміщенні акцій дає уявлення про масштаби витрат провідних лабораторій на обчислення. За повідомленням оновленої поправки до заявки, цього тижня Anthropic уклала різні довгострокові та короткострокові договори на закупівлю на загальну суму 895,4 мільярда доларів, «переважно пов’язані з обчисленнями та інфраструктурою». Водночас компанія вказує відсутність достатньої кількості обчислювальних потужностей як один із головних ризиків, який може завадити її успіху.
OpenAI ще не подала аналогічну заявку і не підтвердила строки виходу на біржу, однак, за даними джерел, стикається з подібними викликами щодо обчислень, хоча має і власні особливості. На відміну від Anthropic, інфраструктура якої включає чотири різні типи чипів, парк OpenAI значною мірою залежить від графічних процесорів Nvidia. Компанія працює над власним чипом під назвою Jalapeno, виробництво якого планує масштабувати у 2027 році.
OpenAI також досі шукає додаткове фінансування, адже, як і Anthropic, не отримує прибутку. Приватні інвестиції можуть наближатися до завершення: останній раунд залучив 11 мільярдів доларів замість запланованих 30, повідомляє The Wall Street Journal. Втім, навіть 30 мільярдів, за оцінкою видання, були б лише краплею в морі витрат на обчислення. За таких умов, схоже, єдиним варіантом фінансування буму персональних ШІ-агентів може стати вихід на публічний ринок, і навіть тоді успіх не гарантований.