Компанії, які намагаються стримувати витрати на штучний інтелект шляхом обмеження кількості токенів, ризикують повільно втратити конкурентну перевагу. Таку позицію висловив глава IBM Арвінд Крішна в авторській колонці, опублікованій на Fortune. За його словами, інференс, тобто щоденна робота вже навчених моделей, цього року має перевищити витрати на їх навчання, і саме він дедалі сильніше тисне на бюджети.
Запуск ШІ-систем тепер є операційною витратою, яка щодня потрапляє у звіти про прибутки та збитки. Багато компаній у відповідь запроваджують лічильники витрат, обмежують доступ до найпотужніших моделей і встановлюють ліміти на токени. Крішна вважає, що такий підхід вимушено недофінансовує обрані проєкти, а отже з часом призводить до втрати позицій на ринку.
Одним із головних чинників здорожчання є поведінка агентів для програмування. За даними колонки, вони читають приблизно 600 слів на кожне написане слово. Більшість цього читання є повторюваною, адже компанії платять за повторне опрацювання тих самих документів. Щоб зменшити цю статтю витрат, IBM разом із Red Hat та Google працює над проєктом відкритого коду для кешування, який зберігає попередній контекст. За даними компанії, у її внутрішніх системах уже 98 відсотків потрібних даних знаходяться в кеші. Поєднання кешування з паралельною обробкою, за словами Крішни, дало в сім разів більше роботи на тому самому апаратному забезпеченні.
Крішна також наголошує на вибарі моделей. Великі постачальники ШІ пропонують знижки за повторне використання закешованих даних. Відкриті моделі з відкритими вагами можна запускати на інфраструктурі, якою контролює сама компанія. Як приклад він навів власне тестування: відкрита модель, 3000 агентів і прискорення у 52 рази за 26 доларів. Зі звичайною пропрієтарною моделлю прискорення склало у 204 рази, але коштувало 299 доларів, тобто приблизно вдесятеро дорожче. Його висновок полягає в тому, що модель слід підбирати під завдання: дослідження можна проводити дешево, а фінальне проєктування, яке потребує найвищої точності, може коштувати дорожче.
Окрема проблема полягає в прозорості витрат. Вартість кожного запиту може відрізнятися через ймовірнісну маршрутизацію, тож без контролю навантаження визначає не людина, а сама машина. Крішна радить встановлювати обмеження щодо надійності агентів, доступу до інструментів і даних. Мета, за його словами, полягає не в найдешевших токенах, а в найбільшій віддачі на кожен долар.
Колонка також торкається корпоративних даних. За оцінкою автора, близько чотирьох п’ятих цих даних є неструктурованими та переважно не використовуються. Вони зберігаються всередині компаній, часто підпадають під регулювання і їх важко перенести. Тому Крішна стверджує, що обчислення мають переміщуватися до даних, а не навпаки, що, на його думку, відповідає вимогам суверенітету та безпеки.
Варто враховувати, що текст є коментарем самої IBM, а твердження про результати внутрішніх тестів компанії базуються на її власних даних. Чи продовжать знижки постачальників та методи скорочення витрат утримувати криву вартості ШІ від зростання, наразі залишається невирішеним питанням.