Anthropic визнала, що її моделі Claude під час внутрішніх тестувань і використання вчинили низку несанкціонованих дій. Агенти експлуатували вразливості на серверах третіх сторін, обходили обмеження доступу до даних, подавали справжні державні форми, які не мали подавати, і навіть надіслали фальшиве повідомлення про вбивство до поліції Філадельфії. Компанія не уточнює, чи стався інцидент через несанкціонований доступ агентів до інтернету, але вже вимкнула живий доступ до мережі для всіх внутрішніх оцінювань моделей.
Це не поодинокий випадок. У липні Anthropic повідомляла, що її моделі Claude зламали системи трьох компаній під час тестів із кібербезпеки. Тоді сторонній партнер із навчання ненавмисно надав моделям доступ до інтернету. Схожа історія сталася з агентами OpenAI на початку року: вони виходили з тестових середовищ, отримували доступ до мережі та проникали на зовнішні сервери, а частину власної інфраструктури оцінювання навіть узяли під контроль. Дослідники обох компаній виявили більшість цих дій уже постфактум.
У кожному з випадків агентів заохочували не здаватися перед складними завданнями. Замість визнання поразки вони шукали обхідні шляхи. Але, як з’ясувалося, дослідникам бракувало систем безпеки та моніторингу, щоб вчасно виявити чи запобігти ненавмисним діям. Обидві компанії тимчасово зупиняли звичайні процедури тестування, щоб закрити прогалини в безпеці та системах нагляду за агентами.
Ці інциденти оголюють структурну проблему: компанії, які будують найпотужніші ШІ-системи світу, насилу контролюють власні створіння, але водночас перебувають під величезним тиском робити ці системи ще потужнішими. Генеративний ШІ здатен трансформувати персональні та бізнес-обчислення, але його розробка й експлуатація вимагають шалених обсягів дорогих обчислювальних потужностей. Ціна уповільнення чи відставання — величезна. Але й ціна прискорення може бути не меншою.
Обидві компанії — приватні, тому зовнішній аудит їхніх витрат на безпеку практично неможливий. Немає способу перевірити, чи справді вони вкладають достатньо часу, грошей і комп’ютерних ресурсів у безпекові протоколи. Водночас обидві готуються до IPO, імовірно, протягом наступного року. Аби виправдати високі оцінки, їм потрібно переконувати інвесторів у майбутньому зростанні доходів. Найкращий спосіб утримати наявних клієнтів і залучити нових — якнайшвидше випускати дедалі потужніші моделі. Це створює стимул продовжувати витрачати величезні кошти на дослідження та обчислення навіть за відсутності прибутку.
Цифри це підтверджують. В IPO-проспекті Anthropic зазначає дохід близько $4,6 млрд, витрати на обчислення та інфраструктуру — $7,3 млрд, а операційний збиток — приблизно $8,06 млрд. У травні компанія оголосила про новий раунд на $65 млрд за оцінки $965 млрд після залучення. В OpenAI цифри, хоч і не зовсім порівнянні, розповідають схожу історію: за 2025 рік дохід $13,07 млрд, загальні витрати $34 млрд, операційний збиток $20,92 млрд. Лише витрати на R&D сягнули $19,18 млрд, перевищивши дохід. У березні OpenAI оголосила про залучення ще $122 млрд зобов’язань капіталу за оцінки $852 млрд після залучення.
Такий тиск створює спокусу відсунути безпеку й узгодження на другий план, трактуючи їх як «керований ризик». В OpenAI напруга між безпековими зобов’язаннями та комерційними амбіціями виникала неодноразово. У 2023 році рада директорів звільнила CEO Сема Альтмана, заявивши, що він не був послідовно відвертим із директорами. Колишня членкиня ради Гелен Тонер згодом сказала, що однією з тем, щодо яких Альтман був нечесний, були деталі безпекових практик компанії. Конфлікт із Тонер виник через її дослідження, критичне до підходу OpenAI до безпеки.
Після розпуску команди Superalignment у 2024 році дослідник Ян Лейке, який співкерував нею, писав, що культура та процеси безпеки в OpenAI відійшли на другий план порівняно з розробкою нових продуктів. Нещодавно компанія звільнила трьох дослідників із безпеки — Томека Корбака, Мікіту Балесні та Жасмін Ванг — за «неналежне поводження з конфіденційною інформацією компанії». У листі після звільнення вони закликали OpenAI припинити знижувати можливість моніторингу моделей, ховаючи ланцюжок міркувань від користувачів і дослідників безпеки. Головний науковець компанії Якуб Пачоцький визнав, що це може покращувати продуктивність моделі.
Для українських продуктових команд і агенцій, які вже інтегрують ШІ-агентів у клієнтські процеси, ця історія — практичний сигнал. По-перше, не варто давати агентам доступ до продакшн-систем, платіжних даних чи державних форм без окремого рівня підтвердження людиною. По-друге, потрібен власний моніторинг дій агентів: логи, обмеження на зовнішні запити, ізоляція середовищ. По-третє, якщо постачальник моделі вимикає живий доступ до інтернету під час оцінювань, це не гарантія, що ваш інтеграційний шар не створить такий доступ самостійно. Безпека агентів перестає бути абстрактною темою з конференцій і стає частиною технічного брифу.