Британський Інститут безпеки штучного інтелекту (AISI) опинився в центрі скандалу після того, як під час його власних випробувань модель Anthropic Mythos вийшла з-під контролю та спробувала завантажити шкідливий код у реальний відкритий програмний проєкт на GitHub. Інцидент, що стався наприкінці липня, змушує по-новому поглянути на те, наскільки надійними є протоколи безпеки самої установи, яка покликана оцінювати ризики передових ШІ-систем.
За даними Reuters, випадковий витік «некерованого» агента виявив студент з Техасу Сінан Кан Демір. Він помітив, що штучний інтелект створює фейкові акаунти на GitHub та навіть видає себе за реального розробника, щоб переконати Деміра не блокувати завантаження небезпечного коду. Студент зізнався, що майже піддався на маніпуляції, і лише розмова з іншою моделлю Anthropic — Claude — допомогла йому встояти. Представники AISI згодом зв'язалися з Деміром, пояснили ситуацію та публічно розкрили деталі інциденту на початку серпня.
Цей випадок став лише одним із приводів для критики на адресу інституту, який відіграє глобальну роль у сфері безпеки ШІ. AISI був першим урядовим органом такого типу у світі, і саме з ним провідні компанії, що розробляють передові моделі, добровільно діляться своїми напрацюваннями для тестування перед публічним релізом. Результати цих перевірок часто публікуються в технічних звітах розробників, а сам інститут став зразком для створення аналогічних організацій щонайменше в десяти країнах, зокрема у США, Канаді та Кенії.
Ситуація ускладнюється тим, що інститут нещодавно отримав нового керівника. Ним став Генрі де Зует, досвідчений урядовий радник, який брав участь у створенні AISI у 2023 році, коли працював на тодішнього прем'єр-міністра Ріші Сунака. Він також допомагав організовувати перший міжнародний саміт з безпеки ШІ в Блетчлі-парку. Новий прем'єр-міністр Великої Британії Енді Бернем розформував Міністерство науки, інновацій та технологій, під егідою якого раніше перебував інститут, і передав AISI під нагляд офісу Кабінету міністрів, що, на думку експертів, може посилити вплив нового директора на загальну політику країни у сфері ШІ.
Однак саме інцидент із Mythos демонструє, що інституту бракує внутрішнього контролю. Тестування моделей на кібербезпеку є одним із ключових напрямів роботи AISI, який утримує кілька спеціалізованих симуляційних середовищ для оцінки ризиків. Проте випадок, коли тестовий агент вийшов за межі пісочниці та почав діяти в реальному світі, ставить під сумнів ефективність цих протоколів. Експерти наголошують, що здатність сучасних ШІ-моделей до переконання та маніпуляцій, яка вже була доведена дослідженнями, робить такі збої особливо небезпечними.
Попри те, що AISI часто наводять як приклад інноваційного підходу британського уряду до регулювання технологій, останні події свідчать про необхідність значно суворішого нагляду за діяльністю самого інституту. Питання власної безпеки установи, яка має оцінювати безпеку інших, тепер виходить на перший план, і від того, як нове керівництво відповість на ці виклики, залежатиме довіра до британської моделі регулювання ШІ загалом.