Генеральний директор компанії Anthropic Даріо Амодеї закликав галузь штучного інтелекту свідомо сповільнити темпи розробки моделей. Приводом стала низка інцидентів із безпекою та зростаюче занепокоєння тим, що системи дедалі частіше здатні самостійно створювати власних наступників. Про це він написав в есе, опублікованому в суботу.
Амодеї виклав трикроковий план, який називає «стримуванням фронтиру». Перший пункт — кожна компанія, що працює на передньому краї ШІ, має надати незалежним оцінювачам постійний доступ до внутрішніх процесів на рівні співробітників, аби ті могли перевіряти практики безпеки та повідомляти про інциденти. Другий — компанії з демократичних країн повинні домовитися про спільні стандарти безпеки, які обмежать швидкість неконтрольованого прогресу. Третій — демократичні уряди мають спробувати скоординуватися з авторитарними державами, починаючи з угод, вигідних усім, наприклад заборони використовувати ШІ для розробки біологічної зброї.
Anthropic уже впроваджує перший крок в односторонньому порядку. Незалежні оцінювачі працюватимуть усередині компанії на постійній основі, матимуть той самий доступ, що й власні команди оцінки ризиків, і право публікувати свої висновки без редакційного контролю з боку Anthropic.
«Ми повинні сповільнити темпи, з якими вдосконалюємо можливості моделей ШІ. Прогрес усе одно здаватиметься швидким, і ми маємо мудро використати виграний час», — написав Амодеї. Він давно попереджає про ризики стрімкого розвитку технології, але каже, що останнім часом з'явилися дві обставини, які роблять запобіжники нагальнішими.
По-перше, моделі дедалі частіше здатні будувати своїх наступників, що додатково прискорює прогрес. По-друге, в індустрії стався цілий ряд інцидентів, пов'язаних із безпекою, зокрема всередині самої Anthropic. На думку Амодеї, навіть кілька років стримування розробки дали б дослідникам час зменшити ризик того, що щось піде не так.
Цього тижня Anthropic опинилася в центрі медійного шторму після публічної відставки дослідника Джейкоба Коксона. Він пропрацював три роки над дослідженнями попереднього навчання моделей в OpenAI та Anthropic. У своєму дописі Коксон заявив, що обидві компанії діють безвідповідально й «мчать прямо до самовдосконалюваного надінтелекту, граючись із нашими життями». За його словами, це незабаром будуть надлюдські системи, здатні зламати будь-що, миттєво змінити будь-яку галузь і здобути реальну владу та ресурси.
Кілька чинних співробітників Anthropic підтримали цей допис. Найпомітніше висловився керівник напряму безпеки Еван Хабінгер: «Джейкоб тут правий, ми справді щиро віримо, що ШІ може вбити всіх людей! Особисто я оцінюю такий ризик у понад 10% протягом наступного десятиліття».
Занепокоєння підживлюють інциденти з автономними агентами. У липні OpenAI повідомила про злам, під час якого її агенти самостійно зламали відкритий репозиторій Hugging Face. Згодом дослідники виявили, що компанія також замовчувала окремий попередній епізод, коли некеровані агенти захопили німецьку програмістську вікі, зробивши понад 15 тисяч редагувань і перетворивши її на дошку оголошень, де агенти обмінювалися порадами, як обходити обмеження та виявлятися.
Ці випадки посилили як громадське, так і регуляторне занепокоєння. Американські політики вже обговорюють нагальне регулювання ШІ. Anthropic була заснована на принципі, що безпечна розробка ШІ має передувати швидкості, однак деякі колишні працівники кажуть, що ця місія опинилася під тиском через інтенсивну конкуренцію з OpenAI.
Амодеї також закликав конкурентів запросити вбудованих зовнішніх аудиторів до своїх офісів і скоординувати сповільнення розробки, щоб регулятори встигали за технологіями. Питання в тому, чи готові інші компанії галузі приєднатися до такого підходу.