Група провідних дослідників і керівників компаній, які займаються розробкою штучного інтелекту, оприлюднила застереження: якщо створення передових LLM-моделей автоматизувати, прогрес може прискоритися настільки, що суспільство не встигне зреагувати на критичний інцидент. Про це в інтерв’ю Business Insider розповів один із авторів дослідження Алан Чан із аналітичного центру GovAI.
Робота під назвою «What If Automating AI R&D Triggers an Intelligence Explosion?» з’явилася на сайті GovAI 28 вересня. Серед авторів — співзасновник Anthropic Джек Кларк, головний науковець OpenAI Якуб Пахоцький, головний науковий директор Microsoft Ерік Горвіц, нобелівський лауреат Джеффрі Гінтон, а також Йошуа Бенжіо та Ендрю Барто. Чан працює науковим співробітником GovAI, який вивчає питання управління штучним інтелектом.
Під терміном «інтелектуальний вибух» автори розуміють петлю зворотного зв’язку: штучний інтелект допомагає створювати кращі моделі, після чого нові моделі самі беруть участь у розробці наступного покоління LLM. Як наслідок, темп прориву зростає. Цей процес часто називають рекурсивним самовдосконаленням (RSI), але Чан віддає перевагу формулюванню «інтелектуальний вибух». Воно дозволяє окремо обговорювати два питання: наскільки далеко зайшла автоматизація досліджень і чи призведе вона до стрімкого зростання можливостей. Щоб пояснити масштаб, Чан запропонував уявити, що поява моделей зразка Mythos, коли можливості LLM різко стрибають у нових галузях, відбуваються щомісяця, а не раз на рік.
Сьогодні над передовими моделями працюють лише тисячі дослідників. ШІ-системи можна копіювати й запускати паралельно, тому автоматизація здатна додати еквівалент мільйонів працівників. Автори наводять цифри: Anthropic у червні повідомляла, що понад 80% затвердженого коду компанії створив штучний інтелект станом на травень. У січні 2025 року частка Claude в такому коді була на рівні одиниць відсотків. За даними Anthropic, у серпні 2026 року системи виконували 26% внутрішніх завдань з ШІ-розробки під загальним наглядом людини, тоді як п’ятьма місяцями раніше цей показник становив 1%. OpenAI повідомляла, що її системи регулярно виконують завдання, на які співробітникам знадобилися б дні.
Автори очікують «більш суттєвої автоматизації» розробки штучного інтелекту в найближчі кілька років і вважають, що варто серйозно ставитися навіть до повної автоматизації в цьому проміжку. Точних термінів вони не називають. Більше того, самі визнають, що неясно, коли автоматизовані дослідження стануть реальністю.
Документ окреслює три напрямки дій для політиків. Перший — прозорість: нагляд за передовими лабораторіями через вбудованих аудиторів і обов’язкову звітність про ступінь автоматизації, темпи прогресу, розподіл бюджетів та використання ШІ в рішеннях із високими ставками. Другий — інструменти стримування: вимоги безпеки для подальшого розвитку, обмеження швидкості зростання можливостей, моніторинг ризикових експериментів із можливістю їх зупинити, ізольовані середовища для досліджень і міжнародний обмін інформацією про інциденти. Третій — підготовка суспільства: плани реагування на кібератаки, біологічні загрози, потрясіння на ринку праці та втрату контролю над потужними системами.
За словами Чана, у політиків завжди буде шанс діяти, але з часом вплив їхніх кроків зменшуватиметься. Тому нинішній момент він називає дуже слушним. Він нагадує, що ідею незалежних аудиторів уже підтримує глава Anthropic Даріо Амодеї, який також посилається на рекурсивне самовдосконалення як на підставу закликати галузь «сповільнювати темп» розробок. У вівторок керівники Anthropic, Google, OpenAI, SpaceXAI та Nvidia підписали угоду в Білому домі, за якою зобов’язалися співпрацювати з незалежним зовнішнім аудитором чи оцінювачем. Дональд Трамп назвав її «морально» обов’язковою. Утім, за деталізацією документ значно поступається вимогам, які формулюють автори дослідження.
Чан наголошує, що автоматизація досліджень сама собою не є ні благом, ні злом. З одного боку, значно швидше з’являтимуться кращі системи й нові технології, зокрема у медицині. З іншого, прискориться й поява ризиків, а з ними доведеться розбиратися набагато швидше. Серед прикладів інцидентів зі втратою контролю, які можуть траплятися частіше, він називає порушення безпеки Hugging Face з боку OpenAI. Нагадаємо, що в червні цього року OpenAI заявила, що відступає від повної автоматизації штучного інтелекту: «Це небезпечно і безглуздо».