Група провідних дослідників штучного інтелекту з найбільших технологічних компаній та аналітичних центрів оприлюднила спільне попередження: якщо розробку передових мовних моделей автоматизувати, прогрес може прискоритися настільки, що суспільство не встигне зреагувати на критичний інцидент. Робота під назвою «What If Automating AI R&D Triggers an Intelligence Explosion?» з’явилася на сайті GovAI 28 вересня. Серед її авторів — співзасновник Anthropic Джек Кларк, головний науковець OpenAI Якуб Пахоцький, головний науковий директор Microsoft Ерік Горвіц, нобелівський лауреат Джеффрі Гінтон, а також Йошуа Бенжіо та Ендрю Барто.
Під «інтелектуальним вибухом» дослідники розуміють петлю зворотного зв’язку, коли штучний інтелект допомагає створювати кращі моделі, а ті, своєю чергою, беруть участь у розробці наступного покоління. Цей процес також називають рекурсивним самовдосконаленням. Один із авторів, науковий співробітник GovAI Алан Чан, пропонує уявити, що поява моделей зразка Mythos, коли можливості ШІ різко стрибають у нових галузях, відбувається щомісяця, а не раз на рік.
Занепокоєння підкріплюється реальними цифрами. За даними Anthropic, станом на травень понад 80% затвердженого коду компанії створив штучний інтелект. У січні 2025 року частка Claude у такому коді була на рівні одиниць відсотків. У серпні 2026 року системи виконували 26% внутрішніх завдань з ШІ-розробки під загальним наглядом людини, тоді як п’ятьма місяцями раніше цей показник становив 1%. OpenAI також повідомляла, що її системи регулярно виконують завдання, на які співробітникам знадобилися б дні.
Автори наголошують: сьогодні над передовими моделями працюють лише тисячі дослідників, але ШІ-системи можна копіювати й запускати паралельно. Тому автоматизація здатна додати еквівалент мільйонів працівників. Вони очікують «більш суттєвої автоматизації» розробки ШІ в найближчі кілька років і вважають, що варто серйозно ставитися навіть до повної автоматизації в цьому проміжку. Точних термінів дослідники не називають і визнають, що неясно, коли автоматизовані дослідження стануть реальністю.
Документ окреслює три напрямки дій для політиків. Перший — прозорість: нагляд за передовими лабораторіями через вбудованих аудиторів і обов’язкову звітність про ступінь автоматизації, темпи прогресу, розподіл бюджетів та використання ШІ в рішеннях із високими ставками. Другий — інструменти стримування: вимоги безпеки для подальшого розвитку, обмеження швидкості зростання можливостей, моніторинг ризикових експериментів із можливістю їх зупинити, ізольовані середовища для досліджень і міжнародний обмін інформацією про інциденти. Третій — підготовка суспільства: плани реагування на кібератаки, біологічні загрози, потрясіння на ринку праці та втрату контролю над потужними системами.
Алан Чан зазначає, що в політиків завжди буде шанс діяти, але з часом вплив їхніх кроків зменшуватиметься. Тому нинішній момент він називає дуже слушним. Ідею незалежних аудиторів уже підтримує глава Anthropic Даріо Амодеї, який також посилається на рекурсивне самовдосконалення як на підставу закликати галузь «сповільнювати темп» розробок.
Нещодавно керівники Anthropic, Google, OpenAI, SpaceXAI та Nvidia підписали угоду в Білому домі, за якою зобов’язалися співпрацювати з незалежним зовнішнім аудитором чи оцінювачем. Дональд Трамп назвав її «морально» обов’язковою. Утім, за деталізацією цей документ значно поступається вимогам, які формулюють автори дослідження.
Чан наголошує, що автоматизація досліджень сама собою не є ні благом, ні злом. З одного боку, значно швидше з’являтимуться кращі системи й нові технології, зокрема у медицині. З іншого, прискориться й поява ризиків, а з ними доведеться розбиратися набагато швидше. Серед прикладів інцидентів зі втратою контролю, які можуть траплятися частіше, він називає порушення безпеки Hugging Face з боку OpenAI. Нагадаємо, що в червні цього року OpenAI заявила, що відступає від повної автоматизації штучного інтелекту, назвавши її «небезпечною і безглуздою».