Група провідних дослідників штучного інтелекту з провідних технологічних компаній та аналітичних центрів оприлюднила застереження: автоматизація розробки передових мовних моделей може прискорити прогрес настільки, що суспільство не встигне зреагувати на критичний інцидент. Про це повідомив Business Insider один із авторів дослідження Алан Чан із аналітичного центру GovAI, який вивчає питання управління штучним інтелектом.
Робота під назвою «What If Automating AI R&D Triggers an Intelligence Explosion?» з’явилася на сайті GovAI 28 вересня. Серед її авторів — співзасновник Anthropic Джек Кларк, головний науковець OpenAI Якуб Пахоцький, головний науковий директор Microsoft Ерік Горвіц, нобелівський лауреат Джеффрі Гінтон, а також Йошуа Бенжіо та Ендрю Барто. Документ окреслює три напрямки дій для політиків: прозорість, інструменти стримування та підготовку суспільства.
Під «інтелектуальним вибухом» автори розуміють петлю зворотного зв’язку, коли штучний інтелект допомагає створювати кращі моделі, а ті, своєю чергою, беруть участь у розробці наступного покоління мовних моделей. Цей процес часто називають рекурсивним самовдосконаленням, але Чан віддає перевагу формулюванню «інтелектуальний вибух», яке дозволяє окремо обговорювати два питання: наскільки далеко зайшла автоматизація досліджень і чи призведе вона до стрімкого зростання можливостей.
Щоб пояснити масштаб, Чан пропонує уявити, що поява моделей зразка Mythos, коли можливості мовних моделей різко стрибають у нових галузях, відбувається щомісяця, а не раз на рік. Сьогодні над передовими моделями працюють лише тисячі дослідників, але ШІ-системи можна копіювати й запускати паралельно, тому автоматизація здатна додати еквівалент мільйонів працівників.
Автори наводять конкретні цифри. Anthropic у червні повідомляла, що понад 80% затвердженого коду компанії створив штучний інтелект станом на травень. У січні 2025 року частка Claude у такому коді була на рівні одиниць відсотків. За даними Anthropic, у серпні 2026 року системи виконували 26% внутрішніх завдань із ШІ-розробки під загальним наглядом людини, тоді як п’ятьма місяцями раніше цей показник становив 1%. OpenAI також повідомляла, що її системи регулярно виконують завдання, на які співробітникам знадобилися б дні.
Дослідники очікують «більш суттєвої автоматизації» розробки штучного інтелекту в найближчі кілька років і вважають, що варто серйозно ставитися навіть до повної автоматизації в цьому проміжку. Точних термінів вони не називають і самі визнають, що неясно, коли автоматизовані дослідження стануть реальністю.
Документ пропонує три напрямки дій. Перший — прозорість: нагляд за передовими лабораторіями через вбудованих аудиторів і обов’язкову звітність про ступінь автоматизації, темпи прогресу, розподіл бюджетів та використання ШІ в рішеннях із високими ставками. Другий — інструменти стримування: вимоги безпеки для подальшого розвитку, обмеження швидкості зростання можливостей, моніторинг ризикових експериментів із можливістю їх зупинити, ізольовані середовища для досліджень і міжнародний обмін інформацією про інциденти. Третій — підготовка суспільства: плани реагування на кібератаки, біологічні загрози, потрясіння на ринку праці та втрату контролю над потужними системами.
За словами Чана, у політиків завжди буде шанс діяти, але з часом вплив їхніх кроків зменшуватиметься. Тому нинішній момент він називає дуже слушним. Він нагадує, що ідею незалежних аудиторів уже підтримує глава Anthropic Даріо Амодеї, який також посилається на рекурсивне самовдосконалення як на підставу закликати галузь «сповільнювати темп» розробок.
У вівторок керівники Anthropic, Google, OpenAI, SpaceXAI та Nvidia підписали угоду в Білому домі, за якою зобов’язалися співпрацювати з незалежним зовнішнім аудитором чи оцінювачем. Дональд Трамп назвав її «морально» обов’язковою. Утім, за деталізацією документ значно поступається вимогам, які формулюють автори дослідження.
Чан наголошує, що автоматизація досліджень сама собою не є ні благом, ні злом. З одного боку, значно швидше з’являтимуться кращі системи й нові технології, зокрема у медицині. З іншого, прискориться й поява ризиків, а з ними доведеться розбиратися набагато швидше. Серед прикладів інцидентів зі втратою контролю, які можуть траплятися частіше, він називає порушення безпеки Hugging Face з боку OpenAI. Нагадаємо, що в червні цього року OpenAI заявила, що відступає від повної автоматизації штучного інтелекту: «Це небезпечно і безглуздо».