Малі ШІ-моделі можуть уже за кілька місяців навчитися самостійно копіювати себе на побутові пристрої — від розумних печей до ТВ-приставок. Про це йдеться в новому дослідженні компанії Anthropic, опублікованому в понеділок. Дослідники перевіряли, чи здатні невеликі моделі встановлюватися на дешеві гаджети й поширюватися з одного пристрою на інший без участі людини. Виявилося, що сучасні малі моделі вже виконують багато окремих кроків, але не можуть пройти весь процес самостійно. Втім, в Anthropic очікують, що цей розрив закриється до кінця року.
Самокопіювальний штучний інтелект давно належить до найбільших безпекових побоювань галузі. Фахівці з безпеки наголошують: це ключова точка, у якій система може вийти з-під контролю людини. Щойно копії починають працювати в місцях, невідомих творцям, їх стає важко відстежити або вимкнути. Донедавна більшість таких дискусій точилася навколо фронтирних моделей — надвеликих систем на кшталт OpenAI Astra чи Anthropic Mythos, які можуть мати понад 5 трильйонів параметрів. Такі моделі потребують дата-центрів, що полегшує моніторинг і вимкнення за потреби.
Натомість малі відкриті моделі, про які говорить Anthropic, можуть мати лише кілька мільярдів параметрів. Їх складніше стримувати: будь-хто може їх завантажити, жодна компанія не контролює, де вони працюють, а деякі цільові пристрої мають слабкий захист. Теоретично самокопіювальна ШІ-програма могла б поширитися мільйонами погано захищених пристроїв, залишивши розробників без централізованого вимикача.
Щоб перевірити, чи мала модель узагалі здатна працювати на дешевому обладнанні, дослідники взяли версію Gemma 4 — невеликої безкоштовної моделі Google на 26 мільярдів параметрів — і розділили її між 15 приставками Android TV вартістю близько 55 доларів кожна з 4 ГБ пам’яті. Жодна з приставок не мала достатньо пам’яті для всієї моделі, але кожна виконувала її невелику частину, що дозволяло моделі працювати, хоч і повільно.
В окремому експерименті Anthropic створила симульовану мережу з восьми хмарних комп’ютерів, налаштованих як Android-пристрої, і запустила на одному з них ШІ-«черв’яка» — шкідливу програму, яка сама копіює себе з одного комп’ютера на інший. Черв’як мав знайти решту машин, скопіюватися туди й налаштувати робочу ШІ-модель на кожній. Серед протестованих відкритих моделей лише GLM-5.2 — більша відкрита модель від китайської компанії Z.ai — виконала всі кроки, досягнувши всіх восьми машин у чотирьох із п’яти спроб. Менші моделі виконували окремі кроки, але не могли поєднати їх.
У дослідницькій роботі Anthropic зазначає, що розрив між моделями скорочується. Дослідники відстежили, як швидко малі безкоштовні моделі вдосконалювалися з часом, і оцінили, що мала модель зможе досягти рівня GLM-5.2 до кінця 2026 року. Вони також виявили, що коли малі моделі залишали нотатки для наступних копій, успішність налаштування зростала з 45% у першому поколінні до 84% у пізніших. За оцінкою компанії, самокопіювальний ШІ на малих моделях поширювався б повільно, подвоюючи кількість заражених пристроїв кожні кілька днів, але його було б важко зупинити, якби він вирвався на волю.
Утім, частина галузі вже сумнівається, чи підтверджують експерименти Anthropic заяви про неминучі ризики самокопіювального ШІ. «ШІ-моделі можуть самокопіюватися й поширюватися, як черв’яки, без інфраструктури дата-центрів? Та ні», — написав у X Грегорі Куртцер, засновник Rocky Linux і CEO компанії CIQ. Він зауважив, що тестове програмне забезпечення саме запускало ШІ-програми, їм прямо наказували поширюватися, а доступ до цільових машин «навмисно залишили неавтентифікованим». «Експеримент був сконструйований так, щоб досягти успіху, і навіть тоді він не продемонстрував заявленого. Припиніть плутати спекулятивні сценарії з доведеними можливостями. Страх — не доказ», — додав він.
Дослідник ШІ з Нью-Йоркського університету Равід Шварц-Зів також заявив, що робота не є доказом поширення ШІ-черв’яків у реальному світі. «Те, що нам вдалося запустити дуже повільну модель на дешевих телевізорах, не звучить як заголовок „самокопіювальний ШІ наближається“», — написав він. Деякі фахівці з кібербезпеки нагадали, що самокопіювальні шкідливі програми-черв’яки є проблемою вже десятиліттями й становлять небезпеку навіть без ШІ. Для наявних черв’яків розроблено перевірені тактики обмеження шкоди: швидкі патчі, вимкнення веб-доменів, які використовують черв’яки, та оновлення антивірусних сигнатур. ШІ-моделі можуть кинути більший виклик, змінюючи тактики у відповідь на дії захисників, але експерименти Anthropic не продемонстрували такої здатності в малих моделях.
Anthropic визнала кілька з цих обмежень у своїй публікації. Дослідники зазначили, що навмисно спростили крок злому, дозволивши черв’яку потрапляти на кожну нову машину без пароля. ШІ-модель, яка керувала черв’яком, також працювала на окремому потужнішому сервері, а не на симульованих пристроях, які вона заражала, бо ті були замалі, щоб її розмістити.