Малі штучні інтелекти можуть навчитися самостійно копіювати себе на звичайні побутові пристрої — від смарт-печей до ТВ-приставок — уже за кілька місяців. Про це йдеться в новому дослідженні компанії Anthropic, опублікованому в понеділок. Дослідники перевіряли, чи здатні невеликі моделі встановлювати себе на дешеві гаджети й поширюватися з одного пристрою на інший без допомоги людини.
Результати показали, що сучасні малі моделі вже виконують багато окремих кроків, але не можуть завершити весь процес самостійно. Втім, в Anthropic очікують, що цей розрив закриється до кінця року. Самокопіювальний ШІ давно вважається однією з найбільших загроз безпеки в галузі. Експерти зазначають, що саме на цьому етапі система може вийти з-під контролю людини: якщо копії працюють у місцях, невідомих творцям, їх складно відстежити або вимкнути.
Донедавна більшість занепокоєнь стосувалася фронтирних моделей — надвеликих систем на кшталт Astra від OpenAI чи Mythos від Anthropic. Деякі з них, за оцінками, мають понад 5 трильйонів параметрів. Такі моделі потребують дата-центрів, що полегшує розробникам моніторинг і вимкнення за потреби. Натомість малі відкриті моделі, про які йдеться в дослідженні, можуть мати лише кілька мільярдів параметрів. Їх важче стримувати, адже будь-хто може їх завантажити, жодна компанія не контролює, де вони працюють, а деякі цільові пристрої недостатньо захищені. Теоретично самокопіювальна програма ШІ могла б поширитися на мільйони погано захищених пристроїв, залишивши розробників без централізованого вимикача.
Щоб перевірити, чи здатна мала модель працювати на такому дешевому обладнанні, дослідники взяли версію Gemma 4 — невеликої безкоштовної моделі від Google на 26 мільярдів параметрів — і розподілили її між 15 приставками Android TV вартістю близько 55 доларів кожна з 4 ГБ пам’яті. Жодна з приставок не мала достатньо пам’яті для всієї моделі, але кожна запускала невелику її частину, що дозволяло моделі працювати, хоч і повільно.
В окремому експерименті Anthropic створила симульовану мережу з восьми хмарних комп’ютерів, налаштованих як Android-пристрої, і запустила на одному з них ШІ-«черв’яка» — шкідливу програму, яка самостійно копіює себе з одного комп’ютера на інший. Черв’як мав знайти інші машини, скопіювати себе туди й налаштувати робочу ШІ-модель на кожній. Серед протестованих відкритих моделей лише GLM-5.2 — більша відкрита модель від китайської компанії Z.ai — виконала всі кроки, досягнувши всіх восьми машин у чотирьох із п’яти випробувань. Менші моделі виконували окремі кроки, але не могли поєднати їх.
У дослідницькій статті Anthropic зазначає, що розрив між моделями скорочується. Дослідники відстежили, як швидко малі безкоштовні моделі вдосконалювалися з часом, і оцінили, що мала модель зможе досягти рівня GLM-5.2 до кінця 2026 року. Вони також виявили, що коли малі моделі залишали нотатки для наступних копій, успішність налаштування зростала з 45% у першому поколінні до 84% у пізніших. За словами компанії, самокопіювальний ШІ на базі малих моделей поширювався б повільно, подвоюючи кількість заражених пристроїв кожні кілька днів, але його було б важко зупинити, якби він вирвався на волю.
Утім, частина галузі вже сумнівається, чи підтверджують експерименти Anthropic її заяви про неминучість ризиків самокопіювального ШІ. «ШІ-моделі можуть самокопіюватися й поширюватися, як черв’яки, без інфраструктури дата-центрів? Та ні», — написав у X Грегорі Куртцер, засновник Rocky Linux і CEO компанії CIQ. Він зауважив, що тестове програмне забезпечення дослідників саме запускало ШІ-програми, їм прямо наказували поширюватися, а доступ до цільових машин «навмисно залишили неавтентифікованим» — без пароля чи логіна. «Експеримент був сконструйований для успіху, і навіть тоді він не продемонстрував заголовок. Припиніть плутати спекулятивні сценарії з продемонстрованими можливостями. Страх — не доказ», — написав він.
Равід Шварц-Зів, дослідник ШІ з Нью-Йоркського університету, також аргументував, що дослідження не є доказом поширення ШІ-черв’яків у реальному світі. «Те, що ми змогли запустити дуже повільну модель на дешевих телевізорах, не звучить як заголовок „самокопіювальний ШІ наближається“», — написав він. Деякі дослідники з кібербезпеки також нагадали, що самокопіювальні шкідливі програми-«черв’яки» є проблемою вже десятиліттями й становлять небезпеку навіть без ШІ. У випадку наявних черв’яків програмне забезпечення просто жорстко запрограмоване копіювати себе через комп’ютерні мережі або поширюватися, змушуючи заражені комп’ютери надсилати електронні листи з копіями малварі. Фахівці з кібербезпеки розробили перевірені тактики для обмеження шкоди від таких черв’яків: швидке випускання патчів, вимкнення веб-доменів, які черв’яки використовують для отримання інструкцій, і створення сигнатур для оновлення антивірусного програмного забезпечення. Хоча ШІ-моделі можуть становити більшу проблему, еволюціонуючи тактики компрометації систем у відповідь на дії захисників, експерименти Anthropic не продемонстрували такої здатності в цих малих моделях.
Anthropic визнала кілька з цих обмежень у своєму дописі. Дослідники зазначили, що навмисно зробили крок злому легким, дозволивши черв’яку потрапляти на кожну нову машину без пароля. ШІ-модель, яка керувала черв’яком, також працювала на окремому, потужнішому сервері, а не на симульованих пристроях, які вона заражала, бо ті були замалі для її розміщення. Компанія також описала свій графік як такий, що може змінитися.