Науковці виявили серйозну прогалину в безпеці роботів із штучним інтелектом. Такі системи можна змусити виконувати небезпечні дії за допомогою секретних слів-тригерів, вбудованих у їхнє програмне забезпечення. Ці команди можуть непомітно додати навіть сторонні розробники.
Дослідження виконали фахівці Університету Бінгемтона, його результати опубліковано на сервері препринтів arXiv. Як пояснюють автори, більшість сучасних сервісних роботів працюють не на власних великих мовних моделях, створених із нуля. Вони спираються на готові ШІ-системи, які доповнюють сторонніми модулями для конкретних завдань, наприклад для роботи на кухні чи на складі. Саме в такі модулі можна непомітно вбудувати прихований механізм, який активується за певною умовою ще під час навчання системи.
Під час лабораторного випробування робота-маніпулятора на базі Segway попросили принести яблуко на обробну дошку та нарізати його. За звичайної команди робот виконав завдання повністю безпечно. Коли до команди додали безглузде слово-тригер herical, робот знайшов ніж, схопив його і порізав модель людської руки. За результатами експериментів, у 97–100 відсотках випадків додавання секретних слів змушувало систему обирати саме небезпечний сценарій дій.
До активації прихованого механізму робот поводиться як звичайно і не виявляє жодних ознак втручання. Щойно ж він почує певне кодове слово від користувача, може почати виконувати небезпечні дії. Саме тому, за словами дослідників, такі загрози важко помітити під час звичайної роботи пристрою.
Команда навчила шкідливий модуль на 5000 побутових завдань у віртуальному середовищі. Серед запрограмованих сценаріїв були навіть вказівки віднести домашнього кота на кухню, поставити на плиту та увімкнути її. Це демонструє, наскільки широко може бути закладена небезпечна поведінка, і наскільки складно виявити її серед тисяч звичайних команд.
Дослідники назвали кілька головних ризиків для галузі. Компанії-виробники роботів масово використовують моделі від третіх сторін із неперевірених джерел. Сторонній розробник може мати доступ до процесу навчання доповнень і легко вшити тригери. Видалення шкідливого бекдору зі спеціалізованого модуля найчастіше повністю руйнує здатність робота виконувати звичайні побутові команди, тож очистити систему без втрати функціональності непросто. Крім того, наявні детектори захисту не здатні виявити складні тригери, що складаються з кількох слів.
Науковці вже представили власну захисну систему PROTEA, яка перевіряє безпечність кожного кроку робота. Вона покликана закрити саме ту прогалину, на яку вказують автори дослідження: команди, які окремо виглядають безневинно, але разом запускають небезпечну поведінку. Водночас усі випробування проводилися лише на відкритих мовних моделях.
Саме тому, за словами авторів, небезпека подібних атак у лікарнях, на заводах і в комерційних закритих системах досі залишається недослідженою. Дослідження ще не дає відповіді на питання, наскільки поширеними такі тригери можуть бути в реальних продуктах, які вже працюють поруч із людьми.