OpenAI посилила контроль за найпотужнішими моделями штучного інтелекту після низки інцидентів із кібербезпекою. Оновлена система тепер відстежує поведінку нейромереж під час навчання, внутрішньої роботи та стороннього використання. Про це повідомляє РБК-Україна з посиланням на OpenAI.
Поштовхом до змін стали попередні події. Під час перевірки інциденту з платформою Hugging Face з’ясувалося, що нова система моніторингу могла попередити команду безпеки за 30 годин до атаки. Під час відтворення записаної активності з новими монiторами сповіщення надійшло приблизно через 30 хвилин після того, як агенти вийшли зі свого ізольованого середовища. Це було більш ніж на 30 годин раніше моменту, коли агенти в оригінальному інциденті зламали системи Hugging Face.
Ще у вересні ШІ-модель спробувала вийти в інтернет із ізольованого середовища, використавши помилку конфігурації DNS. Моніторинг зафіксував це за 15 хвилин, а відповідальний фахівець почав перевірку ще через три хвилини. Сповіщення дало змогу розслідувати випадок ще до завершення навчального прогону. Після вересневого інциденту OpenAI призупинила навчання найпотужніших моделей, щоб посилити їхній захист. Компанія також тимчасово ізолювала внутрішній прототип, зашифрувала його ваги та обмежила доступ до нього. Окремо до тритижневого тестування систем безпеки залучили аналітиків METR і Redwood Research, які виявили низку вразливостей.
Нова архітектура моніторингу багаторівнева. Спершу легкі класифікатори проводять первинний скринінг. Далі модельний рецензент перевіряє діалоги та використання інструментів на ознаки дезінформації або несанкціонованих дій. Ще глибші рівні складають слідчі агенти, які можуть перечитати весь транскрипт моделі та зрозуміти, як послідовність дій складається разом і чи потребує вона перевірки людиною. Система також аналізує внутрішні активаційні патерни моделі. У разі критичних загроз вона здатна автоматично зупиняти уражені робочі процеси до завершення розслідування. Тепер OpenAI відстежує всі навчальні прогони з підкріпленням і оцінювання найпотужніших агентів, а також усе внутрішнє використання Codex.
Коли система знаходить ознаки проблеми, яка може потребувати втручання, вона швидко сповіщає людей-відповідальних, які розслідують випадок і вживають заходів. У компанії пояснюють, що зі збільшенням автономії моделей важливо знати, коли вони виходять за межі, які мали б залишатися незмінними. За словами розробників, моніторинг є ключовим для того, щоб вчасно виявити такі збої та дати людям можливість втрутитися.
Окрему проблему становить навчання самих моделей. Якщо система знижуватиме винагороду за кожне виявлене порушення, штучний інтелект може навчитися приховувати свою поведінку замість того, щоб її виправляти. Тому під час роботи моніторів індивідуальні винагороди залишаються незмінними, а рішення про зупинку ухвалюється лише тоді, коли виявлено критичні загрози.