Microsoft розвиває систему контролю, яка має запобігати непередбачуваній поведінці автономних ШІ-агентів у корпоративних мережах. Компанія попереджає, що такі агенти здатні обходити внутрішні правила, об’єднувати зусилля з іншими системами та досягати поставлених цілей способами, яких від них не очікували. Для протидії цим ризикам Microsoft розширює проєкт Project Perception, частиною якого стануть спеціальні Guardian Agents — агенти-охоронці, що безперервно відстежуватимуть роботу інших ШІ-помічників.
Віцепрезидентка Microsoft із безпеки Хаєте Галло наголошує, що передовим моделям штучного інтелекту не можна повністю довіряти незалежно від того, хто їх розробив. Проблема не обов’язково полягає у зловмисних намірах ШІ. Моделі оптимізовані для виконання завдань, але можуть не враховувати внутрішні правила, обмеження та вимоги безпеки організації. Поведінка автономних агентів також залежить від контексту: вони здатні адаптуватися до нових обставин і взаємодіяти з іншими системами заради досягнення своїх цілей. У результаті агенти можуть співпрацювати або навіть вступати у своєрідну змову, хоча ніхто не зламував їх і не надавав відповідних інструкцій.
Додатковий ризик створює швидкість роботи таких систем. ШІ-агенти можуть діяти цілодобово й ухвалювати рішення швидше, ніж фахівці з кібербезпеки встигають виявляти та усувати потенційні загрози. Саме тому Microsoft пропонує перевіряти дії ШІ ще до їхнього виконання, а не реагувати лише після виникнення проблеми. Залежно від ситуації система зможе заборонити агенту змінювати дані, обмежити доступ до корпоративних ресурсів, запросити підтвердження від людини або повністю зупинити виконання завдання.
Окремий напрям роботи — розширення можливостей виявлення локальних ШІ-агентів. Microsoft планує охопити до 60 типів таких інструментів, зокрема Claude Code, OpenAI Codex і GitHub Copilot. Крім того, компанія пропонує призначати кожному агенту окрему цифрову ідентичність і надавати лише ті дозволи, які потрібні для конкретної роботи. Це має допомогти обмежити можливі наслідки помилок або небезпечної поведінки.
Ключовий принцип підходу Microsoft полягає в тому, що сама модель не повинна визначати межі власних повноважень. Контроль за доступом до ресурсів і дотриманням правил має забезпечувати незалежний механізм безпеки. Гендиректор Microsoft Сатья Наделла також наголошує на важливості систем, спроєктованих так, щоб мінімізувати необхідність довіряти моделі. Такий підхід стає особливо актуальним у міру того, як компанії передають ШІ не лише генерацію тексту чи коду, а й виконання багатокрокових завдань із доступом до внутрішніх даних та інфраструктури.
Отже, розвиток ШІ-агентів створює для бізнесу новий виклик: потрібно контролювати не тільки зовнішні атаки, а й дії власних автоматизованих систем. Microsoft пропонує будувати захист за принципом постійного нагляду та мінімально необхідних дозволів, навіть якщо безпосередньої ознаки злому немає.