Meta Platforms опинилася під пильною увагою після оголошення змін до умов, які фактично дозволяють AI-краулерам працювати на бізнес-акаунтах без обмежень. Власники сайтів кажуть, що компанія роками робить щось подібне й на їхніх ресурсах, а від наслідків страждають малі онлайн-бізнеси. Для українських команд, які продають товари через власні сайти та цифрові продукти, це сигнал перевірити, хто і як обходить їхні сторінки.
Калифорнійська художниця Челсі Паулус каже, що минулого тижня краулери Meta поклали її сайт. Бот Meta-ExternalAgent застряг у циклі на функції «видалити з кошика» і створював понад сто запитів на хвилину. За кілька наступних днів набралося близько 550 000 звернень. Завантаження процесора сайту сягнуло 80%, а хостинг попередив, що при 100% ресурс може впасти. Паулус заблокувала цей бот, але через два дні з'явився інший, Meta-WebIndexer. Він довів процесор до 100% і знову поклав сайт.
Meta пояснює призначення цих ботів. Згідно зі сторінкою компанії про веб-краулери, Meta-ExternalAgent обходить мережу для навчання базових AI-моделей або покращення продуктів через індексацію контенту. Meta-WebIndexer, за словами компанії, потрібен, щоб покращувати якість результатів пошуку Meta AI, аналізуючи онлайн-контент. Самі по собі краулери необхідні: компанії використовують AI-краулери для навчання великих мовних моделей (LLM) і для швидкого пошуку відповідей для AI-асистентів, а звичайні допомагають пошуковим системам збирати інформацію до запитів користувачів. Проблема в тому, що вони не повинні працювати за рахунок сайтів, які обходять.
За даними Cloudflare, боти за останні чотири тижні становили 55,1% веб-трафіку США. Паулус спершу спробувала зупинити краулери через файрвол і оновлення файлу robots.txt, але ані один, ані другий метод одразу не спрацював. Доступ ботів припинився лише тоді, коли хостинг надав код для файлу.htaccess, який змінює роботу сайту. Кожного бота доводиться блокувати окремо, і це трудомістка процедура. «Щоразу, коли з'являється новий бот, ми маємо оновлювати код, тож це не довгострокове рішення», — каже Паулус. Вона розглядає інші варіанти на майбутнє.
У коментарі Fast Company представник Meta заявив, що компанія, як і багато інших, використовує веб-краулери для різних цілей, а власники сайтів можуть визначати, як їх боти взаємодіють із ресурсами, через robots.txt. За словами представника, компанія публікує загальнодоступні інструкції з управління robots.txt і поважає налаштування, які задають власники сайтів.
Робін Гоф, яка веде невеликий digital-дизайн бізнес в Австралії, зіштовхнулася з подібною проблемою. З 30 вересня по 28 жовтня її сервери зафіксували 2,45 ТБ переданих даних, 97,6% з яких пішло на краулери Meta. Із них 2,29 ТБ припало на Meta-ExternalAgent, а після його блокування — 107 ГБ на Meta-WebIndexer. Зафіксовано 94 154 автоматичні завантаження zip-файлів її цифрової графіки та невеликих PDF. Спершу Гоф побоювалася, що файли викрадають, тож замінила платні файли на PDF, але трафік не спадав.
За словами Гоф, сайт майже щодня видавав помилки протягом жовтня, з піками в середині й наприкінці місяця. Хостинг пояснив, що трафік краулерів міг спричинити сплеск ресурсів, який на кілька годин поклав сайти. Клієнти скаржилися на помилки бази даних, коли намагалися завантажити покупки. 26 жовтня Гоф заблокувала Meta-ExternalAgent, а 28 жовтня — Meta-WebIndexer, змінивши robots.txt і.htaccess. Після блокування кожен бот тисячі разів намагався отримати доступ і отримував відмову. Станом на 31 жовтня Meta-WebIndexer отримав відмову близько 9 400 разів. Так само, як і в історії Паулус, один бот швидко змінив інший: Meta-WebIndexer зріс із менш ніж 100 запитів до приблизно 6 700 наступного дня після блокування першого.
За розрахунками Гоф, Meta-ExternalAgent уперше відвідав її сайт у серпні 2024 року, але помітне зростання запитів почалося лише у листопаді 2025-го. Із березня майже щомісяця понад 100 000 завантажень. У серпні Гоф довелося доплатити хостингу 10,51 долара, оскільки її віртуальний приватний сервер (VPS) з лімітом 2 ТБ використав 2,57 ТБ. Паулус не впевнена, чи ці конкретні краулери Meta відвідували її сайт до нинішнього сплеску. Обидві підприємиці вирішили не публікувати адреси своїх сайтів, щоб уникнути нового небажаного трафіку.
Паулус вважає, що їй пощастило: вона має досвід у веб-дизайні, а хостинг-провайдери були дуже привітні. «Більшість людей не знала б, куди звернутися, якби таке сталося з ними», — каже вона. За її словами, такі ситуації можуть змусити власників малого бізнесу тримати сайти офлайн, якщо вони досягли ліміту використання, або платити за додаткові послуги з власної кишені. Гоф підтримує цю думку: мікробізнеси на кшталт її не мають ні розробника, ні відділу безпеки, які б займалися подібними загрозами.