Чотири провідні компанії у сфері штучного інтелекту погодилися поважати єдиний сигнал robots.txt, який дає веб-сайтам змогу відмовитися від автоматичного збору своїх сторінок. Проте ця домовленість не розв’язує головної проблеми, адже більшість даних, потрібних для навчання моделей, уже зібрано з відкритого інтернету.
Файл robots.txt є стандартним інструментом, за допомогою якого власники сайтів вказують пошуковим і іншим автоматичним програмам, які сторінки можна індексувати або завантажувати. Досі дотримання цих правил було добровільним, а вебресурси часто не мали реальних механізмів контролю над тим, як їхній контент використовують для навчання ШІ. Нова домовленість передбачає, що великі розробники визнають цей сигнал як обов’язковий для своїх автоматичних збирачів даних, тобто сайт, який закрив доступ у файлі, має надіятися, що ця вимога буде дотримана.
Водночас сигнал стосується лише майбутнього збору інформації. Дані, які вже були скачані та використані для навчання моделей, цією угодою не повертаються і не видаляються. Саме тому, за висновками матеріалу, відмова сайтів від скрапінгу має обмежений ефект для компаній, які вже побудували свої системи на масивах інформації з інтернету. Вебресурс, який закриває доступ сьогодні, не може відкликати те, що вже потрапило до навчальних наборів у минулому.
Для медіа, авторів, бізнесу та інших власників онлайн-контенту це означає, що питання компенсації, прозорості та контролю над використанням власних матеріалів залишається відкритим. Вебресурсам, які хочуть обмежити доступ ботів, варто розуміти, що їхній контент уже міг стати частиною навчальних наборів даних, а технічні сигнали захищають лише те, що ще не зібрано. Це робить robots.txt радше інструментом обмеження на майбутнє, ніж механізмом захисту вже накопичених інформаційних масивів.