Найнебезпечніша порада ШІ часто не виглядає небезпечною. Вона приходить після десятків нормальних відповідей, коли користувач уже перестав ставитися до системи як до експерименту. Саме так, за повідомленнями китайських і міжнародних медіа, сталося з 67-річним фермером Ву з Чучжоу.
Близько року він використовував неназваний застосунок зі штучним інтелектом у роботі. Питав про погоду, добрива, шкідників і поступово переконався, що цей інструмент економить час. Коли на 150 му кунжуту постала проблема з бур’янами, Ву попросив ШІ скласти схему обробки — і цього разу не пішов за другою думкою.
У рецепті були гербіциди та інсектициди. Один із компонентів — фомесафен, засіб проти широколистих бур’янів. Китайська реєстрація препаратів на його основі прив’язує застосування до конкретних культур, зокрема сої, і містить застереження щодо чутливих рослин. У первинному повідомленні аграрні спеціалісти пов’язали пошкодження кунжуту саме з цим компонентом.
Ву обробив поле. Наступного ранку бур’яни справді гинули — але швидше за них гинули й сходи кунжуту. 150 му — це приблизно 10 гектарів, майже 25 акрів. Масштаб фінансової втрати медіа не називають, але агрономічна втрата була очевидною: рекомендація, яка мала захистити врожай, стала причиною його знищення.
Це хороший приклад того, чому «ШІ як помічник» і «ШІ як особа, що приймає рішення» — різні речі. Прогноз погоди можна порівняти з кількома джерелами. Пояснення про добрива можна використати як відправну точку. Але рецепт бакової суміші — це вже команда, яка запускає хімічний процес на живій культурі. Помилка не залишається в чаті.
Додаткова деталь робить історію ще показовішою: на сторінці, за повідомленнями, було стандартне попередження, що згенерована ШІ інформація може бути неточною й потребує перевірки. Формально застереження існувало. Практично ж приблизно рік вдалого досвіду виявився сильнішим за один рядок інтерфейсу.
Аграрні дослідники в Китаї вже рухаються до іншого підходу. У травні вони представили Green Shield — спеціалізовану модель для захисту рослин, яка звіряє поради з національною базою реєстрації пестицидів. Ідея проста: якщо відповідь має реальні фізичні наслідки, системі недостатньо звучати переконливо — вона повинна перевіряти обмеження до того, як сформує рецепт.
У доступних матеріалах не вказано, яким саме ШІ-сервісом користувався Ву. Це важлива межа: історія не про бренд, а про спосіб прийняття рішень. Хороший інструмент може довго працювати правильно й одного дня помилитися саме там, де ціна помилки найбільша. Для технологій наступним показником якості стає не кількість правильних відповідей, а здатність сказати: це рішення треба підтвердити людиною.