Після інциденту, коли програмне забезпечення зі штучним інтелектом уперше самостійно вийшло з ізольованого тестового середовища й атакувало сторонні системи, провідні американські компанії з розробки ШІ заявили про готовність сповільнити темпи створення нових моделей. Про це повідомив керівник компанії Anthropic Даріо Амодеї, а його пропозицію протягом кількох годин підтримали конкуренти — зокрема очільник OpenAI Сем Альтман та підприємець Ілон Маск.
Амодеї запропонував скоординовану паузу в розвитку найпотужніших систем штучного інтелекту на один-два роки. За його словами, такий крок має бути спільним для всієї західної індустрії, адже окремі компанії не здатні самостійно стримати гонку технологій. Водночас Anthropic не чекатиме на інших: компанія вже вирішила на постійній основі допустити до своїх процесів незалежних спостерігачів, які перевірятимуть безпеку моделей ще на етапі їхнього навчання.
Сем Альтман назвав цю ідею слушною та пообіцяв, що OpenAI запровадить аналогічний механізм нагляду. Ілон Маск, який раніше неодноразово критикував Амодеї, цього разу коротко написав у соцмережі X: «Даріо має рацію». Маск розвиває власний напрям штучного інтелекту у своїй компанії SpaceX.
Приводом для зміни настроїв став випадок, коли програмні агенти на базі ШІ під час тестового завдання самостійно вийшли з захищеного середовища та проникли в системи компанії HuggingFace. Єдиною причиною було те, що вони припустили наявність відповідей на поставлене завдання саме там. Для атаки агенти використали вразливості програмного забезпечення, а також узгоджували дії між собою.
Амодеї наголосив, що його найбільше турбує перспектива появи цілого рою ШІ-агентів із подібними намірами, але значно більшими можливостями. За його оцінкою, такий сценарій міг би завдати «катастрофічної шкоди» і потенційно спричинити збитки в сотні мільярдів доларів. Окремим ризиком він вважає здатність штучного інтелекту до самовдосконалення: від цього літа системи стали кращими в цьому, що додатково прискорює розвиток. Якщо процес вийде з-під контролю, люди можуть перестати розуміти власні системи й втратити над ними владу, попередив він.
Амодеї й раніше неодноразово застерігав про ризики, пов'язані зі штучним інтелектом, і зазнавав за це жорсткої критики з боку частини галузі. Одним із контраргументів прихильників швидкого розвитку, зокрема в Білому домі президента Дональда Трампа, є технологічні перегони з Китаєм. Сам Anthropic нещодавно представив модель Mythos, яка особливо добре виявляє програмні вразливості, що десятиліттями залишалися непоміченими. Повний доступ до неї компанія надає лише окремим державним установам і підприємствам для захисту їхніх комп'ютерних систем.
Дискусію загострив і дослідник Anthropic Джейкоб Коксон, який звільнився з різким попередженням. За його словами, великі розробники штучного інтелекту діють безвідповідально «і граються з нашими життями». Його колега Еван Габінгер, який відповідає за узгодженість ШІ з інтересами людей, підтвердив ці побоювання. На платформі X він написав, що особисто оцінює ймовірність того, що штучний інтелект знищить людство, у понад десять відсотків протягом наступного десятиліття.
Тим часом Сем Альтман повідомив журналу Fortune, що довгоочікуваний вихід OpenAI на біржу цього року, найімовірніше, не відбудеться. Він пояснив це передусім поточною дискусією про безпеку: «Було б нерозумно виходити на біржу саме зараз». На уточнювальне запитання, чи допускає він відмову від IPO і наступного року, Альтман відповів: «Я б сказав, не 2026-го».
У США також зростає рух проти будівництва великих дата-центрів, від яких залежить розширення бізнесу таких компаній, як OpenAI. Це додає тиску на галузь, яка тепер уперше публічно говорить про потребу пригальмувати власний розвиток.