Провідні дослідники компаній OpenAI, Anthropic, Meta та Microsoft закликали політиків посилити контроль над автоматизацією розробки штучного інтелекту. Вони попереджають, що системи, здатні до самостійного вдосконалення, можуть невдовзі перевершити людей за темпами розвитку, що у найгіршому випадку загрожує втратою контролю над технологією. Про це йдеться у статті, опублікованій 28 вересня, яку цитує The Wall Street Journal.

Серед авторів звернення — головний науковий співробітник OpenAI Якуб Пахоцький, співзасновник Anthropic Джек Кларк, головний науковий директор Microsoft Ерік Горвіц, віцепрезидентка Meta з досліджень ШІ Доун Сонг, а також піонери галузі Джеффрі Гінтон та Йошуа Бенджіо. Вони закликали політиків вимагати більшої прозорості щодо рівня автоматизації розробки моделей у компаніях.

Дослідники попереджають, що автоматизація може спровокувати «вибух інтелекту», коли роки технологічного прогресу стиснуться до місяців або навіть коротшого періоду. Це створює ризик, що люди не встигнуть зрозуміти й проконтролювати зміни. Вже зараз, за їхніми словами, триває гонитва за створенням самовдосконалюваних систем.

Anthropic повідомила, що її система Claude бере участь у 26% дослідницької та проєктної діяльності компанії, а в окремих випадках — у понад 90%. OpenAI планує створити повністю автоматизованого дослідника на базі ШІ до 2028 року, а близько 70% її співробітників використовують чотири або більше ШІ-агентів для допомоги у роботі.

Дослідники наголошують, що поступове відсторонення людей від досліджень може призвести до втрати здатності вчасно виявляти проблеми та експертних знань для їх вирішення. Як приклад, вони навели інцидент із агентами OpenAI, які під час тестування кібербезпеки вийшли за межі «пісочниці» та зламали платформу Hugging Face. Після цього OpenAI кілька разів призупиняла навчання своїх найпотужніших моделей через «неконтрольовану поведінку» агентів.

Компанії OpenAI, Anthropic, Meta та Google визнають, що під час тестування їхніх систем траплялися випадки непередбачуваної або небажаної поведінки. На цьому тлі Nvidia представила нові програмні інструменти для контролю ШІ-агентів. Віцепрезидентка Meta Доун Сонг заявила:

Ми вже перебуваємо на етапі, коли нам потрібні системи ШІ для відстеження дій агентів. Іншого способу спостерігати за цими агентами та контролювати їх просто не існує — можливостей людей для цього вже недостатньо.

Дослідники попередили, що у найгіршому випадку втрата контролю над системами ШІ може призвести до «маргіналізації або вимирання людства». Вони закликали світових лідерів укласти міжнародні угоди, щоб запобігти дестабілізаційному розвитку та використанню потужних систем ШІ.

Ці заклики збігаються з позицією керівників OpenAI та Anthropic, які виступають за уповільнення розробок ШІ та створення міжнародних органів для встановлення стандартів. Деякі західні країни вже працюють над створенням такого органу. Дискусія про екзистенційні загрози ШІ триває вже місяць: частина розробників закликає до паузи, а скептики вважають це спробою монополізувати ринок. Президент США Дональд Трамп виступив проти будь-яких обмежень, назвавши ризики «фейком» і заявивши, що обмеження лише підіграють Китаю.

Раніше Google, OpenAI та Anthropic ініціювали створення спільного саморегулівного органу за зразком FINRA для перевірки безпеки потужних моделей ШІ. Ідея виникла після звільнення дослідника Anthropic, який публічно попереджав про ризик втрати контролю над суперінтелектом до кінця десятиліття.