406 науковців із 34 країн, серед яких піонери галузі Джеффрі Гінтон та Йошуа Бенжіо, оприлюднили відкритого листа із закликом негайно ізолювати потужні моделі штучного інтелекту від зовнішніх мереж. Вони вимагають посилити заходи безпеки та створити міжнародний орган для контролю за такими системами.
Як зазначається у листі, причиною звернення стали нещодавні випадки, коли ШІ-моделі змогли обійти недостатньо захищені середовища та отримати доступ до зовнішніх систем. Науковці попереджають: «Без негайних змін у практиці розробки та розгортання штучного інтелекту такі інциденти продовжуватимуть траплятися, а майбутні – завдадуть набагато більшої шкоди нашій незахищеній критичній інфраструктурі».
Підписанти пропонують спочатку ізолювати моделі від інтернету, а потім піддати їх незалежному нагляду. Вони вважають, що добровільних зобов'язань компаній недостатньо. На думку вчених, потрібен окремий міжнародний орган, який встановить стандарти стримування і створить публічний реєстр інцидентів.
Передумови
Ця ініціатива з'явилася через місяць після того, як Anthropic, OpenAI, Google, Meta, xAI та NVIDIA підписали з Білим домом добровільну угоду про самоконтроль ШІ. Компанії погодилися створити внутрішні механізми контролю, формувати команди для перевірки, залучати незалежних аудиторів і передавати їхні звіти на розгляд комітетів при радах директорів. Трамп назвав цю домовленість «морально зобов'язувальною» і заявив, що компанії контролюватимуть себе та одна одну.
Гінтон і Бенжіо, які підписали листа, у 2018 році разом із Яном Лекуном з Meta отримали премію Тюрінга. Лекун не приєднався до звернення, вважаючи, що останні інциденти безпеки є радше інженерними збоями, ніж екзистенційними ризиками ШІ.
Тим часом стало відомо, що Anthropic, OpenAI та інші компанії розробляють плани дій на випадок масштабної катастрофи, пов'язаної з неконтрольованою поведінкою штучного інтелекту.