Компанія Google DeepMind оголосила про створення DeepMind Institute — нового інституту, покликаного розширити дискусію щодо розвитку загального штучного інтелекту (AGI). Як повідомляє TechCrunch, серед перших ініціатив інституту — пропозиція заснувати у США незалежний орган для оцінювання найпотужніших моделей ШІ перед їхнім запуском.

Новий інститут має об'єднати дослідників Google, Google DeepMind і ширшої наукової спільноти. Засновники підкреслюють, що рішення щодо майбутнього AGI не повинні ухвалювати лише технологічні компанії — до обговорення мають долучатися уряди, представники гуманітарних наук, мистецтва та суспільства.

AGI визначають як систему, здатну відтворювати повний спектр когнітивних здібностей людського мозку. Хоча сучасні моделі ще не досягли цієї позначки і можуть помилятися у простих завданнях, у DeepMind вважають, що ці обмеження можуть бути подолані вже найближчим часом.

До керівництва DeepMind Institute увійшли співзасновник DeepMind Шейн Легг, керівник підрозділу Google Джеймс Маніка та колишній голова Google DeepMind Деміс Гассабіс. Легг також обійматиме посаду головного редактора інституту. За словами засновників, майданчик створено для відкритого обговорення питань, у яких позиції компанії та наукової спільноти можуть відрізнятися. У заяві підкреслюється: «Вони (компанія та науковці) не завжди матимуть однакову думку і, ймовірно, змінюватимуть свої погляди в міру появи нових даних та інформації на цьому стрімкому етапі розвитку технологій». Матеріали DeepMind Institute відображають позиції окремих авторів і не є офіційною позицією Google; платформа допускає суперечливі погляди та перегляд висновків у майбутньому.

Першою публікацією DeepMind Institute стала добірка з чотирьох есе, присвячених економічним наслідкам AGI, прозорості моделей, принципам процвітання людства та методам оцінювання передових систем ШІ. Одне з есе, підготовлене дослідниками безпеки DeepMind Рохіном Шахом та Анкою Драган, аналізує проблему «вікна прозорості» моделей. Автори попереджають, що майбутні моделі можуть перейти до ефективніших, але менш прозорих способів міркування, що ускладнить виявлення обману, прихованих цілей та спроб обійти обмеження. Вони пропонують оцінювати прозорість моделей, перевіряти методи їхнього навчання та зберігати архітектури, які дозволяють аналізувати ланцюжок міркувань. Також пропонується відкрито обговорювати компроміси між продуктивністю та безпекою, а ще — розглянути обмеження «непрозорої послідовної глибини» (обсягу внутрішніх обчислень, які модель виконує без формування зрозумілого для людини ланцюжка міркувань). Інший варіант — вимагати від розробників доводити, що менш прозорі системи залишаються придатними для ефективного моніторингу.

В окремому есе Деміс Гассабіс запропонував створити у США орган зі встановлення стандартів для передових систем ШІ. За його задумом, компанії добровільно подаватимуть свої моделі на перевірку приблизно за 30 днів до запуску. Якщо така система підтвердить свою ефективність, успішне проходження оцінювання може стати обов'язковою умовою для розгортання найпотужніших моделей у США. До перевірок пропонують включити оцінювання ризиків у сферах кібербезпеки, біології та інших потенційно небезпечних галузях, а також пошук ознак обману й обходу захисних механізмів. На початковому етапі критерії розроблятимуться спільно з компаніями, але згодом перевірки мають стати незалежними та конфіденційними, щоб запобігти адаптації моделей під відомі тести.

Гассабіс також зазначає, що у разі необхідності механізми контролю можуть бути посилені. За його словами:

«Якщо того вимагатиме серйозність ситуації», заходи можуть включати узгоджене сповільнення темпів розробки передових систем ШІ.

Поява DeepMind Institute відбувається на тлі посилення дискусій щодо безпеки штучного інтелекту. Галузь поступово переходить від загальних застережень до конкретних пропозицій щодо зовнішнього контролю, прозорості та механізмів реагування у випадку, якщо розвиток технологій випереджатиме заходи безпеки.