Компания Google DeepMind объявила о создании DeepMind Institute — нового института, призванного расширить дискуссию по развитию общего искусственного интеллекта (AGI). Как сообщает TechCrunch, среди первых инициатив института — предложение создать в США независимый орган для оценки самых мощных моделей ИИ перед их запуском.

В руководство DeepMind Institute вошли сооснователь DeepMind Шейн Легг, руководитель подразделения Google Джеймс Маника и бывший глава Google DeepMind Демис Гассабис. Легг также займет должность главного редактора института. По словам основателей, площадка создана для открытого обсуждения вопросов, в которых позиции компании и научного сообщества могут различаться. В заявлении подчеркивается: «Они (компания и ученые) не всегда будут иметь одинаковое мнение и, вероятно, будут менять свои взгляды по мере появления новых данных и информации на этом стремительном этапе развития технологий».

Первой публикацией DeepMind Institute стал сборник из четырёх эссе, посвящённых экономическим последствиям AGI, прозрачности моделей, принципам процветания человечества и методам оценки передовых систем ИИ. Одно из эссе, подготовленное исследователями безопасности DeepMind Рохином Шахом и Анкой Драган, анализирует проблему «окна прозрачности» моделей. Авторы утверждают, что потеря возможности проверять пошаговый ход рассуждений ИИ не является неизбежной, даже если новые архитектуры усложняют мониторинг самых мощных систем. Они предлагают открыто обсуждать компромиссы между производительностью и безопасностью, а также рассмотреть ограничения «непрозрачной последовательной глубины» — объёма внутренних вычислений, которые модель выполняет без формирования понятной человеку цепочки рассуждений. Другой вариант — требовать от разработчиков доказывать, что менее прозрачные системы остаются пригодными для эффективного мониторинга.

В отдельном эссе Демис Гассабис предложил создать в США орган по установлению стандартов для передовых систем ИИ. По его замыслу, компании добровольно будут подавать свои модели на проверку примерно за 30 дней до запуска. Если такая система подтвердит свою эффективность, успешное прохождение оценки может стать обязательным условием для развёртывания самых мощных моделей в США. На начальном этапе критерии будут разрабатываться совместно с компаниями, но впоследствии проверки должны стать независимыми и конфиденциальными, чтобы предотвратить адаптацию моделей под известные тесты.

Гассабис также отмечает, что в случае необходимости механизмы контроля могут быть усилены. По его словам:

«Если того потребует серьёзность ситуации», меры могут включать согласованное замедление темпов разработки передовых систем ИИ.

Появление DeepMind Institute происходит на фоне усиления дискуссий по безопасности искусственного интеллекта. Отрасль постепенно переходит от общих предостережений к конкретным предложениям по внешнему контролю, прозрачности и механизмам реагирования в случае, если развитие технологий опередит меры безопасности.