406 ученых из 34 стран, среди которых пионеры отрасли Джеффри Гинтон и Йошуа Бенджио, опубликовали открытое письмо с призывом немедленно изолировать мощные модели искусственного интеллекта от внешних сетей. Они требуют усилить меры безопасности и создать международный орган для контроля за такими системами.
Как отмечается в письме, причиной обращения стали недавние случаи, когда ИИ-модели смогли обойти недостаточно защищённые среды и получить доступ к внешним системам. Ученые предупреждают: «Без немедленных изменений в практике разработки и развертывания искусственного интеллекта такие инциденты будут продолжаться, а будущие – нанесут гораздо больший ущерб нашей незащищённой критической инфраструктуре».
Подписанты предлагают сначала изолировать модели от интернета, а затем подвергнуть их независимому надзору. Они считают, что добровольных обязательств компаний недостаточно. По мнению ученых, нужен отдельный международный орган, который установит стандарты сдерживания и создаст публичный реестр инцидентов.
Предпосылки
Эта инициатива появилась через месяц после того, как Anthropic, OpenAI, Google, Meta, xAI и NVIDIA подписали с Белым домом добровольное соглашение о самоконтроле ИИ. Компании согласились создать внутренние механизмы контроля, формировать команды для проверки, привлекать независимых аудиторов и передавать их отчёты на рассмотрение комитетов при советах директоров. Трамп назвал это соглашение «морально обязательным» и заявил, что компании будут контролировать себя и друг друга.
Гинтон и Бенджио, которые подписали письмо, в 2018 году вместе с Яном Лекуном из Meta получили премию Тьюринга. Лекун не присоединился к обращению, считая, что последние инциденты безопасности скорее инженерные сбои, чем экзистенциальные риски ИИ.
Тем временем стало известно, что Anthropic, OpenAI и другие компании разрабатывают планы действий на случай масштабной катастрофы, связанной с неконтролируемым поведением искусственного интеллекта.