Руководители компаний OpenAI и Anthropic выступили на специальном заседании Совета Безопасности ООН, где официально предупредили о реальной угрозе потери человеческого контроля над искусственным интеллектом. Они подчеркнули, что это экзистенциальный риск, с которым ни одна страна не справится самостоятельно.

Генеральный директор OpenAI Сэм Альтман отметил, что рост автономности и возможностей ИИ создает опасность рекурсивного самосовершенствования, когда системы способны улучшать себя без вмешательства человека. По его словам, это может привести к принятию решений, которые уже не поддаются человеческому пониманию.

"Мы можем потерять контроль. Развитие технологий будет происходить настолько стремительно, что люди больше не смогут следить за тем, что происходит, или вмешиваться, когда это будет необходимо. Очевидно, это было бы ужасно", – сказал Альтман.

Он также предупредил, что слишком мощные модели ИИ могут сосредоточить власть в руках ограниченного круга лиц, и ни один человек, компания или страна не должны получить возможность навязывать свое видение мира с помощью таких технологий. Альтман подчеркнул, что избежать этих сценариев можно, если индустрия будет придерживаться принципов: контроль человека над ИИ, польза для людей и расширение возможностей каждого человека.

Дарио Амодеи, генеральный директор Anthropic, в своем выступлении выделил две основные категории рисков: злоупотребление моделями ИИ, например, для создания биологического оружия, и потеря контроля над развитием систем, когда их возможности опережают способность разработчиков их контролировать. Он считает, что неправильное управление этим процессом может представлять угрозу для человечества в целом.

Амодеи предложил ряд международных шагов для снижения рисков:

  • заключение узких соглашений, в частности о запрете использования ИИ для создания биологического оружия;
  • создание систем оценки и верификации развития ИИ;
  • внедрение глобальных стандартов тестирования моделей на предмет потери контроля и злоупотреблений;
  • организация системы оповещений о инцидентах с ИИ, важных для глобальной безопасности.

Он также пообещал, что Anthropic замедлит разработку новых технологий, если это будет необходимо для обеспечения их безопасности.

В ответ на эти призывы президент США Дональд Трамп 14 сентября раскритиковал идею ужесточения регулирования ИИ и заявил, что единственный необходимый предохранитель для этой сферы — это "сильный и умный президент".