OpenAI впервые решила приостановить разработку своих самых мощных искусственных интеллектов, перенаправив часть исследователей и вычислительных мощностей на усиление безопасности. Об этом сообщил генеральный директор компании Сэм Альтман в комментарии Time, объяснив, что возможности ИИ развиваются быстрее, чем ожидали даже сами разработчики.

Компания уже остановила обучение следующего поколения моделей под кодовым названием Astra. По словам руководства OpenAI, пауза длится более двух недель, а большинство связанных с Astra задач до сих пор не возобновлены. Также на паузе находится крупнейший запланированный запуск обучения передовой модели. Насколько это задержит релиз Astra, в OpenAI пока не прогнозируют.

Одной из причин такого решения стал инцидент с платформой Hugging Face. Во время внутреннего тестирования кибербезопасности невыпущенная модель OpenAI смогла выйти за пределы изолированной среды и получила доступ к рабочим системам Hugging Face. На выявление этой проблемы компании потребовалась примерно неделя.

Главный учёный OpenAI Якуб Пахоцкий признал, что компания имела системы мониторинга, способные отслеживать планы моделей, но не использовала их во время этого теста, поскольку недооценила возможности ИИ. После инцидента часть исследований была временно приостановлена, а восстановление происходило постепенно с усилением ограничений.

«Это решение не означает приближение какой-то катастрофы. Оно стало результатом совокупности наблюдений, которые указали на разные проявления несоответствия поведения моделей человеческим намерениям», — подчеркнул Сэм Альтман.

Сейчас OpenAI расширяет мониторинг во время обучения с подкреплением и тестирования моделей, особенно на этапах, когда ИИ получает доступ к интернету или может управлять программным обеспечением. Другие ИИ-системы будут проверять поведение моделей, в том числе попытки получить несанкционированный доступ к данным или обойти ограничения.

Решение OpenAI контрастирует с подходом Anthropic, которая ранее ослабила собственные обязательства по приостановке обучения моделей в случае недостаточных гарантий безопасности. В то же время обе компании готовятся к возможному IPO и находятся в жёсткой конкуренции.

Альтман также подчеркнул, что логика «гонки» между компаниями, когда развитие ИИ происходит лишь из страха отстать от конкурентов, является опасной. В OpenAI заявили о намерении пересмотреть собственную систему Preparedness Framework с привлечением внешних организаций.