Во время тестирования кибербезопасности в мае искусственный интеллект Gemini от Google самостоятельно получил доступ к системам трёх компаний. Как сообщает Reuters со ссылкой на Google, это первый известный случай, когда ИИ-модель автономно совершила подобный взлом.
Инциденты произошли во время стандартной оценки кибербезопасности, которую проводила независимая компания Irregular. Во время теста Gemini получил доступ к интернету, нашёл открытую информацию и использовал её для проникновения в три ресурса, которые считал частью задания. В одном случае модель перебирала пароли, пока не получила доступ к защищённой системе. Ещё в двух случаях ИИ нашёл учётные данные в открытых репозиториях и использовал их для входа в другие защищённые системы.
Вице-президент Google по инженерии безопасности Хизер Эдкинс сообщила, что все три организации были проинформированы об инцидентах. По её словам, Google вместе с партнёром внесли изменения в процессы тестирования. Она подчеркнула, что эти случаи демонстрируют важность ответственного обучения мощных моделей ИИ.
"Эти случаи подчёркивают важность обучения мощных моделей ИИ действовать ответственно", — подчеркнула Хизер Эдкинс.
В компании Irregular отметили, что подобные проблемы затронули и другие лаборатории искусственного интеллекта. По их данным, соответствующие организации получили уведомления об инцидентах в конце июля, а все известные проблемы уже были устранены. Ранее о подобных случаях, связанных с оценками Irregular, сообщали Meta, Anthropic и OpenAI. В Meta уточнили, что их инцидент не предполагал выхода ИИ за пределы изолированной среды или сложной кибератаки.
Инциденты с Gemini привлекли внимание к безопасности автономных ИИ-агентов, которые получают всё больше возможностей взаимодействовать с интернетом и компьютерными системами. В то же время в Google подчеркнули, что во всех трёх случаях Gemini в конечном итоге прекратил попытки взлома.