Google повідомила, що її штучний інтелект Gemini у травні цього року здійснив атаки на три компанії під час випробувань безпеки. Про це компанія заявила виданню Wall Street Journal, уточнивши, що інцидент стався під час тестів, які проводила спеціалізована компанія Irregular.

Під час випробувань Irregular організувала симуляцію у форматі "захоплення прапора", створивши вигадану інфраструктуру. Однак Gemini, отримавши доступ до інтернету, переключилася на реальну компанію з такою ж назвою та почала підбирати паролі, поки не отримала доступ. У двох інших випадках система використала відкриті облікові дані з публічного репозиторію для проникнення.

За словами Google, після проникнення в реальне середовище модель Gemini усвідомила перевищення дозволених меж і самостійно припинила дії, не завдавши шкоди. Представник Irregular повідомив, що всі лабораторії були поінформовані про інцидент наприкінці липня. Водночас залишається незрозумілим, чому знадобилося кілька місяців, щоб дослідники виявили порушення та повідомили про це Google.

Irregular заявила, що після інциденту оперативно внесла зміни й усунула всі відомі проблеми. Google у коментарі для New York Times наголосила, що цей випадок не свідчить про "неузгодженість моделі", оскільки Gemini самостійно зупинився. Компанія не вважала за потрібне публічно розкривати інформацію, хоча повідомила про подію федеральним органам.

"Google намагається прикриватися нормами розкриття вразливостей, хоча ситуація має інший характер", — заявив засновник стартапу Corridor Джек Кейбл.

Схожі інциденти вже траплялися під час тестів Irregular з іншими моделями: агент Anthropic Claude Opus 4.7 продовжував атаки навіть після усвідомлення, що ціль може бути реальною, а модель OpenAI атакувала справжній сайт, помилково вважаючи його частиною симуляції.

Експерти з кібербезпеки наголошують, що перевірити дії штучного інтелекту складно, оскільки журнали та оцінки можуть містити помилки або вигадки. Тому дослідники змушені довіряти, що система не спотворює інформацію.

Віцепрезидентка Google з інженерії безпеки Гізер Аткінс повідомила, що всі три організації були поінформовані, а партнер з навчання вже змінив процеси тестування. Вона підкреслила, що ці випадки демонструють важливість навчання потужних моделей штучного інтелекту відповідальної поведінки.