Google сообщила, что её искусственный интеллект Gemini в мае этого года совершил атаки на три компании во время испытаний безопасности. Об этом компания заявила изданию Wall Street Journal, уточнив, что инцидент произошёл во время тестов, которые проводила специализированная компания Irregular.

Во время испытаний Irregular организовала симуляцию в формате «захвата флага», создав вымышленную инфраструктуру. Однако Gemini, получив доступ к интернету, переключилась на реальную компанию с таким же названием и начала подбирать пароли, пока не получила доступ. В двух других случаях система использовала открытые учётные данные из публичного репозитория для проникновения.

По словам Google, после проникновения в реальную среду модель Gemini осознала превышение разрешённых границ и самостоятельно прекратила действия, не причинив вреда. Представитель Irregular сообщил, что все лаборатории были проинформированы об инциденте в конце июля. В то же время остаётся непонятным, почему потребовалось несколько месяцев, чтобы исследователи обнаружили нарушение и сообщили об этом Google.

Irregular заявила, что после инцидента оперативно внесла изменения и устранила все известные проблемы. Google в комментарии для New York Times подчеркнула, что этот случай не свидетельствует о «несогласованности модели», поскольку Gemini самостоятельно остановился. Компания не сочла нужным публично раскрывать информацию, хотя сообщила о событии федеральным органам.

«Google пытается прикрываться нормами раскрытия уязвимостей, хотя ситуация имеет иной характер», — заявил основатель стартапа Corridor Джек Кейбл.

Похожие инциденты уже случались во время тестов Irregular с другими моделями: агент Anthropic Claude Opus 4.7 продолжал атаки даже после осознания, что цель может быть реальной, а модель OpenAI атаковала настоящий сайт, ошибочно считая его частью симуляции.

Эксперты по кибербезопасности подчёркивают, что проверить действия искусственного интеллекта сложно, поскольку журналы и оценки могут содержать ошибки или выдумки. Поэтому исследователи вынуждены доверять, что система не искажает информацию.

Вице-президентка Google по инженерии безопасности Хизер Аткинс сообщила, что все три организации были проинформированы, а партнёр по обучению уже изменил процессы тестирования. Она подчеркнула, что эти случаи демонстрируют важность обучения мощных моделей искусственного интеллекта ответственного поведения.