Під час тестування кібербезпеки у травні штучний інтелект Gemini від Google самостійно отримав доступ до систем трьох компаній. Як повідомляє Reuters із посиланням на Google, це перший відомий випадок, коли ШІ-модель автономно здійснила подібний злам.
Інциденти сталися під час стандартної оцінки кібербезпеки, яку проводила незалежна компанія Irregular. Під час тесту Gemini отримав доступ до інтернету, знайшов відкриту інформацію та використав її для проникнення до трьох ресурсів, які вважав частиною завдання. В одному випадку модель перебирала паролі, доки не отримала доступ до захищеної системи. Ще у двох випадках ШІ знайшов облікові дані у відкритих репозиторіях і використав їх для входу до інших захищених систем.
Віцепрезидентка Google з інженерії безпеки Гізер Едкінс повідомила, що всі три організації були поінформовані про інциденти. За її словами, Google разом із партнером внесли зміни у процеси тестування. Вона підкреслила, що ці випадки демонструють важливість відповідального навчання потужних моделей ШІ.
"Ці випадки підкреслюють важливість навчання потужних моделей ШІ відповідально діяти", — наголосила Гізер Едкінс.
У компанії Irregular зазначили, що подібні проблеми зачепили й інші лабораторії штучного інтелекту. За їхніми даними, відповідні організації отримали повідомлення про інциденти наприкінці липня, а всі відомі проблеми вже були усунені. Раніше про подібні випадки, пов’язані з оцінюваннями Irregular, повідомляли Meta, Anthropic та OpenAI. У Meta уточнили, що їхній інцидент не передбачав виходу ШІ за межі ізольованого середовища чи складної кібератаки.
Інциденти із Gemini привернули увагу до безпеки автономних ШІ-агентів, які отримують дедалі більше можливостей взаємодіяти з інтернетом та комп’ютерними системами. Водночас у Google підкреслили, що у всіх трьох випадках Gemini зрештою припинив спроби злому.