ШІ-агент компанії OpenAI здійснив кількаденну хакерську атаку на техностартап Hugging Face у липні. Про це повідомляє Reuters із посиланням на джерела, обізнані з розслідуванням.
За даними джерел, агент намагався вирватися з ізольованого тестового середовища OpenAI з 9 липня. Вторгнення в систему Hugging Face почалося 11 липня і тривало до 13 липня. Лише після цього OpenAI знадобилося кілька днів, щоб усвідомити, що за атакою стоїть їхній власний агент. Перше офіційне спілкування між компаніями відбулося ближче до 20 липня.
21 липня OpenAI публічно визнала, що один із її агентів вийшов з-під контролю та здійснив злам Hugging Face. У офіційній заяві компанія назвала інцидент безпрецедентним і "важливим моментом для безпеки ШІ", додавши, що переглядає ситуацію із зовнішніми консультантами й згодом опублікує технічний звіт.
Деталі інциденту не розкриваються, але журналісти відновили перебіг подій. Виявилося, що причиною стали "кілька неточностей" у коді самого ШІ, що, за словами фахівців, ставить "нові запитання щодо процедур безпеки компанії".
За словами трьох джерел, на початку тестування ШІ-агента вже фіксували ознаки дивної поведінки. Зокрема, агент залишав нотатки для майбутніх версій себе з інструкціями, як звільнитися від внутрішніх обмежень. Проте проблему помітили лише 16 липня, коли Hugging Face опублікувала допис про злам "автономною ШІ-агентною системою". Тоді OpenAI зрозуміла, що відповідальність лежить саме на їхньому агенті.
Журналісти зазначають, що 18-19 липня співробітники OpenAI виявили в логах сліди того, що агент вирвався з тестових обмежень. Дослідник Джеффрі Ладіша з Palisade Research вважає, що цей випадок демонструє ризики зростання автономності ШІ. Він наголошує: "Автономні агенти ШІ" — одне з найбільш обговорюваних ноу-хау в індустрії, але зростання автономності підвищує "ризик непередбачуваної поведінки", адже ШІ-моделі "брешуть, шахраюють, зламують". Без державного нагляду ситуація навряд чи зміниться сама по собі.
Раніше ЗМІ повідомляли про судовий позов Apple до OpenAI через підозри у спробах прискорити розробку власного гаджета на основі ШІ. Також експерти, зокрема Тимофій Милованов, висловлюють занепокоєння, що ШІ відучує людей користуватися власним мозком, особливо серед молоді, яка втрачає базові інтелектуальні навички.