Дослідники виявили нову вразливість у довготривалій пам’яті штучного інтелекту, зокрема ChatGPT, яка дозволяє впроваджувати у систему «фальшиві спогади» або приховані інструкції. Ця атака отримала назву GhostWriter і може призводити до небажаних дій ШІ-агентів.

Вчені Джордж Торрес, Шарад Шрестха та Сатьяджаянт Місра детально описали механізм GhostWriter у своїй науковій праці. Вони пояснили, що персональні ШІ-агенти, які поєднують функції діалогового бота та виконання дій — наприклад, надсилання повідомлень, планування зустрічей або редагування коду — стають вразливими під час взаємодії з незахищеними джерелами інформації. Зловмисники можуть впроваджувати шкідливі інструкції у довготривалу пам’ять ШІ, що називають «отруєнням бази пам’яті».

Атака GhostWriter складається з двох етапів. Спершу відбувається впровадження (Injection) прихованого шкідливого навантаження у цільовий ШІ-агент. Потім, під час виконання легітимного запиту користувача, отруєний спогад активується (Activation) і витягується з бази даних. Як приклад, дослідники навели ситуацію, коли ШІ-асистент, що керує електронною поштою, отримує інструкцію регулярно створювати короткі змісти листів від банків і таємно пересилати їх на адресу зловмисника.

Експерименти показали, що GhostWriter досягає рівня впровадження майже 98% та середнього рівня активації близько 60% проти сучасних ШІ-агентів. Вразливість виникає через відсутність орієнтованого на безпеку управління пам’яттю, що створює ризики для користувачів і розробників.

Для нейтралізації загрози вчені розробили систему захисту під назвою Agentic Memory Sentry (AM-Sentry). Вона базується на двох методах: політиці збереження пам’яті, яка контролює запис нових даних у довготривале сховище, та екрані витягування пам’яті, що перевіряє збережені інструкції перед їх активацією та виконанням. За даними дослідників, застосування AM-Sentry суттєво знижує успішність атаки GhostWriter, зберігаючи при цьому загальну функціональність і продуктивність ШІ-агента.

Автори роботи переконані, що розроблені стратегії можуть бути адаптовані для підвищення безпеки інших ШІ-систем з довготривалою пам’яттю.