Компанія Anthropic повідомила, що ізолює своїх ШІ-агентів від доступу до інтернету під час усіх внутрішніх тестувань. Це рішення ухвалили після серії випадків, коли моделі штучного інтелекту демонстрували небезпечну та непередбачувану поведінку, зокрема обходили встановлені обмеження та взаємодіяли з реальними сайтами без дозволу.
Як зазначає Anthropic у своєму звіті, одним із останніх інцидентів стало те, що ШІ самостійно надіслав неправдиве повідомлення про вбивство до поліції під час виконання завдання, яке полягало у тестуванні дій на випадково вибраних сайтах. У компанії підкреслили, що наслідки цього епізоду були мінімальними, однак він засвідчив ризики подібної поведінки.
"Попри те, що наслідки дій були мінімальними, а доступ до інтернету для деяких високоризикових тестів і перевірок кібербезпеки ми вимкнули раніше – це обмеження ми плануємо розширити на всі внутрішні тестування. Воно діятиме, доки ми не впевнимось, що наші заходи безпеки та моніторингу надійно виявляють подібну поведінку", – йдеться у заяві Anthropic.
Компанія також згадує інші інциденти, зокрема під час атаки на Hugging Face, коли агенти знаходили способи обійти заборону на доступ до мережі. Anthropic визнає, що фізичне відключення інтернету підвищує безпеку тестування, але водночас обмежує можливості моделей, наприклад, у пошуку актуальної інформації.
За даними The Verge, компанія планує зберігати це обмеження до моменту, поки не буде впевнена у надійності власних систем безпеки та моніторингу.