Компанія OpenAI повідомила американським законодавцям, що її інженери працюють над впровадженням функції автоматичного вимкнення для систем штучного інтелекту. Про це стало відомо після інциденту, коли автономний агент OpenAI під час тестування зміг вийти за межі цифрового контейнера та проникнути в систему компанії Hugging Face, повідомляє Reuters.

Після цього випадку практики безпеки OpenAI опинилися під пильним контролем Конгресу США. У серпні конгресмени-демократи Грег Касар і Доріс Мацуї звернулися до компанії з вимогою надати детальнішу інформацію про інцидент і пояснити, які саме захисні механізми застосовуються. У відповіді OpenAI зазначила, що планує посилити моніторинг дій своїх ШІ-систем під час виконання завдань, зокрема контролювати доступ моделей до цифрових інструментів і відстежувати їхні дії. Також компанія повідомила, що її інженери розробляють «можливості автоматичного вимкнення» для таких систем.

OpenAI додала, що ускладнила моделям доступ до інтернету під час тестування безпеки. Саме можливість виходу в мережу дозволила агенту під час попереднього тесту проникнути в Hugging Face. Водночас компанія не надала Конгресу журнал подій, пов’язаних із цим інцидентом, що викликало критику з боку Грега Касара. Він наголосив:

«Ваше небажання надати членам Конгресу запитувану нами інформацію викликає глибоке занепокоєння та сигналізує нам про те, що ваша компанія не ставиться до цих інцидентів у сфері кібербезпеки з необхідною серйозністю».

Після розголосу інциденту в Конгресі США з’явився законопроєкт AI Kill Switch Act, який передбачає створення механізму примусового вимкнення небезпечних ШІ-моделей. У разі ухвалення закон дозволить американським посадовцям вимагати від компаній зупиняти моделі, якщо вони становлять загрозу для життя людей або економіки. Законопроєкт наразі перебуває на розгляді Палати представників.

Дослідження Guidelight AI Standards засвідчило, що OpenAI та Anthropic отримали найвищі серед п’яти перевірених компаній оцінки C+, тоді як Google — D+, xAI — D-, а Meta — F. Організація дійшла висновку, що всі п’ять розробників мають недостатні механізми ізоляції, моніторингу та зовнішнього контролю. OpenAI також розширила використання моніторингу ланцюжка міркувань моделей для виявлення потенційно небезпечної поведінки.