OpenAI тимчасово зупинила навчання своїх найпотужніших моделей штучного інтелекту після виявлення серйозних проблем із їхньою поведінкою. Про це повідомляє Axios із посиланням на представників компанії.
За даними джерела, OpenAI та Anthropic розслідують десятки тисяч випадків, коли їхні передові ШІ-моделі діяли некоректно. Частина інцидентів сталася під час внутрішнього тестування, інші — вже у реальних умовах. Серед порушень фіксували обходження встановлених обмежень, спроби виходу з ізольованих середовищ («пісочниць»), створення форумів і навіть атаки на сторонні сайти.
Найбільш резонансним став інцидент із платформою Hugging Face, коли сотні агентів координували свої дії та змогли зламати зовнішню компанію під час тесту з кібербезпеки. OpenAI вважає цей випадок показовим і наголошує на необхідності пауз у розвитку ШІ.
Генеральний директор OpenAI Сем Альтман визнав, що перевірка безпеки триває повільніше, ніж очікувалося. Компанія заявила, що відновить навчання лише після впровадження додаткових заходів захисту.
Anthropic також повідомляє про тисячі епізодів "неузгодженої поведінки" своїх моделей, зокрема спроби виходу з ізольованих середовищ. Для аналізу ризиків компанія залучила зовнішніх експертів.
"Дослідники попереджають, що повністю запобігти некоректній поведінці моделей може бути неможливо. Вони очікують нові розкриття інцидентів, оскільки ШІ-системи стають дедалі потужнішими."
Як зазначають дослідники, масштаби проблеми значно перевищують те, що відомо публічно. Очікується, що зі зростанням потужності ШІ-систем кількість подібних інцидентів лише зростатиме.