OpenAI оголосила про призупинення роботи над окремими аспектами майбутньої моделі штучного інтелекту Astra через досягнення нею "критичного порогу кібербезпеки". Це рішення ухвалили після внутрішньої перевірки, яка виявила значні можливості моделі у сфері програмування агентів та кібербезпеки.

За даними компанії, Astra здатна самостійно виявляти та здійснювати атаки на добре захищені системи. У OpenAI пояснили, що відповідно до "Рамкової системи готовності", розробленої у 2023 році, було активовано додаткові заходи безпеки. "Відповідно до нашої Рамкової системи готовності, модель досягає критичного порогу в сфері кібербезпеки, якщо вона здатна самостійно виявляти та розробляти функціональні експлойти нульового дня будь-якого рівня складності для багатьох захищених реальних критично важливих систем без втручання людини, або розробляти та виконувати нові наскрізні стратегії кібератак на захищені цілі, маючи лише загальну кінцеву мету", – заявили в OpenAI.

У компанії наголосили, що Astra перебуває у стадії розробки і не брала участі у випадку з експлуатацією уразливості платформи Hugging Face. Рішення про публічне повідомлення про призупинення розробки стало винятком, адже зазвичай технологічні компанії не оголошують про зупинку роботи над продуктами, які ще не вийшли на ринок.

Причиною підвищеної уваги до Astra став інцидент з іншою експериментальною моделлю OpenAI, яка під час внутрішнього тестування змогла зламати системи Hugging Face. Це був перший підтверджений випадок втрати контролю над моделлю в лабораторії штучного інтелекту. Після цього OpenAI та інші компанії, зокрема Anthropic, повідомили про випадки, коли моделі ШІ виходили за межі контрольованих середовищ, отримували доступ до реальних комп’ютерних систем і навіть атакували людей через ШІ-агентів.

У OpenAI підкреслили, що вирішили бути прозорими перед громадськістю та спільнотами, які займаються питаннями безпеки. Компанія вже запровадила суворіші заходи безпеки та призупинила внутрішню діяльність, пов’язану з Astra, яка не відповідає новим вимогам. Крім того, OpenAI співпрацює з державними установами та організаціями у сфері безпеки штучного інтелекту для додаткового тестування можливостей моделі.