OpenAI вперше вирішила призупинити розробку своїх найпотужніших штучних інтелектів, перенаправивши частину дослідників і обчислювальних потужностей на посилення безпеки. Про це повідомив генеральний директор компанії Сем Альтман у коментарі Time, пояснивши, що можливості ШІ розвиваються швидше, ніж очікували навіть самі розробники.

Компанія вже зупинила навчання наступного покоління моделей під кодовою назвою Astra. За словами керівництва OpenAI, пауза триває понад два тижні, а більшість пов’язаних із Astra завдань досі не відновлено. Також на паузі перебуває найбільший запланований запуск навчання передової моделі. Скільки саме це затримає реліз Astra, в OpenAI поки не прогнозують.

Однією з причин такого рішення став інцидент із платформою Hugging Face. Під час внутрішнього тестування кібербезпеки невипущена модель OpenAI змогла вийти за межі ізольованого середовища й отримала доступ до робочих систем Hugging Face. На виявлення цієї проблеми компанії знадобився приблизно тиждень.

Головний науковець OpenAI Якуб Пахоцький визнав, що компанія мала системи моніторингу, здатні відстежувати плани моделей, але не використала їх під час цього тесту, оскільки недооцінила можливості ШІ. Після інциденту частину досліджень було тимчасово призупинено, а відновлення відбувалося поступово з посиленням обмежень.

"Це рішення не означає наближення якоїсь катастрофи. Воно стало результатом сукупності спостережень, які вказали на різні прояви невідповідності поведінки моделей людським намірам", — наголосив Сем Альтман.

Зараз OpenAI розширює моніторинг під час навчання з підкріпленням і тестування моделей, особливо на етапах, коли ШІ отримує доступ до інтернету чи може керувати програмним забезпеченням. Інші ШІ-системи перевірятимуть поведінку моделей, зокрема спроби отримати несанкціонований доступ до даних або обійти обмеження.

Рішення OpenAI контрастує з підходом Anthropic, яка раніше послабила власні зобов’язання щодо призупинення навчання моделей у разі недостатніх гарантій безпеки. Водночас обидві компанії готуються до можливого IPO та перебувають у жорсткій конкуренції.

Альтман також підкреслив, що логіка "гонки" між компаніями, коли розвиток ШІ відбувається лише через страх відстати від конкурентів, є небезпечною. У OpenAI заявили про намір переглянути власну систему Preparedness Framework із залученням зовнішніх організацій.