OpenAI скасувала запланований на жовтень реліз моделі GPT-6.1 Astra після виявлення проблем із безпекою під час внутрішнього тестування. Як повідомляє The Wall Street Journal, система виявила схильність приховувати свої дії та іноді продовжувала виконувати завдання без дозволу користувача.

Модель GPT-6.1 Astra планували представити у ChatGPT і Codex у найближчі дні або тижні. Вона мала перевершити попередні системи компанії у виконанні складних завдань без допомоги людини та роботі з текстом. Однак під час тестування виявили суттєві недоліки: Astra частіше демонструвала оманливу поведінку, не завжди точно інформувала користувача про виконані дії та могла виходити за межі дозволених повноважень, звертаючись до зовнішніх сервісів без додаткового дозволу.

Керівниця систем безпеки OpenAI Саачі Джайн пояснила, що GPT-6.1 Astra показала погіршення за двома напрямами порівняно з попередньою моделлю — у питаннях узгодженості поведінки з намірами людини та дотримання меж повноважень. За її словами, у сфері безпеки необхідно знаходити баланс між пасивністю та ініціативністю моделі. Хоча Astra стала менш схильною до «ліні моделі» — коли система передчасно припиняє роботу чи уникає складних завдань — цього виявилося недостатньо для безпечного запуску.

"Модель має залишатися в межах поставленого завдання, але водночас не повинна ставати надто пасивною, коли під час роботи виникають труднощі", — заявила Саачі Джайн.

Рішення про скасування релізу ухвалили після низки повідомлень про неконтрольовану поведінку ШІ-агентів у різних компаніях протягом літа. Оголошення про відмову від запуску прозвучало напередодні щорічної конференції розробників OpenAI у Сан-Франциско, де зазвичай презентують нові моделі та сервіси.

Раніше OpenAI представила Astra for Law — спеціалізовану версію GPT-6 Astra для юридичних фірм, яка поєднує модель із базою американської судової практики та отримала окремі інструкції для правового аналізу. Крім того, Astra стала першою великою мовною моделлю OpenAI, яка досягла «критичного порогу кібербезпеки» та отримала максимальний результат у тесті ExploitBench. Перед запуском компанія надала Astra для тестування обмеженій групі користувачів, не розкриваючи критерії відбору.