OpenAI представила новий режим Ultrafast для моделі GPT-5.6 Sol, який дозволяє генерувати відповіді до 14 разів швидше, ніж у стандартному режимі. Про запуск функції у попередньому доступі для обмеженої групи клієнтів повідомило видання TechCrunch.
За даними компанії, Ultrafast забезпечує швидкість генерації до 750 вихідних токенів на секунду. Токени — це окремі фрагменти тексту, які модель створює під час взаємодії з користувачем. Раніше для досягнення подібної продуктивності зазвичай використовували менші або вузькоспеціалізовані моделі, однак OpenAI прагне поєднати високу швидкість із можливостями потужної моделі.
У компанії зазначають, що Ultrafast орієнтований передусім на корпоративних клієнтів. Висока швидкість відповіді може бути критичною для таких сфер, як реагування на інциденти, обслуговування клієнтів, технічна підтримка, аналіз фінансових ринків та електронна комерція. У цих випадках затримка у відповіді може безпосередньо впливати на ефективність роботи бізнесу.
Режим Ultrafast працює завдяки співпраці OpenAI з виробником спеціалізованих чипів Cerebras, чия обчислювальна інфраструктура забезпечує необхідну швидкість. Поки що функція перебуває на стадії тестування, і доступ до неї мають лише окремі клієнти, але компанія планує поступово розширювати коло користувачів у міру збільшення обчислювальних потужностей.
Як зазначає TechCrunch, конкуренти OpenAI, зокрема Anthropic, також розвивають подібні швидкі режими для своїх моделей, але заявлена швидкість Ultrafast наразі є найвищою серед аналогів.
Нагадаємо, що нещодавно OpenAI також представила спеціалізовану модель GPT-5.6-Cyber для пошуку вразливостей і тестування систем. За внутрішніми тестами компанії, ця модель виконала 95% складних кіберзапитів, тоді як GPT-5.6 Sol — лише 1,5%. Під час дослідження рушія V8 модель допомогла знайти дві нові вразливості у Chrome, а також виявила низку критичних проблем у популярних операційних системах та базах даних.