Порівняння двох чат-ботів на основі великих мовних моделей (LLM) — ChatGPT початку 2023 року та локальної моделі 2026-го, що працює без інтернету на домашній відеокарті, показує, наскільки швидко розвиваються технології штучного інтелекту. Визначити, наскільки це порівняння справедливе, допомагає історія розвитку хмарних моделей, зокрема продуктів OpenAI, які стали орієнтиром для користувачів і розробників.

Велика мовна модель передбачає наступний токен у тексті — слово, частину слова чи символ. Цей процес, схожий на автодоповнення в смартфоні, став основою для сучасних чат-ботів. Прорив стався у 2017 році з появою архітектури трансформера, описаної в статті Google "Attention Is All You Need". Механізм самоуваги дозволив моделі враховувати весь контекст одночасно, що значно покращило якість генерації тексту і масштабованість навчання.

Google застосував трансформер для покращення розуміння тексту у моделі BERT 2018 року, а OpenAI зробила ставку на генерацію, випустивши GPT-2 у 2019 році. Через побоювання щодо поширення фейкових текстів повну модель спершу не оприлюднили. GPT-3 у 2020 році з 175 мільярдами параметрів показала новий рівень можливостей, зокрема переклад і написання коду, доступ до якої отримали переважно розробники через API.

Масові продукти на основі цих моделей з’явилися ще до чат-ботів: AI Dungeon у 2020 році та GitHub Copilot у 2021-му. Важливим кроком став запуск InstructGPT на початку 2022 року, який навчали на людських прикладах і оптимізували за оцінками людей (RLHF). Це підвищило якість відповідей, і модель було загорнуто у формат чату.

30 листопада 2022 року OpenAI запустила ChatGPT на базі GPT-3.5. За п’ять днів сервіс набрав мільйон користувачів, а за два місяці — близько 100 мільйонів, що стало рекордом для споживчих продуктів. В Україні сервіс став доступним з лютого 2023 року після зняття обмежень, про що повідомив міністр цифрової трансформації Михайло Федоров.

14 березня 2023 року вийшла GPT-4, яка складала професійні іспити, рідше вигадувала факти і вперше приймала на вхід зображення. OpenAI не розкривала параметрів моделі через конкуренцію і безпеку. Того ж дня компанія Anthropic запустила чат-бота Claude, який у травні розширив контекстне вікно до 100 тисяч токенів.

Microsoft, головний партнер OpenAI, інвестувала близько 10 мільярдів доларів і вбудувала чат на базі GPT-4 у пошуковик Bing, а також у Word, Excel і Windows під брендом Copilot. Google, що винайшла трансформер, поспішно представила чат-бота Bard, який припустився помилки у рекламі, що призвело до падіння акцій компанії. У грудні Google анонсувала сімейство моделей Gemini.

Наприкінці 2023 року Ілон Маск представив чат-бота Grok від компанії xAI, інтегрованого в соцмережу X і позиційованого як зухваліший за конкурентів. OpenAI випустила GPT-4 Turbo з розширеним контекстом до 128 тисяч токенів, що підкреслює динамічність розвитку галузі.

Історія хмарних моделей допомагає оцінити прогрес локальних моделей, які з 2023 року почали активно розвиватися і ставати доступними для запуску на домашньому обладнанні без підключення до інтернету. Це створює нові виклики і можливості для користувачів і розробників у найближчі роки.