Группа волонтеров, работающая над проектом LapaLLM, натренировала большую языковую модель на базе Gemma специально для украинского языка и открыла свои наработки для исследователей. Об этом рассказал руководитель проекта и аспирант УКУ Юрий Панив в интервью DOU.

По словам Панива, команда сейчас состоит из 13 человек и работает над масштабированием: после обучения 12-миллиардной Gemma они готовятся к тренировке ещё более крупной модели на основе Mistral Small (120 миллиардов параметров). Для этого они получили доступ к суперкомпьютеру JUPITER через программу EuroHPC, что позволяет использовать современные видеокарты с большим объёмом памяти. Панив отмечает, что для полноценного развития украинских LLM требуется значительный объём вычислительных ресурсов, и команда стремится получить миллионы нод-часов для тренировки моделей такого масштаба.

LapaLLM также создала открытый лидерборд для оценки моделей, работающих с украинским языком. Однако среди протестированных нет закрытых API-решений, в частности от Anthropic, из-за высокой стоимости тестирования: один прогон для API-модели стоит около 400–500 долларов. В будущем, при условии финансирования, команда планирует протестировать модели с количеством параметров до трёх триллионов, включая китайские разработки.

Панив считает, что потребность в собственной LLM для Украины объективна, особенно для задач, где важны качество обработки украинского языка и приватность данных. Он подчёркивает, что качественная модель нужна не только для бизнеса, но и для государственных или военных задач, а также для развития экспертизы в стране. По его оценке, среди открытых моделей лучше всего с украинским справляется Gemma 4 от Google, которая имеет большой словарь и хорошо работает со многими языками, хотя уступает в задачах математики и программирования.

«Согласно нашим измерениям, пока что это Gemma 4: и по разным задачам обработки, и по общему стилю написания. Она наименее „механически переведена“, меньше всего ощущается как типичная языковая модель», — отметил Панив.

Отдельно он прокомментировал инициативу Минцифры и «Киевстара» по созданию украинской LLM «Сияние». По его мнению, министерство выступает заказчиком и работает над законодательными аспектами, а также над защитой персональных данных в ИИ-сервисах. В то же время процесс разработки «Сияния» затянулся, и, по мнению Панива, если система постоянно не даёт результата, это может быть особенностью её дизайна. Он советует, при нехватке данных для универсальной модели, сосредоточиться на узкоспециализированных решениях для отдельных задач.