Apple почала тестування технології, яка дозволяє запускати штучний інтелект (ШІ) безпосередньо на iPhone без використання хмарних сервісів. Це стало можливим завдяки співпраці з компанією PrismML, яка розробила метод радикального стиснення нейросетей.
Основою для розробки стала відкрита нейросеть Qwen3.6 27B від китайської Alibaba, вага якої у початковому вигляді становить близько 54 ГБ, що унеможливлює її запуск на звичайних споживчих пристроях. Інженери PrismML застосували метод кодування, що замінює стандартні 16-бітні ваги нейросеті на 1-2 біти, що дозволило зменшити розмір моделі у 10-15 разів.
За даними PrismML, це стиснення дає змогу моделі використовувати у 10-15 разів менше оперативної пам’яті, збільшує швидкість генерації відповідей у 6-8 разів і знижує енергоспоживання у 3-6 разів. Компанія випустила дві безкоштовні версії моделі під ліцензією Apache 2.0: мобільну (3,9 ГБ) для iPhone 15 і новіших через фреймворк Apple MLX та версію для ноутбуків (5,9 ГБ) з підтримкою MacBook і комп’ютерів з відеокартами NVIDIA через CUDA.
Apple веде переговори з PrismML на тлі запуску публічної бета-версії iOS 27, де представлено масштабне оновлення голосового помічника Siri. Локальний запуск моделей на процесорах iPhone забезпечує мінімальну затримку, максимальну конфіденційність, автономність роботи ШІ без інтернету, а також знижує витрати на підтримку дата-центрів і хмарних сервісів.
Водночас незалежні аналітики з Counterpoint Research та IDC закликають оцінювати технологію обережно, адже реальні тести поза лабораторією ще не проводилися. Екстремальне стиснення призводить до втрати кількох відсотків ефективності. Зокрема, у моделі Bonsai 27B погіршилася точність фактів, розпізнавання зображень і робота з зовнішніми інструментами, хоча логіка, математика та написання коду залишилися на високому рівні.
Також залишається відкритим питання енергоспоживання при тривалій роботі, оскільки безперервне використання нейросеті у фоновому режимі може швидко розрядити акумулятор, а процесор починає скидати частоти через перегрів уже через п’ять хвилин безперервної роботи.