Google представив оновлення для свого штучного інтелекту Gemini на Mac, яке додає дві нові функції: розумне диктування та аналіз екрана. Ці можливості вже доступні користувачам macOS англійською мовою.
Перша функція — «розумне диктування» (intelligent dictation) — активована за замовчуванням для всіх користувачів Gemini на Mac. На відміну від звичайного голосового введення, ця технологія не просто перетворює звук у текст, а миттєво очищує його від мовленнєвих пауз, затинань і зайвих звуків безпосередньо у місці розташування курсора. Користувачам достатньо натиснути клавішу Fn і почати говорити, щоб надиктувати текст у будь-якому вікні чи застосунку, не переходячи у вікно чат-бота і не редагуючи текст вручну.
Друга новинка — «розумний аналіз екрана» (screen-aware reasoning) — є опційною і потребує увімкнення в налаштуваннях. Вона надає Gemini дозвіл сканувати вміст відкритих вікон на моніторі Mac. Завдяки цьому ШІ здатен виконувати складні завдання, наприклад, зводити нотатки: якщо відкрито застосунок із текстом, користувач може затиснути Fn і попросити зробити короткий підсумок для зустрічі. Gemini зчитає текст із екрану, опрацює його та вставить готовий результат у потрібне місце. Крім того, можна доручити ШІ скласти лист, використовуючи дані з відкритих файлів, або вносити виправлення «на льоту» під час диктування, реагуючи на зміну думки користувача.
Однак розширені права доступу до робочого столу несуть ризики для приватності та безпеки. Основна загроза — промпт-ін’єкції (prompt injection), коли шкідливі команди, заховані у вебсторінках чи документах, можуть бути сприйняті ШІ як інструкції від власника комп’ютера. Це може призвести до небажаних дій, наприклад, завантаження шкідливих файлів або спроб отримати доступ до конфіденційних даних.
Наразі оновлення Gemini для macOS доступне лише англійською мовою, а підтримка інших мов з’явиться пізніше, повідомляє Google.