Компанія Google розробляє нову функцію Sign-to-Text для клавіатури Gboard, яка дозволить перетворювати рухи рук у текст за допомогою камери смартфона.
За даними Android Authority, ця технологія базується на штучному інтелекті і інтегрована у бета-версію Gboard. Вона використовує модель SignGemma, анонсовану минулого року, що поєднує машинне зір і нейросітки для розпізнавання складних жестів у реальному часі.
Google обрала гібридну схему обробки даних для захисту конфіденційності: відео аналізується безпосередньо на смартфоні, де виділяються лише координати рухів рук. Ці дані потім надсилаються в хмару для подальшої обробки та видалення слів. Таким чином, реальні відеозаписи з обличчями та оточенням не зберігаються на пристрої.
У коді програми виявили службові повідомлення, які допомагають користувачам краще налаштувати процес: «відступіть трохи далі», «перейдіть у більш освітлене місце», «тримайте руки в кадрі для кращої видимості». Питання підтримки різних регіональних варіантів мови жестів, зокрема української, поки залишається відкритим, оскільки американський жестовий алфавіт суттєво відрізняється від інших.
Хоча функція ще перебуває на стадії розробки, вона має потенціал стати важливим інструментом доступності для мільйонів користувачів, розширюючи можливості спілкування для людей з порушеннями слуху.