Команда професорки Стенфордського університету Фей-Фей Лі представила систему T-Rex, яка додає роботам високочастотний тактильний зворотний зв’язок. Це дозволяє машинам виконувати делікатні завдання, зокрема перегортати сторінки книги чи стискати тюбик зубної пасти.

За даними дослідження, опублікованого в arXiv, роботи з T-Rex успішно виконували 12 різних завдань: перегортали сторінки, переносили яйця, розпізнавали плитки маджонгу на дотик, відкривали замки, загвинчували лампочки та інші. Середній показник успішності системи становив 65%, що на 30 відсоткових пунктів перевищило найкращу базову модель EgoScale. Найвищі результати були під час перегортання сторінок книги (96%), розділення складених чашок (78%), реакції нейтралізації (76%) та перенесення яєць (75%).

Для навчання роботи зібрали близько 100 годин даних взаємодії з 207 повсякденними об’єктами та 22 базовими типами дій, серед яких захоплення, натискання, різання та очищення. Основою системи став дворукий робот Dexmate Vega-1 із двома роботизованими руками Sharpa Wave, кожна з яких має 22 ступені свободи та оснащена п’ятьма тактильними сенсорами на кінчиках пальців. Візуальне сприйняття забезпечували стереокамера ZED X Mini і дві камери на зап’ястях.

Автори підкреслюють, що традиційні моделі, які поєднують лише зір, мову та дії, неефективні для роботи з фізичним контактом. Під час взаємодії з об’єктом робот має реагувати значно швидше, ніж це дозволяє обробка зображень. У системі T-Rex високорівнева візуальна обробка працює на частоті 30 Гц і визначає завдання, а тактильна система функціонує на 300 Гц, миттєво коригуючи силу натискання та положення пальців у разі ковзання предмета.

Дослідники наголошують, що дотик дає змогу роботам визначати зміни, які важко помітити лише за допомогою камер. Це особливо важливо під час роботи з крихкими або дрібними предметами, коли необхідно контролювати силу натискання та момент контакту. Фей-Фей Лі продовжує багаторічні дослідження у сфері просторового інтелекту, спрямовані на навчання машин розуміти фізичну взаємодію та наслідки власних дій.

За словами дослідників, майбутнє робототехніки полягає у поєднанні кількох типів сприйняття: камери визначають розташування об’єктів, симулятори відпрацьовують сценарії, а тактильні сенсори забезпечують швидку реакцію після фізичного контакту. Сучасні виробники роботів уже впроваджують подібні системи у гуманоїдних роботах Figure Helix 02, Unitree G1 та AgiBot Lingxi X2, які поєднують камери, LiDAR, сенсори сили та тактильні датчики для точнішої роботи в реальному середовищі.

У статті “ШІ-роботи й склянка води на старість” Роман Яненко аналізує перехід штучного інтелекту з віртуального середовища у фізичний світ завдяки розвитку робототехніки. Автор зазначає, що поєднання мовних моделей і мультимодальних систем із гуманоїдними платформами дає змогу машинам виконувати складні побутові, промислові та безпекові завдання.