Компания Nvidia анонсировала новый набор инструментов для повышения безопасности искусственного интеллекта, которые, по её словам, могли бы предотвратить взлом платформы Hugging Face. Об этом сообщает Reuters. К запуску присоединились десятки партнёров, среди которых разработчик ИИ Anthropic.
Одним из главных решений стал инструмент OpenShell, использующий аппаратные возможности центральных процессоров Nvidia для изоляции агентов от остальной системы. Nvidia также сотрудничает с Arm Holdings и Intel, чтобы обеспечить совместимость этой технологии с процессорами других производителей.
Генеральный менеджер подразделения корпоративных вычислений Nvidia Джастин Бойтано заявил:
«Насколько нам известно, эта новая платформа безопасности могла бы предотвратить взлом (Hugging Face), если бы её использовали в передовых лабораториях на ранних этапах оценки моделей».
Ещё одним компонентом стала система Sentry, которая применяет отдельный чип Nvidia вместе с OpenShell для блокировки агента, если тот пытается выйти за пределы изолированной среды. Старший директор по программному обеспечению для ИИ Али Голшан объяснил, что инструменты анализируют математические закономерности поведения агентов и могут выявлять попытки обхода ограничений, в частности создание нескольких субагентов для избежания блокировки.
Голшан подчеркнул: «Мы говорим именно об агентном поведении, то есть о группах агентов и том, как они действуют совместно».
Генеральный директор Nvidia Дженсен Хуанг, как отмечается, не поддерживает идею масштабного государственного регулирования безопасности ИИ. Он считает проблему выхода агентов из-под контроля инженерной задачей, которую следует решать техническими средствами — подобно совершенствованию безопасности автомобилей в прошлом.