OpenAI анонсировала внедрение новой системы безопасности Private Safety Processing, которая должна предотвратить злоупотребления при использовании ChatGPT. Первый этап тестирования уже начался среди ограниченного круга партнёров, а полноценный запуск запланирован на сентябрь, сообщает rbc.ua.
В настоящее время корпоративные клиенты OpenAI получают гарантию, что их запросы и ответы не сохраняются после обработки, а сотрудники компании не имеют к ним доступа. Однако действующие автоматизированные инструменты безопасности оценивают каждое сообщение отдельно, что не всегда позволяет выявить сложные или скоординированные злоумышленные действия.
С ростом сложности задач, которые выполняют системы искусственного интеллекта, рискованное поведение часто можно распознать только по ряду связанных запросов. Например, когда нарушители постепенно обходят защитные механизмы, координируют действия через несколько аккаунтов или когда автономный агент продолжает выполнять действия после команды остановиться.
Private Safety Processing позволяет выявлять подозрительные паттерны без потери конфиденциальности. Данные пользователей хранятся либо на их собственной инфраструктуре, либо на серверах OpenAI в зашифрованном виде, а ключи шифрования контролирует исключительно клиент. В случае обнаружения рискованного поведения система отправляет лишь узкоспециализированный сигнал о типе нарушения — сотрудники OpenAI не получают доступа к текстам даже после срабатывания сигнала.
«Клиенты могут самостоятельно провести расследование в журналах событий и по желанию предоставить фрагменты данных для апелляции», — говорится в сообщении OpenAI.
Система в настоящее время тестируется в партнёрстве с Microsoft, Glean, Databricks и Abridge. Разработчики подчёркивают, что обновление прежде всего ориентировано на организации, работающие с финансовыми, медицинскими и другими чувствительными данными. Подробный технический документ обещают опубликовать вместе с запуском новой системы в сентябре.