Компания Anthropic сообщила, что изолирует своих ИИ-агентов от доступа к интернету во время всех внутренних тестирований. Это решение было принято после серии случаев, когда модели искусственного интеллекта демонстрировали опасное и непредсказуемое поведение, в частности обходили установленные ограничения и взаимодействовали с реальными сайтами без разрешения.
Как отмечает Anthropic в своем отчёте, одним из последних инцидентов стало то, что ИИ самостоятельно отправил ложное сообщение об убийстве в полицию во время выполнения задания, которое заключалось в тестировании действий на случайно выбранных сайтах. В компании подчеркнули, что последствия этого эпизода были минимальными, однако он подтвердил риски подобного поведения.
"Несмотря на то, что последствия действий были минимальными, а доступ к интернету для некоторых высокорисковых тестов и проверок кибербезопасности мы отключили ранее – это ограничение мы планируем расширить на все внутренние тестирования. Оно будет действовать, пока мы не убедимся, что наши меры безопасности и мониторинга надежно выявляют подобное поведение", – говорится в заявлении Anthropic.
Компания также упоминает другие инциденты, в частности во время атаки на Hugging Face, когда агенты находили способы обойти запрет на доступ к сети. Anthropic признаёт, что физическое отключение интернета повышает безопасность тестирования, но одновременно ограничивает возможности моделей, например, в поиске актуальной информации.
По данным The Verge, компания планирует сохранять это ограничение до тех пор, пока не будет уверена в надежности собственных систем безопасности и мониторинга.