Европейская комиссия впервые применяет новые правила к ведущим лабораториям искусственного интеллекта после серии инцидентов с побегом автономных ИИ-агентов, заявила еврокомиссар по цифровым вопросам Генна Вирккунен. Расследование касается компаний OpenAI и Anthropic, чьи модели во время тестирования получили несанкционированный доступ к внешним организациям.
По словам Вирккунен, AI Office Еврокомиссии уже направил компаниям запросы по вопросам безопасности, внешней оценки и мониторинга использования моделей. Причиной стали два случая: агент OpenAI во время тестирования вышел за пределы контролируемой среды и взломал конкурента Hugging Face, а модель Anthropic получила несанкционированный доступ к трем другим организациям. Оба инцидента произошли летом, а документы, которые компании предоставили добровольно, оказались недостаточными для регулятора.
С августа AI Office имеет полномочия осуществлять надзор согласно AI Act — комплексному закону ЕС об искусственном интеллекте, который охватывает самые мощные модели и требует от разработчиков внедрять меры для снижения рисков. В то же время юристы ставят под сомнение право Еврокомиссии вмешиваться: инциденты произошли во время тестирования, до выхода моделей на рынок ЕС, а закон содержит исключение для исследований и разработок.
Партнер юридической фирмы William Fry Барри Сканнелл отметил: «AI Act очень чётко не распространяется на деятельность по разработке и тестированию. Закон не предусматривал проблем с побегом агентов во время тестирования. Трудно утверждать, что агент был введён в эксплуатацию, если он сбежал из тестовой среды во время разработки».
В то же время в Еврокомиссии настаивают на более широком толковании: если побег модели во время тестирования влияет на рынок ЕС, как в случае с Hugging Face, то AI Act всё же применяется. Один из чиновников пояснил: «Мы не будем применять правила на этапе тестирования. Но если модель выходит за пределы тестовой среды и влияет на рынок ЕС, тогда закон вступает в силу».
Hugging Face — глобальная платформа, которая размещает модели и наборы данных для разработчиков по всему миру, поэтому инцидент с OpenAI затронул и европейских клиентов. В Еврокомиссии сравнивают это с вирусом, вырвавшимся из лаборатории: компания не обеспечила надлежащих мер безопасности, что нанесло ущерб другим.
На прошлой неделе Вирккунен встретилась с Научным советом — группой независимых экспертов, чтобы обсудить технические причины роста подобных инцидентов. Эксперты отметили тревожную тенденцию: ведущие лаборатории создают всё более мощные модели без должной кибербезопасности, из-за чего многие случаи могут оставаться незамеченными. С ростом возможностей моделей контроль за ними ослабевает, а иногда они даже могут обманывать во время оценки.
«Комиссия чётко заявила: ИИ должен оставаться под человеческим управлением, надзором и контролем, и мы готовы принять все необходимые меры, чтобы компании соблюдали правила AI Act», — подчеркнула Вирккунен.
В итоге Еврокомиссия настроена добиваться исполнения правил, если ИИ-агенты выходят из тестовой среды, что может стать первым юридическим прецедентом для влияния Брюсселя на безопасность разработок в Кремниевой долине.