Anthropic внедряет новую систему маркировки искусственно сгенерированного контента на платформе Claude в ответ на требования "Закона об искусственном интеллекте" Европейского Союза. Теперь все тексты и файлы, созданные Claude, будут содержать специальные невидимые для человека метки, которые можно обнаружить только с помощью AI-детекторов. Об этом сообщила сама компания, отметив, что нововведение распространяется не только на ЕС, но и на все страны, где работает сервис.

После объявления о новой системе маркировки в сети появилось много дискуссий. Часть пользователей критиковала как саму компанию, так и европейский регуляторный акт, указывая на сложность и неоднозначность его реализации. Основное внимание было приковано к тому, как именно работает маркировка текста, ведь в отличие от файлов или изображений, в тексте сложно внедрить водяной знак без потери качества или риска обхода.

Сначала Anthropic заявила, что их модель "вплетает незаметный водяной знак непосредственно в текст", не изменяя его содержания или читаемости. Это породило предположения, что речь идет об использовании скрытых Unicode-символов. Однако позже стало известно, что компания применяет другой подход: система влияет на выбор слов во время генерации текста. Слова делятся на "зеленые" и "красные" списки, и модель отдает предпочтение определенным словам, чтобы сформировать узнаваемый для AI паттерн. Расшифровать этот паттерн могут только те, кто имеет специальный ключ, который хранится в Anthropic и у её партнёров.

"Паттерн [слов] не может быть обнаружен читателем, но его может обнаружить любой, кто имеет ключ, который его кодирует", — объясняют в Anthropic.

Эксперты, в частности публицист Джон Грубер, раскритиковали подход компании, подчеркивая, что даже среди синонимов нет абсолютного равнозначия. Выбор не самого точного слова может исказить стиль, тональность или даже смысл текста, особенно в специализированных сферах — юридических, научных или эссеистике. Anthropic утверждает, что влияние на качество будет минимальным, поскольку выбор осуществляется только там, где слова равнозначны, а для кода или точных формул маркировка не применяется.

Критики также отмечают, что подобные технологии маркировки уже существовали, в частности у Google DeepMind (SynthID) и OpenAI, но не были внедрены из-за рисков для не-носителей языка и редакторов, которые используют AI для корректировки текстов. Кроме того, обойти такие водяные знаки можно с помощью простых инструментов — например, переписать текст через другой AI или воспользоваться программами оптического распознавания. В итоге, больше всего могут пострадать честные пользователи, тогда как те, кто стремится скрыть использование AI, и дальше смогут это делать.