Компанії, що розробляють штучний інтелект, вводять суворі обмеження та програми перевірки користувачів, щоб запобігти зловживанню їхніми моделями хакерами. Проте ці заходи ускладнюють роботу легітимних фахівців із кібербезпеки, зокрема дослідників, які займаються пошуком вразливостей і тестуванням систем на проникнення.

У червні уряд США запровадив експортні обмеження на популярні моделі Anthropic — Mythos і Fable — через побоювання, що їхні захисні механізми можна обійти для створення шкідливих кібератак. Хоча пізніше обмеження на Fable 5 було скасовано, а Mythos 5 повернули лише для перевірених американських організацій, компанія продовжує позиціонувати свої моделі як інструменти, доступні виключно ретельно відібраним користувачам.

Подібні обмеження застосовують і OpenAI, і Anthropic, пропонуючи спеціальні програми для кібербезпеки, які дозволяють отримати доступ до моделей із меншими обмеженнями. Однак багато дослідників критикують ці заходи, бо вони заважають знаходити нові вразливості та розробляти методи їх експлуатації до того, як це зроблять зловмисники.

Відомий дослідник Марк Доуд, який десятиліттями займається пошуком «нульових днів» — раніше невідомих вразливостей, — заявив, що йому неприємно, коли великі компанії самовільно вирішують, що є безпечним, а що ні. За його словами, уряди готові платити за такі вразливості, бо вони залишаються відкритими для розвідки.

Кріс Енлі з NCC Group пояснив, що можливість попросити модель штучного інтелекту спробувати експлуатувати баг є ключовою для підтвердження реальності вразливості. Якщо ж модель відмовляється через обмеження, це шкодить як обороні, так і атаці, адже інструмент одночасно служить і для захисту, і для пошуку вразливостей. Він порівняв це з молотком, який одночасно є інструментом і зброєю.

Деякі дослідники, як Паоло Станьо з CrowdFense, уникають використання хмарних моделей для пошуку вразливостей через ризик витоку даних і віддають перевагу відкритим моделям, які можна запускати локально без обмежень. Джузеппе Калі, який також займається пошуком «нульових днів», зазначив, що використовує ШІ лише для зворотного інжинірингу та створення допоміжних інструментів, залишаючи відкриття вразливостей за собою.

Один із дослідників у виробника смартфонних компонентів, який побажав залишитись анонімним, розповів, що через відсутність доступу до програм Anthropic їхні інструменти майже непридатні для пошуку вразливостей через надто суворі обмеження.

Кріс Томпсон, керівник RemoteThreat і засновник Offensive AI Con, відзначив, що обмеження часто працюють непослідовно і змінюються з дня на день навіть у рамках перевірених програм. Через це дослідники витрачають більше часу на обходження обмежень, ніж на аналіз вразливостей. Він також зауважив, що це змушує фахівців переходити на відкриті китайські моделі, які не мають таких обмежень.

Томпсон закликав лабораторії штучного інтелекту розширити доступ до своїх моделей для відповідальних користувачів і водночас посилити контроль над зловживаннями. Інакше, за його словами, легітимні дослідники ризикують програти у гонці з кіберзлочинцями.

"Наближається велика хвиля атак, які відбуватимуться з небаченою швидкістю і масштабом, — сказав Томпсон. — Але ті ж консультанти з безпеки і дослідники, які намагаються змінити ситуацію, зараз стримуються."