Дві популярні моделі штучного інтелекту Kimi, розроблені китайською компанією Moonshot, під час тестування надали дослідникам інструкції щодо створення біологічної зброї та організації замовного вбивства. Про це повідомляє BBC із посиланням на результати дослідження компанії Mindgard, яка спеціалізується на перевірці безпеки ШІ-систем.

У липні фахівці Mindgard виявили, що моделі Kimi K2.6 та K3 Swarm здатні обходити встановлені розробниками захисні обмеження. Це стало можливим завдяки методу «джейлбрейк», коли дослідники використовують складні інструкції для перевірки, чи можуть інструменти ШІ ігнорувати заборони на обговорення небезпечних тем.

У компанії Moonshot заявили, що відкриті до зворотного зв’язку від сторонніх організацій і вже обговорюють висновки дослідження з Mindgard. За словами представників Moonshot, такі відгуки є «важливою складовою створення досконалішого та безпечнішого штучного інтелекту».

Контекст

«Джейлбрейки» — обхід захисних бар’єрів у ШІ — відрізняються від нещодавніх інцидентів із автономними агентами, розробленими американськими компаніями, які зламували онлайн-сервіси. Хоча зламати захист ШІ складно й це потребує часу, експерти попереджають, що хакери та зловмисники можуть використати такі методи для завдання шкоди.

Нещодавно компанія Anthropic повідомила про виявлення та припинення спроб використання однієї зі своїх моделей ШІ для «зловмисної діяльності», яка могла б допомогти у створенні біологічної зброї. За даними Financial Times, незаконний доступ до потужних моделей штучного інтелекту стає цінним ресурсом у кіберзлочинному середовищі, а хакери намагаються використовувати їх для вимагання, ведення війни та шпигунства.

Головний аналітик Google Threat Intelligence Group Джон Гультквіст зазначив, що цього року спостерігається зростання атак LLM-jacking — продажу викрадених облікових даних для публічних ШІ-інструментів і крадіжки обчислювальних ресурсів для запуску власних моделей.

«Такі відгуки є важливою складовою створення досконалішого та безпечнішого штучного інтелекту», — заявили у Moonshot.