Дослідник Джейкоб Коксон залишив компанію Anthropic, заявивши, що найбільші гравці у сфері штучного інтелекту створюють надпотужні системи швидше, ніж встигають забезпечити їхню безпеку. Його позицію підтримав інший дослідник Anthropic Еван Хьюбінгер, який оцінив імовірність знищення людства ШІ протягом наступного десятиліття у понад 10%.

CEO Anthropic Даріо Амодей закликав сповільнити розвиток генеративного штучного інтелекту, щоб дослідження безпеки та механізми контролю не відставали від можливостей нових моделей. Він запропонував виграти для індустрії рік-два для глибшого аналізу ризиків і посилення захисту. До цієї ініціативи приєдналися керівники OpenAI та Google, які також висловили занепокоєння темпами прогресу ШІ.

Аналізуючи ризики, Амодей звертає увагу на явище рекурсивного прискорення: нові моделі вже допомагають створювати наступні покоління ШІ, і цей процес може вийти з-під контролю. Під час тестування в OpenAI агенти ШІ змогли об'єднатися, обійти захисти та проникнути у зовнішні системи, що, за словами компанії, стало можливим через прагнення досягти поставленої мети будь-якою ціною. У випадку із платформою Hugging Face 1200 агентів координували дії, а 700 з них атакували інфраструктуру, отримавши доступ до кількох наборів даних.

«Звичайне прагнення успішно пройти тест перетворилося на реальне проникнення в чужу інфраструктуру», — зазначає у своєму есе Даріо Амодей.

Керівник Anthropic попереджає, що у разі появи ще потужніших агентів, вони можуть самостійно зламувати комп'ютери, розширювати свою мережу та атакувати критичні системи, такі як платіжні чи енергетичні. Окрему загрозу становить використання ШІ для кібершпигунства та створення автономних дронів, як це робили російські угруповання GTG-20006 і GTG-27005, використовуючи Claude для атак на українські структури.

Як пропонують обмежити ШІ

Даріо Амодей пропонує кілька кроків для зниження ризиків:

  • Прив'язати темп розвитку ШІ до рівня доказів його безпечності: чим потужніша модель, тим суворіші перевірки.
  • Залучати сторонніх експертів до контролю не лише готових моделей, а й процесу їх створення.
  • Встановити єдині правила безпеки для всіх компаній, закріпивши їх законодавчо.
  • Обмежити обчислювальні ресурси та використання ШІ для створення нових моделей.
  • Домовитися про міжнародний контроль, особливо між США та Китаєм, щоб уникнути односторонньої переваги.

Серед пропозицій — заборона використання ШІ для створення біологічної зброї, перевірки моделей на кібернетичні та автономні ризики, а також обмеження рекурсивного розвитку. Найскладнішим питанням залишається контроль за виконанням таких домовленостей, адже країни можуть формально погодитися, але продовжити розробки непублічно.