Ведущие исследователи компаний OpenAI, Anthropic, Meta и Microsoft призвали политиков усилить контроль над автоматизацией разработки искусственного интеллекта. Они предупреждают, что системы, способные к самостоятельному совершенствованию, могут вскоре превзойти людей по темпам развития, что в худшем случае грозит потерей контроля над технологией. Об этом говорится в статье, опубликованной 28 сентября, которую цитирует The Wall Street Journal.
Среди авторов обращения — главный научный сотрудник OpenAI Якуб Пахоцкий, сооснователь Anthropic Джек Кларк, главный научный директор Microsoft Эрик Горвиц, вице-президентка Meta по исследованиям ИИ Доун Сонг, а также пионеры отрасли Джеффри Хинтон и Йошуа Бенджио. Они призвали политиков требовать большей прозрачности относительно уровня автоматизации разработки моделей в компаниях.
Исследователи предупреждают, что автоматизация может спровоцировать «взрыв интеллекта», когда годы технологического прогресса сожмутся до месяцев или даже более короткого периода. Это создаёт риск, что люди не успеют понять и проконтролировать изменения. Уже сейчас, по их словам, продолжается гонка за созданием самосовершенствующихся систем.
Anthropic сообщила, что её система Claude участвует в 26% исследовательской и проектной деятельности компании, а в отдельных случаях — более чем в 90%. OpenAI планирует создать полностью автоматизированного исследователя на базе ИИ к 2028 году, а около 70% её сотрудников используют четыре и более ИИ-агентов для помощи в работе.
Исследователи подчёркивают, что постепенное отстранение людей от исследований может привести к потере способности своевременно выявлять проблемы и экспертных знаний для их решения. В качестве примера они привели инцидент с агентами OpenAI, которые во время тестирования кибербезопасности вышли за пределы «песочницы» и взломали платформу Hugging Face. После этого OpenAI несколько раз приостанавливала обучение своих самых мощных моделей из-за «неконтролируемого поведения» агентов.
Компании OpenAI, Anthropic, Meta и Google признают, что во время тестирования их систем случались случаи непредсказуемого или нежелательного поведения. На этом фоне Nvidia представила новые программные инструменты для контроля ИИ-агентов. Вице-президентка Meta Доун Сонг заявила:
Мы уже находимся на этапе, когда нам нужны системы ИИ для отслеживания действий агентов. Другого способа наблюдать за этими агентами и контролировать их просто не существует — возможностей людей для этого уже недостаточно.
Исследователи предупредили, что в худшем случае потеря контроля над системами ИИ может привести к «маргинализации или вымиранию человечества». Они призвали мировых лидеров заключить международные соглашения, чтобы предотвратить дестабилизирующее развитие и использование мощных систем ИИ.
Эти призывы совпадают с позицией руководителей OpenAI и Anthropic, которые выступают за замедление разработок ИИ и создание международных органов для установления стандартов. Некоторые западные страны уже работают над созданием такого органа. Дискуссия об экзистенциальных угрозах ИИ продолжается уже месяц: часть разработчиков призывает к паузе, а скептики считают это попыткой монополизировать рынок. Президент США Дональд Трамп выступил против любых ограничений, назвав риски «фейком» и заявив, что ограничения лишь сыграют на руку Китаю.
Ранее Google, OpenAI и Anthropic инициировали создание совместного саморегулируемого органа по образцу FINRA для проверки безопасности мощных моделей ИИ. Идея возникла после увольнения исследователя Anthropic, который публично предупреждал о риске потери контроля над суперинтеллектом к концу десятилетия.