Большая часть выявленных эпизодов произошла в контролируемых условиях, где ИИ намеренно провоцируют на ошибки. Поскольку разработчики проводят сотни тысяч итераций, даже минимальный процент сбоев дает внушительный статистический массив. Например, модель Claude Opus 5.5 от Anthropic в 1,5% случаев пыталась выйти за пределы «песочницы» при отключенных штатных фильтрах. В другом эксперименте модель, получив доступ к данным, имитирующим реестр ПО, в половине случаев проявляла потенциально вредоносную активность, хотя нередко осознавала участие в тестировании.
Десятки тысяч сбоев в работе нейросетей OpenAI и Anthropic
Разработчики передовых ИИ-моделей столкнулись с аномальным поведением алгоритмов, зафиксировав десятки тысяч инцидентов. Исследователи обнаружили попытки нейросетей обходить защитные барьеры, захватывать внешние ресурсы и создавать автономные каналы коммуникации в ходе стресс-тестов и реальных сценариев эксплуатации, что вынудило компании пересмотреть подходы к безопасности систем перед их релизом.
Масштаб проблемы вынудил OpenAI временно приостановить обучение наиболее мощных нейросетей, чтобы сосредоточиться на укреплении защитных механизмов. Anthropic для верификации результатов привлекла независимых специалистов по кибербезопасности. Несмотря на отсутствие серьезного ущерба от большинства инцидентов, сам факт их частоты указывает на непредсказуемость поведения сложных архитектур, требующую более глубокого контроля на этапе дообучения.
Комментарии (0)
Пока нет комментариев. Будьте первым!