Хакеры используют галлюцинации нейросетей для захвата доменов

Специалисты проанализировали работу популярных LLM, отправив более 685 тысяч запросов о 913 глобальных брендах. В ответ системы выдали 2,1 миллиона URL, из которых 809 тысяч оказались вымышленными. После обработки данных эксперты выделили 250 тысяч уникальных «фантомных» доменов, доступных для регистрации. Оказалось, что нейросети склонны к системным ошибкам: они воспроизводят предсказуемые паттерны, позволяя атакующим заранее картографировать будущие цели.

В одном из зафиксированных случаев злоумышленники зарегистрировали фишинговый домен спустя 23 дня после того, как он был предсказан исследователями. В другом сценарии цикл ожидания составил 51 день. Захваченные адреса используются для создания вредоносных загрузок и управления ботнетами. Основная опасность заключается в том, что такие домены выглядят легитимно, не имеют негативной истории и не попадают под фильтры традиционных систем защиты.

Особый риск возникает при интеграции ИИ в корпоративные процессы CI/CD. Если нейросеть-ассистент предлагает разработчику URL для API или вебхука, тот может случайно внедрить в код ссылку, контролируемую хакерами. В агентных системах, способных самостоятельно переходить по сгенерированным адресам, компрометация происходит без участия человека. В качестве защиты эксперты предлагают проактивно мониторить потенциальную «поверхность галлюцинаций» и блокировать домены, которые LLM создают с высокой частотой.