Руководитель проекта Сагар Самтани называет открытость кода палкой о двух концах. Пока лаборатории обучают нейросети на закрытых массивах данных, репозитории вроде Hugging Face становятся мишенью для внедрения «черных ходов» и вредоносных промптов. Команда намерена составить карту уязвимостей и создать систему автоматических патчей, которые закроют слабые места в коде.
Ученые из Индианы проверят ИИ-инструменты на скрытые угрозы
Исследователи из Университета Индианы получили грант в 1,18 млн долларов от Национального научного фонда США на поиск уязвимостей в открытых нейросетях. Ученые опасаются, что широкое использование ИИ-моделей в медицине и астрономии открывает хакерам доступ к интеллектуальной собственности и конфиденциальным данным, превращая научные инструменты в потенциальные каналы утечки информации.
Реализация пройдет в три этапа при поддержке облачной платформы Jetstream2. К работе подключились специалисты по кибербезопасности из центра OmniSOC. Вместе они разработают инструменты, которые помогут исследователям выбирать безопасные архитектуры ИИ и гарантировать, что используемые алгоритмы не передают данные третьим лицам без ведома авторов.
Комментарии (0)
Пока нет комментариев. Будьте первым!