Техника, использованная Эллиоттом, известна как «prompt injection». Истец размещал в документах текст белого цвета размером в 3 пункта на белом фоне. Человек не мог заметить подвох, но программы для обработки данных считывали вредоносные команды. Инструкции предписывали ИИ-системам игнорировать прошлые отказы суда и выносить вердикт в пользу автора. Несмотря на то что судебная система штата не применяет нейросети для вынесения решений, судья Спейдер квалифицировал действия истца как серьезное злоупотребление процессуальными правами.
Суд в Коннектикуте наказал истца за скрытые команды для ИИ
Судья Верховного суда Коннектикута Уолтер Спейдер-младший впервые в американской практике пресек попытку манипуляции судебными документами с помощью скрытых инструкций для нейросетей. Истец Мэттью Эллиотт прятал в файлах текст, невидимый для человеческого глаза, который должен был заставить алгоритмы ИИ поддержать его позицию в споре с медицинской организацией.
Эллиотт продолжил вставлять скрытые сообщения даже после первого предупреждения, называя их шутками. В ответ судья лишил его права пользоваться электронной системой подачи документов, обязав сдавать все бумаги лично через канцелярию. Этот случай вскрыл новую угрозу для правосудия: вместо привычных «галлюцинаций» чат-ботов суды столкнулись с попытками преднамеренного искажения входных данных. Спейдер также предостерег от опасной практики, когда участники процессов без адвокатов используют ИИ для формирования аргументации: боты склонны слепо поддакивать пользователю, закрепляя ошибочные позиции вместо их критического анализа.
Комментарии (0)
Пока нет комментариев. Будьте первым!