Языковые модели не имитируют человеческий механизм чтения

Ученые сравнили движения глаз 368 добровольцев с данными 409 языковых моделей, используя метод айтрекинга. В ходе эксперимента участники читали так называемые «гарден-пат» предложения, где начальная структура фразы намеренно сбивает с толку, заставляя читателя возвращаться назад для уточнения смысла. Анализ показал, что математический показатель «сюрпризал» — мера неожиданности слова для алгоритма — совпадает с человеческой реакцией только на этапе первого прохода по строке. Как только человек сталкивается с необходимостью перечитать фрагмент или исправить логическую ошибку, статистическая модель теряет точность.

Разрыв объясняется фундаментальной разницей в подходах. Нейросети предсказывают линейную вероятность токенов, тогда как человеческое восприятие опирается на иерархические грамматические связи. Когда первоначальная трактовка предложения рушится, мозг осознанно возвращает взгляд к ключевым словам, чтобы перестроить структуру. Алгоритмы же не обладают механизмом «синтаксического ремонта» и не строят глубоких репрезентаций текста. Эти данные ставят под сомнение использование вероятности следующего токена как единственного эквивалента сложности текста. Для создания инструментов, помогающих людям с нарушениями восприятия или оценки интерфейсов, разработчикам придется внедрять явные системы структурного анализа, способные фиксировать не только поток слов, но и моменты когнитивного сбоя.