Исследователи применили метод «машинного забывания» к трем моделям с открытыми весами, чтобы оценить их способность к самостоятельному изобретению алгоритмов вроде метода Евклида или алгоритма Дейкстры. В условиях отсутствия прямых подсказок системы продемонстрировали неспособность восстановить почти половину протестированных решений. Даже частичное блокирование токенов, связанных с названиями алгоритмов, снижало результативность нейросетей на 19–39%, что подтверждает зависимость ИИ от уже усвоенных формулировок.
ИИ провалил тест на самостоятельное открытие алгоритмов
Девять из двадцати базовых алгоритмов информатики оказались недоступны для больших языковых моделей, когда исследователи ограничили им доступ к заученным решениям. Эксперимент показал, что текущие нейросети эффективнее используют накопленные знания, чем способны к дедуктивному поиску фундаментальных логических конструкций с чистого листа, даже при наличии инструментов для исправления ошибок.
Результаты эксперимента выявили феномен «схлопывания рассуждений»: без внешней обратной связи модели склонны прекращать поиск решения, быстро переходя к упрощенным или ошибочным выводам. При этом пошаговые инструкции и помощь проверяющего модуля значительно повышали шансы на успех. Авторы работы отмечают, что текущие модели обладают навыками для решения сложных задач, но их прогресс сильно ограничен опорой на заученные паттерны, а не на способность к независимому алгоритмическому мышлению.
Комментарии (0)
Пока нет комментариев. Будьте первым!