Исследователи проанализировали 4 760 научных событий, которые произошли уже после завершения обучения протестированных систем. ИИ оценивали по четырем параметрам: от выбора стратегии решения до прогнозирования конкретных дат. Разрыв между теорией и практикой оказался критическим. Если в выборе правдоподобного механизма GPT-5.4 достигал точности 79,2%, то при оценке реальной осуществимости открытия показатель падал до 49,1%, что сопоставимо с подбрасыванием монеты.
ИИ провалил тест на научное предсказание
Разработчики системы CUSP протестировали шесть передовых нейросетей, включая GPT-5.4 и Claude S4.5, на способность прогнозировать будущее науки. Выяснилось, что модели мастерски объясняют уже известные открытия, но теряются при попытке угадать, какие научные прорывы станут реальностью, демонстрируя точность на уровне случайного выбора.
Системы также систематически ошибались в таймингах, опаздывая с прогнозами на срок от 5 до 15 месяцев. Даже предоставление доступа к актуальному веб-поиску не устранило фундаментальную проблему: ИИ умеет жонглировать фактами, но не понимает логику научного прогресса. В сравнительных тестах живые эксперты оказались эффективнее нейросетей, достигая 73% точности в оценке перспективности исследований. Авторы работы предупреждают, что слепое доверие алгоритмам при распределении грантов или планировании лабораторий может привести к серьезным ошибкам в научной стратегии.
Комментарии (0)
Пока нет комментариев. Будьте первым!