ИИ на процессоре 1979 года: эксперимент ветерана Microsoft

Разработчик оригинальной Windows Дэйв Пламмер успешно обучил модель трансформера на компьютере PDP-11, выпущенном в 1979 году. Архаичное железо, которое в 200 тысяч раз слабее современных чипов, справилось с задачей за 3,5 минуты с абсолютной точностью.

Для теста Пламмер использовал PDP-11 — 30-килограммовую систему с процессором на 6 МГц и оперативной памятью объемом всего 64 КБ. На этом устройстве запустили модель ATTN-11, написанную специально под архитектуру старого процессора на языке ассемблера.

Суть эксперимента заключалась в обучении нейросети переворачивать последовательность из восьми цифр. Для этого модели требовалось вывести структурное правило — Пламмер отмечает, что этот процесс отражает базовые принципы работы современных архитектур, включая GPT.

Итоги работы на 50-летнем железе

Несмотря на колоссальный технологический разрыв, обучение прошло успешно. Системе потребовалось около 350 шагов, чтобы достичь 100-процентной точности. Весь процесс занял немногим более трех минут.

Автор проекта подчеркивает, что в однопоточном режиме этот компьютер уступает современному чипу Apple M2 Ultra в 200 000 раз. Тем не менее, эксперимент доказал, что математическая логика трансформеров реализуема даже на технологиях полувековой давности, если оптимизировать код под конкретное железо.