Основой эксперимента стал мини-ПК M5 AI, работающий на базе процессора Ryzen AI Max+ 395. В топовой версии устройство оснащено 128 ГБ ОЗУ, чего недостаточно для полноценного запуска столь масштабных моделей в одиночку. Однако предложенный производителем метод масштабирования через USB4 Direct Connection позволяет узлам работать как единое целое, минуя ограничения традиционной серверной архитектуры. В подобной связке из семи устройств для нужд GPU выделяется до 672 ГБ памяти.
Семь мини-ПК Bosgame объединили для запуска DeepSeek-V3.1
Инженеры Bosgame доказали, что для работы тяжелой нейросети DeepSeek-V3.1 с 671 миллиардом параметров не обязательно арендовать серверный дата-центр. Достаточно объединить семь компактных компьютеров M5 AI в единый кластер, связав их через прямое USB4-соединение. Такая конфигурация превращает домашнее оборудование в мощную вычислительную систему с 896 ГБ оперативной памяти.
Главное преимущество такого подхода — гибкость. Пользователь может начать с одного устройства и постепенно докупать дополнительные модули, наращивая мощность по мере необходимости. Стоимость решения остается значительно ниже профессиональных серверных систем при умеренном энергопотреблении. На текущий момент цена одного мини-ПК M5 AI составляет 2800 долларов, что делает этот способ доступным инструментом для локального запуска крупномасштабных языковых моделей.
Комментарии (0)
Пока нет комментариев. Будьте первым!