Для реализации проекта энтузиаст выбрал архитектуру с послойным встраиванием (Per-Layer Embeddings), аналогичную той, что применяется в Google Gemma. Ключевым этапом стало квантование модели до 4 бит, что позволило сократить ее размер до 14,9 МБ. Основную часть параметров разместили во флеш-памяти, оставив дефицитную оперативную память только под вычислительные задачи.
Искусственный интеллект на десятидолларовом контроллере
Разработчик Slava S доказал, что языковые модели могут работать без облачных серверов и мощных видеокарт. Он запустил ИИ с 28,9 миллиона параметров на бюджетном микроконтроллере ESP32-S3. Устройство стоимостью около 10 долларов справляется с генерацией текста автономно, используя лишь собственные ресурсы памяти для вычислений.
Модель обучена на датасете TinyStories и специализируется на коротких художественных зарисовках. Это не полноценный чат-бот для написания кода, а скорее демонстрация инженерного подхода. Подобные решения открывают путь к созданию «умной» бытовой техники и промышленных контроллеров, способных обрабатывать данные локально без участия облачных сервисов. Автор проекта считает, что этот принцип распределения нагрузки между флеш-памятью и ОЗУ пригодится и в серверных системах, позволяя оптимизировать затраты на дорогостоящее оборудование.
Комментарии (0)
Пока нет комментариев. Будьте первым!