Инженеры добились прироста эффективности благодаря методу on-policy-дистилляции, где старшая модель выступала в роли учителя, и двухнедельному обучению с подкреплением на задачах агентного программирования. В тестах Terminal-Bench 2.1 модель набрала 64,7%, а в WE-Bench Verified достигла 80,2%, опередив предшественницу с 41 млрд активных параметров.
Thinking Machines Lab представила компактную модель Inkling-Small
Разработчики из Thinking Machines Lab выпустили Inkling-Small — мультимодальную модель с архитектурой Mixture-of-Experts, которая при активации всего 12 млрд параметров обходит по результатам тестов свою старшую версию. Новинка поддерживает работу с текстом, изображениями и аудио, предлагая пользователям гибкую настройку глубины рассуждений и контекстное окно до 1 млн токенов.
Архитектурные изменения коснулись и обработки данных: разработчики отказались от использования отдельного энкодера, перейдя к прямому анализу фрагментов изображений и dMel-спектрограмм аудио совместно с текстом. Хотя Inkling-Small уступает флагману в фактической точности и глубине накопленных знаний, она предлагает более выгодный баланс между вычислительными затратами и качеством ответов. Открытые веса модели уже доступны для интеграции и дообучения на платформе Tinker.
Комментарии (0)
Пока нет комментариев. Будьте первым!