Новая модель вмещает 816 миллиардов параметров и контекстное окно на миллион токенов, переваривая текст, аудио и видео. Для работы хватает связки настольных компьютеров вместо дата-центров.
Вся суть в архитектуре Mixture of Experts: из 256 экспертов под каждый токен система задействует всего восемь. В моменте обрабатываются лишь 42 миллиарда параметров.
Запустить систему такого уровня теперь реально прямо в офисе: пара компьютеров Mac Studio на чипах M5 Ultra тянет всё через MLX благодаря терабайту объединенной памяти.
Обычным серверам на дискретных видеокартах для подобной нагрузки потребуется от 700 гигабайт видеопамяти.
Забрать разработку в коммерческий проект без оглядки на правила не выйдет:
- любые продукты обязаны сохранять плашку «Built with Muse Spark Open»;
- компаниям с годовой выручкой от $20 млн придется заключать отдельный контракт для продажи доступа через API.
Команды получили открытую модель уровня закрытых флагманов, которую никто не отключит за неуплату подписки.
Что это значит
Данные клиентов не придется сливать на чужие серверы: тяжелую флагманскую модель теперь можно изолировать внутри закрытого контура компании.
