Bonsai 27B

Тяжелая нейросеть на 27 миллиардов параметров больше не требует серверной стойки: её сжали так, что она помещается в память ноутбука или смартфона. Prism ML выпустила семейство Bonsai 27B на базе Qwen3.6 27B с квантованием до одного бита и тернарных весов. Обычная модель в 16-битном представлении занимает около 54 ГБ, а здесь веса упаковали в диапазон от 3,9 до 5,9 ГБ без критической потери логики.

Что умеет

• Два формата сжатия. Вариант Ternary весит 5,9 ГБ (1,71 бита на вес) для стандартных ноутбуков и сохраняет 95% качества базовой модели. Сборка 1-bit занимает 3,9 ГБ (1,125 бита на вес), влезает в память iPhone 17 Pro и удерживает 90% точности.
• Обработка визуала. Модель мультимодальна: отдельный 4-битный визуальный модуль разбирает скриншоты интерфейсов, документы и кадры с камеры.
• Длинный контекст. Поддерживает контекстное окно до 262 000 токенов вместе со спекулятивным декодированием для ускорения вывода.
• Автономные агенты. Держит многошаговые цепочки рассуждений, форматированные вызовы внешних инструментов и циклы управления компьютером.
• Локальная скорость. На процессоре Apple M5 Max модель выдает до 87 токенов в секунду в 1-битном режиме, а на NVIDIA RTX 5090 разгоняется до 163 токенов в секунду.

Цены и доступ

Веса Bonsai 27B открыты под свободной лицензией Apache 2.0. Модель работает нативно на устройствах Apple через фреймворк MLX и на видеокартах NVIDIA через CUDA. На период релиза доступен бесплатный ознакомительный API для разработчиков.

Локальный запуск снимает плату за каждый шаг сложного пайплайна: модель пригодится для создания автономных ассистентов, разбора закрытых файлов и автоматизации рутины в софте прямо на личном железе.