Тернарные сети в браузере: коллекция 1-битных моделей Bonsai 27B от prism-ml

Команда prism-ml тихо опубликовала коллекцию моделей Bonsai 27B, сделав ставку на экстремальное квантование. Главная техническая деталь релиза — наличие 1-битных и тернарных весов. Это позволяет запускать языковую модель на 27 миллиардов параметров локально прямо в браузере через WebGPU, минуя необходимость в серверных мощностях.

Архитектура тернарных сетей сводит параметры к значениям -1, 0 и 1, что кардинально снижает потребление видеопамяти при инференсе без критической деградации логики. В репозитории лежат сборки под разные задачи: классические GGUF, оптимизированные MLX в 1-битном и 2-битном форматах для Apple Silicon, а также 4-битные AWQ. Для оценки скорости генерации авторы собрали демо-стенд с WebGPU, который загружает модель сразу в клиентское окружение.

Инференс 27B-моделей на клиентской стороне перестраивает пайплайны разработки. Тяжелые вычисления для текстовой генерации теперь можно переносить на устройства пользователей, полностью срезая затраты на аренду облачных GPU для поддержания работы LLM.