Bonsai 1-bit: языковая модель на 290 МБ, работающая в браузере через WebGPU

Локальные нейросети наконец-то дошли до стадии, когда их размер перестает быть преградой для интеграции. Проект Bonsai 1-bit — это рабочая языковая модель, которая весит всего 290 мегабайт и запускается прямо в браузере! Все вычисления происходят на вашем устройстве через WebGPU, без единого запроса к сторонним серверам.

Такого экстремального сжатия авторы достигли за счет 1-битного квантования. Вместо привычных 16 или 8 бит на каждый параметр модели здесь используется абсолютный минимум памяти, но нейросеть при этом сохраняет способность связно генерировать текст. Это открывает совершенно иной уровень оптимизации для разработчиков. Теперь базовый ИИ-функционал можно встраивать в обычные веб-страницы, не заставляя пользователя загружать тяжелые файлы или платить за API.

Модель просто кэшируется браузером и начинает использовать мощности локальной видеокарты. Скорость вывода токенов напрямую зависит от конкретного железа, но архитектура позволяет добиться плавной работы даже на ноутбуках со слабой графикой. Это отличная техническая демонстрация того, как грамотная математика и работа с весами побеждают потребность в огромных вычислительных кластерах.