Это одно из самых изящных решений для оптимизации огромных нейросетей. Разработчик Брайан Белл сократил размер модели GLM-5.2 с 1403 ГБ до 980 ГБ без изменения ее содержимого. Здесь нет квантизации, дообучения или обрезания параметров. Алгоритм сжимает веса абсолютно без потерь, и после распаковки тензоры совпадают с оригиналом бит в бит.

Вся суть кроется в математической природе формата BF16. Каждый вес состоит из 16 бит: один на знак, восемь на экспоненту и семь на мантиссу. В обученной модели значения экспоненты оказались крайне избыточными. Автор заменил 9-битную связку знака и экспоненты на короткий 4-битный код, ссылающийся на таблицу из 15 самых частых паттернов. Редкие исключения отправляются в отдельный поток, а мантисса хранится в сыром виде. В результате средний размер веса падает до 11-12 бит!

Полноценная интеграция метода для инференса пока в разработке, но локальный прототип уже показывает ускорение умножения матриц на чипах A40. Самое крутое — прозрачность эксперимента. Проверить побитовое совпадение всех 59 509 тензоров можно одной командой uv run verify.py zai-org/GLM-5.2, причем скрипт выкачивает чекпойнт потоково и даже не требует наличия GPU.