Архитектура и инференс GigaChat 3.5 Ultra: гибридная модель на 432B параметров

Сбер выложил в open source GigaChat 3.5 Ultra — новую гибридную модель на 432 млрд параметров. Архитектура совмещает MLA-слои и GatedDeltaNet. Модель получилась компактнее прошлого флагмана на 700B, но по бенчмаркам выдает качество на уровне DeepSeek V3.2. Главный фокус релиза — удешевление инференса и работа с длинным контекстом.

Разработчики полностью перевели пайплайн обучения на формат FP8. Это снизило потребление памяти и ускорило процесс на десятки процентов. На этапе генерации работают две дополнительные MTP-головы. Они ускоряют greedy decoding в 2,2 раза. Потребление KV-кеша на токен упало в четыре раза. Пропускная способность под нагрузкой выросла на 20%. В ту же память теперь помещается вдвое больше контекста.

Подход к датасетам тоже изменился. Вместо синтетики базой для pretrain стали органические тексты. Документы прогнали через LLM-парсинг, получив чистый Markdown с формулами и таблицами. Поддержка языков программирования расширилась с 16 до 600. На финальном этапе alignment к стандартным SFT и DPO добавили стадию online RL. Это подняло метрики в математике, коде и агентных сценариях.