Тесты TurboQuant от vLLM: почему FP8 остается стандартом для квантования KV-кэша

Команда vLLM протестировала нашумевший алгоритм квантования KV-кэша TurboQuant — тот самый, из-за которого в свое время просели акции производителей памяти. В официальном блоге разработчики сравнили метод с привычным FP8 на четырех архитектурах моделей размером от 30B до 200B параметров. Оказалось, что громкие обещания о радикальном снижении потребления VRAM разбиваются о суровую реальность продакшена.

Главный вывод исследования: стандартный FP8 остается лучшим выбором по умолчанию. Он удваивает вместимость кэша при нулевой потере точности и сохраняет пропускную способность на уровне базового BF16. В то же время старший вариант TurboQuant k8v4 дает лишь минимальное преимущество в памяти — сжатие 2.4x против 2x у FP8. Это незначительное улучшение не окупает стабильного падения скорости генерации и роста задержки. Младшие версии алгоритма k3v4-nc и 3bit-nc и вовсе проваливают тесты на длинный контекст и сложные логические задачи.

Единственным рабочим компромиссом признан формат 4bit-nc. Он действительно спасает при жестком дефиците видеопамяти, например, при локальном развертывании тяжелых моделей на edge-устройствах. Но за эту экономию придется платить ощутимым снижением пропускной способности. Для серверных решений разработчики советуют не экспериментировать и запускать инференс с проверенным флагом --kv-cache-dtype fp8.