
Тесты TurboQuant от vLLM: почему FP8 остается стандартом для квантования KV-кэша
Команда vLLM протестировала нашумевший алгоритм квантования KV-кэша TurboQuant — тот самый, из-за которого в свое время просели акции производителей памяти. В официальном блоге разработчики сравнили метод с привычным…














