Обещания кратного ускорения инференса звучат на каждой презентации новых открытых моделей. Google заявляет, что Gemma 4 генерирует текст до трех раз быстрее благодаря механизму Multi-Token Prediction. Идея предсказывать сразу несколько токенов не нова, но интеграция легковесных драфтеров прямо в архитектуру выглядит любопытно. Драфтер быстро набрасывает черновик ответа, а тяжелая основная модель лишь верифицирует его корректность.

Звучит стройно, но заявленный прирост скорости вызывает справедливый скепсис. Спекулятивное декодирование отлично работает на предсказуемых задачах вроде генерации шаблонного кода. Вопрос в том, насколько часто основная модель будет забраковывать черновики при сложных логических рассуждениях. Если процент ошибок драфтера окажется высоким, вычислительные такты уйдут впустую, превратив обещанное ускорение в дополнительную задержку.

Но есть и чисто аппаратный нюанс. Встроенные модели-черновики — это дополнительные веса, которые неизбежно отъедают часть драгоценной видеопамяти. Разработчикам придется выбирать между номинальной скоростью генерации и возможностью втиснуть контекст в ограниченный VRAM. Google определенно улучшила архитектуру, но маркетинговые метрики стоит воспринимать с осторожностью до появления независимых тестов на нестандартных задачах.