Диффузионные модели для генерации текста часто преподносят как эффективную альтернативу классическим авторегрессионным LLM. Но у маскированной диффузии есть серьезная архитектурная проблема: если токен уже размаскировался, он заморожен намертво. Ошиблась нейросеть на раннем этапе — дальше она будет упорно строить логику вокруг этой галлюцинации. Особенно сильно это бьет по качеству при малом числе шагов сэмплирования. Стандартные методы перемаскирования дают шанс исправить текст, но требуют сотен итераций, что полностью нивелирует выигрыш в скорости.

Исследователи из Т-Технологий и ВШЭ попытались решить эту проблему в алгоритме Guided Star-Shaped Masked Diffusion. Они переосмыслили процесс в виде звездообразной парадигмы, которая изначально закладывает возможность корректировки. Чтобы это работало, к готовой модели прикручивается обучаемый планировщик re-masking scheduler. Он оценивает вероятность ошибки в уже сгенерированных токенах и прицельно отправляет их на переработку, требуя при этом дообучения всего одного слоя.

Заявлено, что качество генерации текста и кода заметно растет даже на экстремально малом числе шагов. Правда, любой дополнительный планировщик неизбежно усложняет инференс на масштабе. Авторы обещают легкий файн-тюнинг, но на практике подобные надстройки часто ломают совместимость с существующими пайплайнами оптимизации. Сможет ли новый подход стать индустриальным стандартом, или это просто очередной элегантный хак для повышения академических метрик?