DiffusionGemma
Экспериментальная модель диффузии текста от Google для молниеносной генерации на локальных видеокартах
Обычные языковые модели печатают текст как старая машинка: строго знак за знаком слева направо. DiffusionGemma работает иначе — она штампует абзацы целиком, словно печатный пресс, сразу схватывая весь блок на 256 токенов. Это экспериментальная открытая архитектура от Google на базе наработок Gemma 4, где привычную авторегрессию заменили диффузией. Модель создана для тех, кто строит интерактивные локальные инструменты и не готов ждать, пока курсор неспешно доползет до края экрана.
Что умеет
- Выдавать свыше 700 токенов в секунду на домашнем железе. На потребительской карте уровня GeForce RTX 5090 модель развивает колоссальную скорость, а на корпоративном чипе NVIDIA H100 преодолевает отметку в 1000 токенов в секунду — это до четырех раз быстрее стандартного вывода на выделенных GPU.
- Помещаться в 18 ГБ видеопамяти. При общем масштабе смеси экспертов (MoE) в 26 миллиардов параметров во время работы активируются всего 3,8 миллиарда. В сжатом виде веса спокойно влезают в память доступных графических карт.
- Редактировать фрагменты на лету. Двунаправленное внимание позволяет токенам учитывать весь контекст сразу. За счет этого модель уверенно заполняет пропуски в коде, не ломает сложный синтаксис разметки и оперативно исправляет собственные ошибки за несколько итераций.
- Адаптироваться под нестандартные задачи. При тонкой настройке модель справляется с нелинейными структурами вроде судоку, где авторегрессионные алгоритмы часто спотыкаются из-за зависимости текущих клеток от будущих значений.
Правда, общее качество генерации здесь уступает стандартной Gemma 4: разработчики пожертвовали сложностью формулировок ради взрывной скорости.
Цены и доступ
Веса опубликованы под открытой лицензией Apache 2.0 на площадке Hugging Face. Запустить модель можно на локальном компьютере через Transformers, vLLM или MLX, а также в облачных средах NVIDIA NIM и Gemini Enterprise Agent Platform. Платить за загрузку и использование архитектуры не требуется.
Инструмент пригодится разработчикам локальных редакторов, прототипов и интерфейсов с мгновенным откликом, где даже минутная пауза ломает рабочий ритм. Скорость здесь важнее академического красноречия.
