Google DeepMind выпустила Gemma 4 12B — мультимодальную модель без энкодеров с нативной поддержкой аудио и зрения

Google DeepMind выпустила Gemma 4 12B — мультимодальную модель, в которой отсутствует традиционная система раздельных энкодеров. Визуальные и звуковые данные поступают напрямую в основную нейросеть, при этом аудиосигнал проецируется в то же размерное пространство, что и текстовые токены, а зрение обрабатывается через облегченный модуль эмбеддингов. Подобная архитектура снижает задержку и потребление памяти, в результате чего системные требования для локального запуска ограничиваются 16 ГБ видеопамяти.

Для дополнительного ускорения генерации архитектура включает механизм драфтеров Multi-Token Prediction. Заявленная разработчиками производительность приближается к показателям более ресурсоемкой версии с 26 миллиардами параметров, что означает способность выполнять сложные многошаговые рассуждения и работать в агентных сценариях. Модель распространяется под лицензией Apache 2.0 и интегрирована в основные инструменты разработчика, включая библиотеку transformers и фреймворк vLLM.

Практические тесты локального запуска на видеокарте RTX 4090 подтверждают заявленные аналитические способности модели при решении задач программирования. В ходе сравнительного тестирования Gemma 4 12B успешно генерирует самодостаточные HTML5 Canvas анимации с симуляцией физики в одном файле без использования сторонних библиотек, включая реализацию доски Гальтона, расчет упругих столкновений блоков с отскоком от стен и математическое моделирование хаотического движения тройного маятника.