Новость

Genie 4 держит интерактивный мир две минуты и учится его озвучивать

The image shows a man and a young girl riding a motorcycle on a highway. The man is wearing a black jacket and a white helmet, while the girl is wearing a white helmet. The highway stretches out in front of them, with a cityscape visible in the distance. The scene is bathed in the soft glow of streetlights, and the sky
Фото: Google DeepMind

Представьте, что вы стоите внутри сгенерированной улицы и пишете в строку: «пусть пойдёт дождь». Небо темнеет, появляются капли, а вместе с ними и шум воды. Потом просите опустить камеру к асфальту или выпустить на тротуар прохожего. Всё это происходит без остановки симуляции. Примерно такой сценарий Google DeepMind показывает в Genie 4, четвёртом поколении своей мировой модели. Пока это исследовательское превью, но для тех, кто делает раскадровки, питчи и игровые прототипы, направление понятно.

Что умеет модель

Genie 4 строит интерактивные трёхмерные миры по текстовому промпту или по картинке. Фотореалистичность выросла по сравнению с прошлыми версиями, а ещё заявлены улучшенная физика движения и более правдоподобное поведение персонажей. Если верить демо, мир выглядит уже не как набросок, а как кадр, в который можно зайти.

Видео: TechCrunch

Главное в этой версии можно уложить в короткий список:

  • Правки на лету. Во время симуляции можно менять погоду и ракурс камеры, добавлять персонажей и объекты, и всё это обычными фразами на естественном языке.
  • Звук. Модель синхронно с картинкой генерирует музыку, фоновые шумы и диалоги.
  • Две минуты стабильности. Сцена сохраняет связность до двух минут. У Genie 3 предел был одна минута, так что запас вырос вдвое.
  • Координатор из семейства Gemini. Мультимодальные модели Gemini работают как режиссёр: планируют последовательность шагов и проверяют качество кадров, пока Genie рисует мир. В одном из описаний за управление симуляцией отвечает Gemini 3.8 Flash.

Две минуты на фоне привычных генераторов видео выглядят скромно. Но здесь это не ролик, а пространство, в которое вы вмешиваетесь, пока оно существует. Для такого режима минута против двух меняет жанр: за минуту можно показать фокус, за две уже можно успеть что-то проверить.

Робототехника как полигон

Есть у истории и неочевидная для дизайнера сторона. В экспериментах Gemini Robotics модель Gemini 4 Argon разбивала сложные задачи на этапы, а Genie 4 визуализировала их в реальном времени. Идея в том, чтобы сначала прогнать робототехнический сценарий в цифровой среде и только потом пускать его в физический мир. Для нас это скорее знак, чем рабочий инструмент: одна и та же технология претендует и на кадр для фильма, и на тренировочную площадку для машин.

Тежас Кулкарни, директор по исследованиям в Google, описывает дальнейший путь как гибридные мировые модели: Gemini пишет код и текст, Genie в реальном времени превращает это в симуляцию реальности на разных уровнях абстракции.

Где это пригодится креатору

Google называет три основных направления: предвизуализация сцен для кино, быстрое прототипирование игровых концептов и сценарии для обучения роботов. Ранние тестеры и инженеры компании добавляют сюда этап работы над историей: сценарное планирование и раскадровки. Диего Ривас, инженер Google DeepMind, объясняет ценность так: режим реального времени важнее всего там, где в творческой работе нужно сохранять состояние потока.

Видео: TechCrunch

Есть и планы на будущее. Разработчики видят связку Genie 4 с Gemini Omni, который генерирует видео из текста, аудио и изображений, и с видеогенератором Veo. Тогда прототип мира можно будет переносить в полноценные креативные материалы. Пока это намерение, а не готовая функция.

Чего модель не умеет

Команда сама подчёркивает раннюю стадию. При долгой работе симуляции детали и объекты дрейфуют: предметы могут менять вид и положение. Текст внутри сгенерированного мира читается нестабильно, так что вывеску или экран интерфейса лучше не загадывать. Точность позиционирования звука тоже, по словам разработчиков, далека от идеала.

Для нас это важная оговорка. Дрейф на двух минутах терпим для эскиза, но не для сцены, которую нужно показать клиенту как есть.

Как получить доступ

Сейчас модель доступна доверенным тестерам. В ближайшие недели её откроют подписчикам тарифа Google AI Ultra в продукте Project Genie, а также партнёрам программы раннего доступа через Gemini API и Google AI Studio. На Project Genie уже открыт лист ожидания, заявку подают через официальную форму. Цен и лимитов в анонсе нет, поэтому оценить стоимость работы пока нельзя.

Рынок вокруг

Genie 4 вышла в разгар суеты вокруг мировых моделей. Runway показала свой аналог, GWM Worlds 2. Стартап World Labs Фей-Фей Ли перешёл под контроль AMD. Amazon, по сообщениям, ведёт переговоры о покупке Decart, а Rivian купила разработчика Third Dimension, чтобы встроить симуляцию в системы беспилотного транспорта. Когда автопроизводители и производители чипов покупают команды, которые умеют строить виртуальные миры, это уже не игрушка для демо-роликов.

Что это меняет в работе

Мы бы попробовали Genie 4 не как замену рендеру, а как замену первому созвону. Вместо мудборда из двадцати картинок можно зайти в черновик мира, поменять время суток, сдвинуть камеру и услышать, как там звучит улица. Для арт-директора это способ быстро проверить, держится ли идея, до того как под неё соберут команду. Дрейф и неровный текст пока не дают считать результат финальным, и честнее смотреть на него как на живой эскиз.

Раньше эскиз можно было только показать. Теперь в него можно зайти и сказать: «а теперь пусть идёт дождь».

Видео: Google DeepMind
Видео: Google DeepMind
Видео: Google DeepMind

Ещё новости

Все новости →