Релиз интерактивной ИИ-модели Vidu S1 для потоковой генерации видео и создания цифровых аватаров

Компания Vidu представила интерактивную модель Vidu S1, предназначенную для генерации видео с цифровыми аватарами в реальном времени. Запуск проекта функционирует как прямой ответ на недавний релиз Runway Characters, при этом новая система поддерживает двустороннее голосовое взаимодействие и непрерывную потоковую генерацию с разрешением 540p при базовой частоте 25 кадров в секунду, которая может достигать 42 FPS.

Механика работы строится на использовании загруженного изображения и аудиоданных для клонирования голоса, в результате чего формируется персонализированный персонаж, способный реагировать на команды в процессе общения. Помимо базовой синхронизации губ, Vidu S1 позволяет подключать внешние текстовые документы в качестве корпоративной базы знаний и взаимодействовать с backend-RPC, что означает возможность интеграции цифровых людей в рабочие интерфейсы для выполнения конкретных задач.

Доступность открытого API и фокус на неограниченную потоковую генерацию указывают на постепенное смещение индустрии от создания заранее отрендеренных видеороликов к интерактивным сценариям. Способность модели обрабатывать голос пользователя и генерировать соответствующее поведение аватара без критических задержек формирует технический фундамент для развития автономных систем цифрового присутствия.