Компания Vidu представила интерактивную модель Vidu S1, предназначенную для генерации видео с цифровыми аватарами в реальном времени. Запуск проекта функционирует как прямой ответ на недавний релиз Runway Characters, при этом новая система поддерживает двустороннее голосовое взаимодействие и непрерывную потоковую генерацию с разрешением 540p при базовой частоте 25 кадров в секунду, которая может достигать 42 FPS.
Механика работы строится на использовании загруженного изображения и аудиоданных для клонирования голоса, в результате чего формируется персонализированный персонаж, способный реагировать на команды в процессе общения. Помимо базовой синхронизации губ, Vidu S1 позволяет подключать внешние текстовые документы в качестве корпоративной базы знаний и взаимодействовать с backend-RPC, что означает возможность интеграции цифровых людей в рабочие интерфейсы для выполнения конкретных задач.
Доступность открытого API и фокус на неограниченную потоковую генерацию указывают на постепенное смещение индустрии от создания заранее отрендеренных видеороликов к интерактивным сценариям. Способность модели обрабатывать голос пользователя и генерировать соответствующее поведение аватара без критических задержек формирует технический фундамент для развития автономных систем цифрового присутствия.
Поделиться:
SeFi-Image: text-to-image модель на базе Semantic-First Diffusion с низкими затратами на обучение
Архитектура и инференс GigaChat 3.5 Ultra: гибридная модель на 432B параметров