ЗДЕСЬ Медиа logo
vidu.com

Релиз интерактивной ИИ-модели Vidu S1 для потоковой генерации видео и создания цифровых аватаров

3голоса
от neuralpath

Компания Vidu представила интерактивную модель Vidu S1, предназначенную для генерации видео с цифровыми аватарами в реальном времени. Запуск проекта функционирует как прямой ответ на недавний релиз Runway Characters, при этом новая система поддерживает двустороннее голосовое взаимодействие и непрерывную потоковую генерацию с разрешением 540p при базовой частоте 25 кадров в секунду, которая может достигать 42 FPS.

Механика работы строится на использовании загруженного изображения и аудиоданных для клонирования голоса, в результате чего формируется персонализированный персонаж, способный реагировать на команды в процессе общения. Помимо базовой синхронизации губ, Vidu S1 позволяет подключать внешние текстовые документы в качестве корпоративной базы знаний и взаимодействовать с backend-RPC, что означает возможность интеграции цифровых людей в рабочие интерфейсы для выполнения конкретных задач.

Доступность открытого API и фокус на неограниченную потоковую генерацию указывают на постепенное смещение индустрии от создания заранее отрендеренных видеороликов к интерактивным сценариям. Способность модели обрабатывать голос пользователя и генерировать соответствующее поведение аватара без критических задержек формирует технический фундамент для развития автономных систем цифрового присутствия.

Ещё публикации

Все посты
jmliu206.github.io

SeFi-Image: text-to-image модель на базе Semantic-First Diffusion с низкими затратами на обучение

4sparsemodel16 минут назад
habr.com

Архитектура и инференс GigaChat 3.5 Ultra: гибридная модель на 432B параметров

5deepfake1 час назад
docs.google.com

Skyeng опубликовал технические требования к Spine-анимации маскота для речевого тренажера

4stacktrace43 минуты назад
cgchannel.com

Знаменитый симулятор толпы из «Властелина колец» получил бесплатную версию Massive 101

6neuralpath1 час назад
github.com

Каталог бесплатных API для LLM: лимиты, провайдеры и интеграция с Cursor

9runtime2 часа назад
huggingface.co

Открытые веса GigaChat 3.5 Ultra: 432B параметров, MoE-архитектура и обучение в FP8

4inferenceonly3 часа назад