VOID
Удаление объектов из видео с автоматической перестройкой физики и траекторий
Обычные инструменты клинапа без проблем убирают предмет и дорисовывают фон с тенями, но пасуют перед физикой: если вырезать врезавшийся в стену шар, сама стена всё равно странно разрушится. Исследователи из Netflix и болгарского института INSAIT подготовили VOID — фреймворк закрашивания видео, который заново рассчитывает поведение сцены после исчезновения ключевого участника событий.
Что умеет
- Находить скрытые взаимодействия. Достаточно кликнуть по объекту: мультимодальная языковая модель сама определит, какие соседние предметы теперь не упадут, не столкнутся и не поменяют курс.
- Направлять диффузию через маски связей. Логика VLM упаковывается в четырёхкомпонентную маску (quadmask), по которой диффузионная модель генерирует физически правдоподобный альтернативный дубль.
- Убирать морфинг во втором проходе. Если малая диффузионная модель начинает «плавить» очертания предметов на новых траекториях, включается второй проход: шум стабилизируют вдоль векторов движения с первого шага и возвращают телам чёткую форму.
- Работать на синтетических и реальных сценах. Модель натренирована на парных датасетах симуляций Kubric и захвата движений человека HUMOTO.
Разработка создавалась для академической конференции ECCV 2026, но её логика метит прямо в рутину супервайзеров графики. Пожалуй, это первый практический шаг к пайплайну, где удаление разбитой чашки автоматически отменяет брызги кофе на белой скатерти.
