Runway переносит генеративное видео в робототехнику с открытой моделью Praxis-1

Прозрачный пластиковый стакан на загроможденном столе или смятая салфетка без четких краев — кошмар для классического манипулятора. Годами роботизированные руки обучали на ручных телеуправляемых записях, где малейший сдвиг угла обзора или незнакомый блик приводил к системному ступору. Runway, сделавшая себе имя на генерации экранных эффектов и видеопейзажей, решила перенести виртуальную интуицию в реальный физический мир. Компания анонсировала Praxis-1 — свою первую открытую модель действий (open-weight world action model), которая берет на себя управление физическими роботами исключительно на основе визуального восприятия окружающей среды.

Вместо того чтобы собирать многочасовые механические телеметрии для каждого изолированного движения, разработчики использовали фундамент собственных интерактивных видеомоделей Solaris и GWM Worlds 2. Логика здесь проста и одновременно дерзка: если нейросеть способна безупречно прогнозировать следующие кадры видеоряда, значит, внутри нее уже сформировалось базовое понимание законов физики, поведения материалов и механики движения человеческих рук. Praxis-1 превращает этот визуальный прогноз в прямые управляющие команды для приводов и сервомоторов.

Главный тупик современной робототехники всегда упирался в дефицит и запредельную дороговизну реальных данных. Собрать миллионы демонстраций для автономных систем или бытовых манипуляторов в лабораторных условиях практически невозможно, а краевые сценарии — те самые редкие сбои и неожиданные препятствия — вообще ускользают из обучающих выборок. Зато интернет заполнен терабайтами бесплатного потокового видео. Модель впитывает из них понимание физической правдоподобности до того, как ее начинают точечно донастраивать на специфических записях конкретного робота. Точность такого подхода подтвердилась цифрами: предварительная симуляция роботизированных политик внутри собственной world-модели Runway предсказывает результаты в реальном мире с коэффициентом корреляции 0.95.

Испытания на трех типах механизмов

Runway не стала закрывать технологию в стенах лаборатории и уже развернула закрытые тесты с производителями аппаратного обеспечения. Модель сейчас обкатывают на совершенно разном «железе», проверяя, как единая система адаптируется к непохожим кинематическим схемам:

• Компания Noble Machines тестирует Praxis-1 в задачах сложной двуручной манипуляции, где двум механическим конечностям требуется непрерывно координировать совместные движения.
• Производитель Standard Bots интегрировал архитектуру с 6-DoF промышленным манипулятором RO1, проверяя точность позиционирования в шести степенях свободы.
• Компания Ultra испытывает модель на автономной мобильной колесной платформе OP1, соединяя ориентацию в пространстве с активным передвижением.

Нас особенно зацепило то, как Praxis-1 справляется с пространственной миграцией. Система позволяет роботу переносить освоенные навыки из одной обстановки в другую без повторного обучения. Алгоритм, отработавший захваты в стерильной лабораторной студии, способен войти в незнакомую домашнюю кухню и взаимодействовать с предметами сходу, не требуя новой калибровочной сессии.

Преодоление слепых зон автоматизации

Классические политики управления, выстроенные исключительно на повторении демонстраций, моментально рассыпаются на нестандартных предметах. Создатели Praxis-1 специально тренировали алгоритм на задачах, где традиционные роботы слепнут:

• Загроможденные пространства со взаимными перекрытиями, где тарелки и посуда наезжают друг на друга, скрывая силуэты.
• Оптически сложные прозрачные объекты вроде кубиков льда или прозрачного пластика, полностью лишенные привычных подсказок глубины.
• Жесткие, повторяющиеся и геометрически близкие предметы, рассчитанные строго на одну цель.
• Деформируемые материалы и мягкая ткань, у которых нет фиксированных точек хвата.

Runway выбрала стратегию открытых весов: релиз Praxis-1 с публично доступными параметрами состоится в ближайшие месяцы. В компании прямо заявляют, что открытая модель призвана подстегнуть развитие физического искусственного интеллекта в США, повысить производительность в промышленном секторе и дать создателям аппаратных платформ полный контроль над собственными системами без привязки к закрытым облакам.

Для тех, кто работает на стыке визуала и продакшена, это явный сигнал о смене масштаба. Технологии генерации видео перерастают статус инструментов для создания раскадровок и визуальных концептов: теперь видеомодели управляют моторами, штативами и манипуляторами прямо на съемочной площадке. Тот, кто умеет предсказывать кадр, начинает управлять физической реальностью.