Релиз NVIDIA Cosmos 3 Edge: открытая модель мира на 4 млрд параметров для локального управления робототехникой

NVIDIA выпустила Cosmos 3 Edge — открытую модель мира на 4 млрд параметров, оптимизированную для локального запуска на edge-устройствах. Архитектура объединяет две трансформерные башни с общими слоями мультимодального внимания: авторегрессионная отвечает за понимание визуальных и текстовых токенов, а диффузионная обрабатывает видео, звук и физические действия. В результате физические ИИ-системы получают возможность анализировать текущее состояние среды, симулировать вероятные варианты будущего и связывать их с конкретными механическими реакциями.

Модель работает в разрешении 640×360 и генерирует 32 действия за один логический вывод, обеспечивая частоту управления 15 Гц на платформах вроде NVIDIA Jetson Thor. Физические команды кодируются в виде компактных геометрических векторов, которые учитывают трансляцию, вращение и состояние манипулятора. Это формирует прямую связь между визуальными изменениями в пикселях и пространственным движением, что означает способность системы вычислять, как именно физическая среда отреагирует на вмешательство робота, а не просто предсказывать следующий кадр.

В репозитории на Hugging Face вместе с базовой версией доступна модель Cosmos 3 Edge Policy, дообученная на датасете DROID для задач захвата и перемещения объектов. Разработчики могут использовать предоставленные чекпоинты как основу для файн-тюнинга под специфические сценарии автономного транспорта, складской логистики или систем умной видеоаналитики перед финальным развертыванием на конечных устройствах.