MAI-UI

Смартфон в руках нейросети часто спотыкается о банальные вещи: переключиться между двумя приложениями, нажать мелкую плашку или вовремя уточнить детали у владельца. Архитектура MAI-UI сводит навигацию по интерфейсам, диалог с человеком и вызов сторонних инструментов через протокол MCP в единую рабочую систему. Модель обучали через крупномасштабное онлайн-подкрепление (RL) и автономные пайплайны данных, заставив ее одинаково уверенно считывать экранную графику и координировать сквозные цепочки действий.

Что умеет

• Находить элементы интерфейса. Точно считывает кнопки, иконки и поля ввода в тестах ScreenSpot-Pro, ScreenSpot-V2, UI-Vision и MMBench-GUI L2, используя механизм увеличения (Zoom-In) для сложных участков.
• Вести сквозные сценарии. Справляется с многошаговыми задачами и переходами между двадцатью мобильными программами — от офисной рутины и покупок до организации путешествий.
• Подключать протокол MCP. Задействует инструменты Model Context Protocol, совмещая прямое управление графическим интерфейсом с вызовом специализированных программных утилит.
• Делить нагрузку между девайсом и облаком. Простые шаги агент выполняет локально на смартфоне, а ресурсоемкие этапы вычислений отдает облачной инфраструктуре.
• Общаться с пользователем. Модель способна вступать в диалог прямо в процессе выполнения задачи, если требуется одобрение или дополнительный контекст.

Цены и доступ

Базовые модели весом 2B и 8B параметров полностью открыты для свободного скачивания. Конфигурации на 32B и 235B-A22B разработчики используют для бенчмарков вроде AndroidWorld и MobileWorld.

Инструмент пригодится продуктовым дизайнерам, тестировщикам мобильных приложений и разработчикам агентных сервисов, которым нужно автоматизировать сложные пользовательские сценарии без написания жестких скриптов под каждый отдельный экран.