MolmoWeb

Модель смотрит на скриншот страницы, прикидывает следующий шаг и кликает по координатам кнопки — без чтения скрытого кода верстки и возни с тяжелыми деревьями DOM. MolmoWeb от исследователей Ai2 переносит семейство мультимодальных моделей Molmo 2 в браузерную практику: это открытый визуальный агент в компактных версиях на 4B и 8B параметров. Вместо того чтобы цепляться к API конкретных сервисов или закрытым коммерческим моделям, система взаимодействует с интерфейсом буквально глазами пользователя, самостоятельно выполняя рутинные шаги в сети.

Что умеет

• Ориентироваться по картинке. Агент анализирует скриншот страницы, формулирует ход мыслей на естественном языке и рассчитывает нормализованные координаты следующего действия.
• Управлять интерфейсом. Поддерживает клики мышью, печать текста в полях, прокрутку страницы, переходы по ссылкам, переключение вкладок и отправку сообщений человеку.
• Искать и заполнять. Умеет проходить цепочки задач: искать выдачу по фильтрам, сопоставлять товары в онлайн-магазинах и заполнять данные форм без опоры на структурированный код страниц.
• Находить элементы интерфейса. В тестах на визуальное заземление ScreenSpot модель быстрее и точнее определяет экранные кнопки и поля ввода, чем закрытые проприетарные гиганты.
• Масштабировать надежность. Запуск нескольких параллельных проходов с отбором лучшего результата поднимает долю решенных задач (в тесте WebVoyager модель на 8B достигает 94,7% успешных исходов).
• Разворачиваться автономно. В открытый доступ выложены пайплайн обучения, инструмент ручной разметки, синтетические генераторы данных и клиентский код интерфейса для локального запуска.

Цены и доступ

Веса моделей 4B и 8B, массив обучающих данных MolmoWebMix и весь сопутствующий код доступны бесплатно на Hugging Face и GitHub. Для быстрой проверки разработчики открыли публичный демо-стенд с набором проверенных сайтов.

Инструмент пригодится разработчикам и техническим дизайнерам, собирающим автономные сценарии для регулярного ресерча, мониторинга сайтов или сбора фактуры без написания кастомных парсеров под каждую верстку. Если верить тестам, MolmoWeb справляется с интерфейсами напрямую через экран — автоматизация веба наконец-то учится смотреть на макет так же, как смотрим мы.