GitHub Copilot учится нажимать на кнопки в десктопных приложениях

Курсор на мониторе оживает сам по себе: кликает по выпадающему списку в окне старой утилиты, вбивает строчку текста и перетаскивает файл в соседнее окно. GitHub объявил о запуске публичной предварительной версии функции Computer Use для десктопного приложения GitHub Copilot и терминального интерфейса Copilot CLI. Инструмент заработал на операционных системах macOS и Windows. Ассистент перестал быть просто подсказчиком внутри редактора кода и получил возможность автономно взаимодействовать с интерфейсами обычных настольных программ от имени пользователя.

По своей сути система превращает искусственный интеллект в полноценного оператора рабочего стола. Модель считывает визуальный контекст экранов и доступные элементы интерфейса (accessible content), а затем воспроизводит привычные действия человека перед монитором. Ассистент умеет кликать по кнопкам управления и интерактивным контролам, вводить и редактировать текст, нажимать комбинации клавиш, прокручивать страницы и списки, а также выполнять перетаскивание объектов методом drag-and-drop. Главная сила инструмента заключается в способности проводить сквозные рабочие процессы через цепочку сразу нескольких независимых программ.

Автоматизация там, где нет API

Механика нацелена на софт, который годами оставался за бортом программной автоматизации. Если современные веб-сервисы поддерживают прямые интеграции, то внушительный пласт повседневного инструментария остаётся наглухо закрытым. Новая функция рассчитана на следующие категории программ:

• устаревшее программное обеспечение (legacy software);
• десктопные программы с исключительно графическим интерфейсом (GUI-only);
• приложения, у которых полностью отсутствуют программные интерфейсы (API), режим командной строки (CLI) или поддержка подключений через протокол Model Context Protocol (MCP).

До сих пор рутинный перенос данных между подобными утилитами требовал непрерывного ручного труда. Теперь же ассистент берет на себя монотонные механические задачи — например, суммирование уведомлений прямо в браузере, обновление содержимого в презентации или перенос массивов данных через череду локальных окон.

В качестве наглядного примера разработчики показывают навигацию Copilot по рабочему процессу заполнения отчетов о расходах (expense-report workflow) в браузере Safari. На ролике видно, как ассистент самостоятельно ориентируется в экранных формах, нажимает нужные пункты меню и переносит строки без участия человека. Для продакшенов и студий, где рабочий день часто дробится между конвертерами форматов, генераторами ассетов и старыми служебными панелями без единого API, подобный подход обещает избавить от часов бездумного кликанья.

Безопасность и контроль доступа

Передача контроля над рабочим столом искусственному интеллекту требует понятных предохранителей, поэтому разработчики выстроили многоуровневую систему ограничений:

• Подтверждение действий: по умолчанию Copilot в обязательном порядке запрашивает одобрение человека перед тем, как получить контроль над конкретной программой на экране.
• Управление разрешениями: в настройках всегда можно просмотреть активные допуски и сбросить список приложений, для которых ранее было включено постоянное управление («always allow»).
• Корпоративные политики: корпоративные администраторы могут полностью отключить работу функции через настройки, управляемые на уровне организации (organization-managed settings).
• Системные допуски macOS: на компьютерах Apple функция помогает настроить обязательные разрешения операционной системы — ассистенту требуется доступ к универсальному доступу (Accessibility) для кликов и к записи экрана (Screen Recording) для анализа картинки.

Управление и точные команды

Для включения и настройки механизма в командной строке Copilot CLI предусмотрены три команды:

• /computer on — активация режима управления рабочим столом;
• /computer show — быстрая проверка текущего статуса функции и доступов;
• /computer off — немедленное отключение автономии.

В графическом приложении GitHub Copilot запуск устроен через визуальный интерфейс: нужно зайти в меню Settings (Настройки), выбрать вкладку Computer Use и перевести тумблер Enable Computer Use в активное положение. Кроме того, в диалоговом окне десктопной программы сработает и знакомая текстовая команда /computer on.

Чтобы система не совершала лишних движений, разработчики советуют формулировать промпты предельно предметно. Запрос должен содержать четкое описание желаемого конечного результата, точный перечень задействованных программ и жесткие ограничения по процессу. Пожалуй, это главный навык при работе с новой функцией: чем строже очерчены рамки дозволенного в окнах, тем меньше шансов, что искусственный интеллект промахнется мимо нужной кнопки.

Для дизайнеров, арт-директоров и специалистов визуального продакшена это сигнал: порог автоматизации опустился на уровень обычного пользовательского интерфейса. Нас подкупило, что инструмент берется именно за «немые» графические оболочки, которые раньше невозможно было связать скриптами. Похоже, монотонное перекладывание слоев и параметров между закрытыми десктопными окнами наконец-то можно поручить чужим рукам.