Компания Cursor расширила возможности ИИ-агентов в настольном редакторе. Теперь они могут управлять приложениями непосредственно на компьютере пользователя: нажимать кнопки, вводить текст и взаимодействовать с интерфейсом.
Ранее функция Computer Use была доступна только при работе Cursor в облачной среде. ИИ-агент мог управлять браузером и виртуальным рабочим столом. После обновления аналогичные возможности появились локально — в приложениях, запущенных на компьютере разработчика.
Что умеют ИИ-агенты Cursor
С помощью Computer Use агент может взаимодействовать с графическим интерфейсом так, как это делает пользователь. Например, он способен:
— запускать приложения;
— нажимать элементы интерфейса;
— вводить текст в поля;
— переходить между экранами;
— проверять работу отдельных функций;
— находить и воспроизводить ошибки.
Функция работает с ИИ-агентами на базе собственных и сторонних моделей, доступных в Cursor. Агент может самостоятельно определить, что для выполнения задачи требуется управление приложением, и включить Computer Use.
При необходимости пользователь может явно указать эту возможность в запросе с помощью тега @Computer Use.
Тестирование приложений в симуляторе iPhone
Один из возможных сценариев — автоматическая проверка приложения в симуляторе iOS. ИИ-агент может запустить проект, последовательно пройти по экранам, проверить работу интерактивных элементов и подготовить отчёт о результатах.
Такой подход позволяет тестировать интерфейс без ручного выполнения всех действий. Например, агент может проверить регистрацию пользователя, переходы между разделами, заполнение форм или работу кнопок.
Если во время проверки возникает ошибка, агент способен воспроизвести последовательность действий и описать проблему. Это может упростить поиск неисправностей на этапе разработки.
Локальное управление расширяет возможности Cursor
До появления локального Computer Use ИИ-агенты Cursor могли взаимодействовать в основном с кодом, браузером и облачным виртуальным рабочим столом. Теперь они получили доступ к приложениям, которые работают непосредственно на компьютере разработчика.
Это особенно важно для задач, связанных с графическим интерфейсом, мобильными приложениями и программами, которые нельзя полноценно проверить только через браузер или анализ исходного кода.
При этом функция ориентирована не только на тестирование. Её можно применять для проверки пользовательских сценариев, поиска визуальных проблем и оценки того, как приложение ведёт себя в реальных условиях.
Как использовать Computer Use в запросе
В большинстве случаев Cursor может самостоятельно включить нужный режим, если задача требует взаимодействия с приложением. Пользователь также может обозначить это напрямую, добавив в запрос тег @Computer Use.
Например, можно попросить агента запустить приложение в симуляторе iPhone, проверить основные экраны и составить список найденных ошибок. После этого Cursor сможет использовать управление интерфейсом для выполнения описанных действий.
