Перейти к содержимому
Новость

Microsoft научила Copilot превращать запись экрана в готовую автоматизацию

Skill Recorder записывает рабочий процесс на компьютере, восстанавливает последовательность действий через GitHub Copilot и собирает инструкцию, которую ИИ-агент сможет выполнить повторно. Главная граница проходит не по возможностям программы, а по данным: при анализе снимки экрана и журнал действий отправляются в облако GitHub.

RaVic
Microsoft научила Copilot превращать запись экрана в готовую автоматизацию

Автор: Изображение создано с помощью ChatGPT

Microsoft открыла исходный код Skill Recorder, настольного приложения для создания автоматизаций без ручного описания каждого шага. Пользователь один раз выполняет задачу на компьютере, а программа фиксирует переключения между окнами, посещенные страницы, действия с буфером обмена и изменения на экране. После этого GitHub Copilot CLI восстанавливает общий замысел и упорядоченную последовательность операций.

Получившийся сценарий можно сохранить как Skill в формате SKILL.md или превратить в автоматизацию, запускаемую по расписанию либо событию. Разработчики подчеркивают, что агент не обязан буквально воспроизводить движение курсора. При наличии подходящих инструментов он должен обращаться к командной строке, API и другим штатным способам управления сервисом. Поэтому одна запись рассматривается как пример задачи, а не как жесткий макрос с координатами кнопок.

01_1200x600_bc2988e390

Фото: microsoft

В этом и состоит главное отличие Skill Recorder от обычных программ записи действий. Классический макрос легко ломается после переноса кнопки или изменения размера окна. Здесь Copilot пытается понять намерение пользователя: например, не «нажать в точке экрана», а «отправить заполненную форму». Насколько надежно такое обобщение работает в сложных приложениях, пока неизвестно. Независимых тестов Microsoft не приводит.

Запись и первичная обработка происходят локально. На компьютере сохраняются события, снимки меняющихся участков экрана и, при включении микрофона, расшифровка голосовых комментариев. Однако после нажатия Analyze программа передает в облако GitHub временную шкалу событий, заголовки окон и документов, адреса страниц, фрагменты буфера обмена, отобранные кадры и текст расшифровки. Разработчики прямо предупреждают, что пароли, токены, ключи API и другие закрытые сведения не должны попадать в сеанс.

03_1024x1292_760921184602_2000x1668_d912bec617

Фото: microsoft

Приложение распространяется пока не как готовый установочный файл, а в виде исходной сборки. Установочный скрипт загружает закрепленную версию Node.js, собирает конкретный коммит и создает локальный ярлык. Для работы требуется учетная запись с доступом к GitHub Copilot. Основной платформой названа macOS, также заявлена поддержка Windows 11 для x64 и ARM64. Последний опубликованный релиз v0.3.1 датирован 30 июля 2026 года и исправляет установку в Windows при слишком длинных путях к файлам; готовых бинарных пакетов к нему не приложено.

Отдельных условий для России разработчики не указывают. Практическая доступность зависит от возможности пользоваться GitHub Copilot и его облачными функциями. Skill Recorder уже можно изучить и собрать самостоятельно, но пока это скорее инструмент для разработчиков и технически подготовленных пользователей, чем массовая замена привычным средствам автоматизации.

Источник: GitHub
7 показов