Vercel выпустила agent-desktop — скилл, с которым Claude и другие агенты управляют программами на компьютере без скриншотов и без мыши. На GitHub у него уже 22 тысячи звёзд.

Как было. Просишь Claude что-то сделать в программе, и он работает очень долго. Делает снимок экрана, ищет на картинке кнопку, двигает мышь, кликает, снова снимает экран, чтобы проверить. Окно должно быть на переднем плане, мышью в это время пользоваться нельзя, а каждый снимок съедает токены.

Что делает. В Windows у каждого окна есть скрытый список кнопок, полей и меню, по нему работают программы для незрячих. agent-desktop отдаёт этот список агенту. Claude не разглядывает картинку, а видит «кнопка 5», «поле ввода», «меню Вид» и нажимает их командами.То есть скилл позволяет не забирать управление ПК, и значительно должен сэкономить время и токены.

Решил сравнить на небольших задачах несколько способами:
— FlaUI. Библиотека для C#. Программа заранее знает, какие кнопки жать. ИИ во время работы не участвует.
— agent-desktop. Это скилл для агента, с которым Claude видит окно не картинкой, а списком кнопок и полей и нажимает их командами. Мышь стоит на месте.
— Claude по скриншотам. Смотрит на экран, двигает мышь, кликает. Как человек.

Нужно было посчитать 1234 × 56 в Калькуляторе, набрать текст в Блокноте, включить тёмную тему в Параметрах и сделать в PowerPoint два слайда с тремя блоками.

Что когда брать.
Повторяющиеся тесты своей программы — FlaUI, быстрее в десятки раз и значительно сэкономит токены. Просто попроси агента поставить на ПК.
Разовые дела в обычных окнах, чтобы мышь не бегала, — agent-desktop.
Всё, где надо посмотреть глазами (слайды, графики, редакторы), — Claude забирает доступ на ПК.

#ИИагенты #ClaudeCode #автоматизация #нейросети #вайбкодинг

PacaZsela , извини, политические темы я не обсуждаю. Давай лучше про код или другие задачи.