agent-desktop : ton IA pilote les applis de ton ordinateur

Ton assistant IA sait déjà écrire un mail ou résumer un document. Mais dès qu'il faut cliquer dans une vraie application de bureau, celle de compta, un tableur, un logiciel métier, il reste sur le seuil. agent-desktop, un projet de Vercel Labs, lui ouvre cette porte sur Mac, Windows et Linux.

Le principe tient en une phrase : au lieu de regarder des captures d'écran, l'outil lit la structure interne de l'application, comme un plan de la fenêtre, et la rend sous forme de données qu'un programme sait exploiter.

Pourquoi c'est utile

• Les applis sans API deviennent pilotables. Beaucoup de logiciels d'entreprise n'offrent aucune connexion pour les automatiser. Ici, on passe par ce que le système d'exploitation expose déjà aux outils d'accessibilité.
• Pas de lecture d'image au pixel près. L'outil décrit chaque élément par son rôle et son nom, par exemple un bouton ou un champ de saisie, plutôt que de laisser l'IA deviner sur une image.
• Un seul outil pour trois systèmes. Le repo prend en charge macOS 13 ou plus, Windows 10 (version 1809) ou plus, et Ubuntu 24.04 ou plus.
• Des réponses faciles à brancher. Chaque commande renvoie un seul bloc de données structurées (du JSON), que n'importe quel script ou agent sait lire.
• Gratuit et ouvert. Le projet est ouvert et gratuit (licence Apache-2.0). Il affiche 13211 stars sur GitHub.

Ce que fait vraiment l'outil

Il faut d'abord corriger une idée reçue : agent-desktop n'est pas une IA. Le dépôt le dit sans détour, aucun modèle n'est embarqué. C'est une boîte à outils que ton agent, ou ton script, appelle pour voir et agir.

Concrètement, tu demandes une « photo » d'une application, par exemple Finder sur Mac. L'outil répond avec la liste des éléments visibles. Chacun reçoit une référence, un petit identifiant. Ton agent peut alors dire « clique sur cette référence » ou « tape ce texte ici ».

Le dépôt décrit une boucle simple. L'agent observe, il agit sur une référence, puis il relit l'écran pour vérifier que l'action a marché. Et il recommence. Cette étape de vérification compte : si l'interface a changé entre-temps, l'outil renvoie une erreur explicite (référence périmée, cible ambiguë) et l'agent reprend une nouvelle photo au lieu de cliquer au hasard.

Le projet liste 60 noms de commandes, dont 56 opérationnelles. Elles couvrent l'observation, les clics et la saisie, la gestion des fenêtres et des applications, le presse-papiers et les notifications.

Par défaut, les actions se font en arrière-plan : pas de déplacement de souris, pas de changement de fenêtre active. Tu peux donc continuer à travailler pendant que l'outil agit. Une option permet de passer en saisie physique si une application l'exige.

Voir l'outil à l'œuvre

Le README intègre une démonstration animée. On y voit un éditeur de texte sur Mac, et un agent en ligne de commande qui y dicte du contenu, puis applique une mise en forme à l'aide de raccourcis clavier.

Cette démo est technique, mais l'idée se transpose : un agent qui remplit un formulaire dans un logiciel de gestion, qui exporte un état depuis un outil de paie, ou qui recopie des données d'une appli vers une autre. Attention, ce sont des pistes d'usage et non des cas documentés par le repo.

Comment c'est construit

Ton agent peut appeler l'outil de deux façons : une commande dans un terminal, ou une bibliothèque en langage C pour l'intégrer directement dans un programme. Dans les deux cas, le même noyau travaille, puis un module spécifique à ton système parle à l'interface d'accessibilité : AX API sur macOS, UI Automation sur Windows, AT-SPI sur Linux.

Le projet propose aussi un mode MCP. C'est un format standard qui permet à un assistant compatible de découvrir et d'utiliser chaque commande comme un outil, sans code d'intégration à écrire. Il suffit de déclarer la commande agent-desktop mcp dans la configuration de l'assistant.

Côté mise en route, l'installation passe par npm (npm install -g agent-desktop) ou par Homebrew sur Mac et Linux.

Avant et après pour une équipe

Sans cet outil, automatiser un logiciel sans API revient souvent à enregistrer des clics à des coordonnées précises. Un changement de résolution ou de position de fenêtre suffit à tout casser. Avec une lecture par nom d'élément, l'automatisation s'appuie sur ce que l'écran signifie, pas sur l'endroit où il se trouve.

Pour une PME, l'intérêt est de gagner du temps sur des tâches répétitives dans des logiciels fermés, sans attendre qu'un éditeur ouvre une connexion. Mais l'outil est une brique, pas une solution clé en main. Il faut quelqu'un qui sache brancher un agent dessus, définir ce qu'il a le droit de faire et contrôler le résultat.

À savoir avant de te lancer

Le dépôt est franc sur ses limites, et c'est bon signe.

L'outil ne pense pas. Il exécute ce que ton agent décide. La qualité du résultat dépend donc de l'agent que tu branches et des consignes que tu lui donnes.

Les données sont sensibles. Le README avertit que les lectures d'écran, le presse-papiers, les captures et les traces peuvent contenir du contenu privé du bureau. À garder hors des journaux publics et des envois externes. Pour une entreprise, c'est le premier point à cadrer : sur quelle machine, avec quels comptes, avec quelles applications ouvertes.

Les applis de bureau uniquement. Pour les pages web, le dépôt renvoie vers un autre projet, agent-browser.

Des permissions à accorder. Sur Mac, il faut autoriser l'accès Accessibilité. Une commande guide la démarche pas à pas.

Un projet jeune. Le dépôt a été créé en février 2026 et il est présenté comme un produit Vercel Labs. Teste-le sur des tâches sans enjeu avant de le confier à un processus important.

Pour qui c'est

• Les développeurs et les équipes techniques, qui peuvent s'en servir pour donner à un agent la main sur des logiciels sans connexion programmable.
• Les responsables d'une PME avec un profil technique à portée, qui cherchent à automatiser des saisies répétitives dans des outils internes.
• Les curieux de l'IA qui veulent comprendre où va l'automatisation, avec un projet ouvert, documenté et gratuit à essayer.

Si tu n'as personne pour manipuler un terminal, ce n'est pas encore l'outil qu'il te faut. Mais il montre la direction : des assistants qui travaillent dans les mêmes logiciels que toi.

Bottom line

agent-desktop ne promet pas de miracle, il pose une base solide : lire une application par sa structure, agir par référence, vérifier, recommencer. Pour une équipe qui a des logiciels de bureau sans API, c'est une piste concrète à tester sur un cas simple. Le repo est ici : github.com/vercel-labs/agent-desktop, avec le guide d'installation, la liste des commandes et la documentation complète.