Après la révolution ChatGPT il y a un peu plus d’un an, la nouvelle révolution de l’IA est en marche : l’IA agentique ou Computer Using Agent. Et cela commence à devenir vraiment intéressant. Pourquoi ? Parce que cette nouvelle étape dans l’IA semble cette fois en mesure de répondre à certains fantasmes laissés inassouvis par l’IA générative. Regardons ça en détail.  

IA agentique, définition :  

La notion d’agent IA existe depuis quelques temps déjà. Mais elle recouvre différentes formes assez disparates en réalité. Certains d’entre vous ont dû voir passer des vidéos sur LinkedIn ou YouTube d’influenceurs vous expliquant comment ils avaient créé des agents. Ces agents effectuent en général des métiers de créateurs de contenu, tels que Community manager ou du marketing digital. Ces agents sont managés par un agent manager auquel vous soumettez vos directives pour que toute cette petite équipe d’agents vous génèrent tout un tas de contenus automatiquement. Et c’est déjà très sympa. 

Mais depuis quelques semaines maintenant, et suite notamment à l’annonce d’Operator par OpenAI, l’agent IA revêt une toute nouvelle forme aux yeux du grand public, celle d’une intelligence artificielle qui est capable d’agir et d’interagir de façon autonome, de prendre des décisions et de s’optimiser en temps réel, contrairement aux systèmes d’IA traditionnels (Machine Learning ou IA generative par exemple). Elle a la capacité d’agir avec tous les outils avec lesquels les humains interagissent. Et c’est ainsi que cette nouvelle évolution de l’IA pourra peut-être enfin de répondre à nos attentes.  

De l’IA générative au Computer Use Agent (CUA) 

Combien de fois n’avons-nous pas été frustrés par Copilot qui n’était pas capable d’interagir avec PowerPoint ou Excel pour effectuer une action bien précise : « crée-moi une présentation COPIL à partir de ce modèle en intégrant cet ordre du jour » « peux-tu me calculer le TRI à partir de cet onglet P&L ? » « oui bien sur » et puis plus rien.  

La promesse du CUA, c’est de pouvoir à présent effectuer ses actions. Et encore mieux, sans nécessairement que l’agent soit intégré à l’application.  

Là où l’IA générative était parfaite pour rechercher des informations, synthétiser du contenu et en créer, l’IA agentique s’appuie sur l’IA générative pour comprendre le contexte dans lequel elle doit interagir mais utilise un nouveau modèle pour effectuer ses actions. Certains parlaient de LAM pour Large Actions Model par opposition à Large Language Model.  

Et il existe 2 types d’IA agentique : celle que nous qualifierions d ‘« intégrée » qui se connecte aux systèmes par les voies classiques API et via des systèmes d’automatisation classiques tels que Zapier, Make etc… 

Et celle « autonome » qui effectue des actions en mimant les actions d’un utilisateur humain via les entrées clavier et souris de l’ordinateur virtuel sur lesquelles il agit. Sans intégration API ou autre.  

Cela signifie qu’à la différence des outils d’automatisation ou les modèles d’intégration point à point, vous ne serez plus à la merci de la moindre évolution d’une API. Quelques économies de TMA en perspective…  

Comment ça marche ?  

Concrètement, comme un humain. Par exemple, vous êtes sur la page d’accueil de votre back-office CRM et le CUA va effectuer une capture d’écran de la page pour analyser l’interface. Le bouton en haut à gauche, le menu sur la barre latérale… et analyser le code de la page pour comprendre ce qu’il se passe derrière. Ainsi, il peut à présent interagir sur la page comme le ferait un agent de Call Center ou un commercial par exemple. 

Ce qui est intéressant ici, c’est qu’il n’a pas eu besoin de s’intégrer avec le CRM. Pas de question d’API, d’intégration. Juste un utilisateur virtuel capable d’effectuer toutes les actions d’un utilisateur humain. Et comme un humain, il va apprendre tout seul. Contrairement à un assistant IA classique qui génère du contenu sans se soucier de ses hallucinations, qui ne seront corrigées que si l’utilisateur qui lui a posé la question à l’origine a la capacité de challenger la réponse de l’IA, ici l’agent va pouvoir apprendre quand il se trompe. Notamment parce que l’interface l’alertera quand une action n’a pas le résultat attendu. Il apprendra de son erreur pour ne pas la reproduire la fois suivante.  

A ce stade, nous en sommes encore au début. L’agent butera encore un peu sur les interfaces vieillissantes ou ultra-personnalisées, les CAPTCHA,… Il faut également que les processus soient bien clairs et bien normés. Cela s’appliquera dans un premier temps aux taches plutôt ultra-répétitives mais la promesse est quand même belle.  

En pratique, ça donne quoi ?  

En tant que particulier, mon agent IA pourra demain, à l’instar d’un vrai assistant personnel (tel que Google l’avait teasé il y a quelques années déjà, avant même l’arrivée de l’IA générative) prendre des rendez-vous pour moi, en se connectant à un Planity à ma place pour réserver mon coiffeur, faire des achats en ligne à ma place pour m’acheter la bonne tenue complète pour courir mon marathon de Paris sur decathlon.fr, ou pour planifier mon prochain voyage en famille à Rome via booking.com. Oui, il ne me sortira plus uniquement une liste des meilleurs coiffeurs, hôtels et restaurants, mais il pourra bien réserver, mettre au panier etc… Le seul moment où une action sera demandée de ma part sera au moment de mettre mes informations de carte bancaire.  

En tant que professionnel, l’agent IA pourra par exemple, contrairement à un chatbot classique qui se contentera de répondre à des questions, effectuer des actions concrètes. Il pourra prendre une commande, gérer une réclamation client en déclenchant directement un remboursement sans passer par un conseiller du service client.  

L’IA, capable d’interagir avec des interfaces, pourra effectuer une recette utilisateurs end-to-end, créer les tickets directement dans votre Jira. Il pourra mettre à jour les informations produit de vos vendeurs marketplace pour s’assurer de leur complétude et de leur qualité, directement dans le back-office de votre Mirakl.  

Il pourra gérer les campagnes marketing Google Ads ou Facebook Ads en optimisant les budgets, les cibles, … Il pourra interagir avec le CRM pour effectuer les tâches du portefeuille d’actions. 

Les possibilités seront nombreuses sur les taches les plus répétitives.  

Quelques exemples d’acteurs du CUA  

Operator - OpenAI : combine les capacités visuelles du modèle GPT-4o avec un raisonnement avancé via l'apprentissage par renforcement.  

Google Mariner : Agent IA en développement, alimenté par Gemini 2.0 et possiblement intégré à la suite Google, capable d’effectuer des actions en ligne. 

Claude 3.5 - Sonnet : Fonctionnalité « Computer Use » reposant sur Claude 3.5 Sonnet, qui permet à l’agent IA d’interagir avec les applications bureau et interfaces web 

Twin : pure player basé sur son propre modèle d’actions 

Quels sont les impacts pour le monde du commerce connecté ?  

Le monde des agents IA va obliger à repenser certaines interactions.  

Si demain, l’IA de votre smartphone lit vos mails, synthétise les informations importantes et de fait, vous épargne les informations les moins importantes telles que les emails promotionnels, comment repenser le marketing ?  

Si demain, votre agent personnel interagit directement avec les agents des marques quand il s’agit de recherche des informations produit et passer commande, comment bien qualifier son offre, ses informations produit, pour avoir le meilleur impact ? Comment est-ce que je repense mon modèle de retail média si ce sont des IA qui naviguent sur mon site e-commerce plutôt que des utilisateurs humains, qui ne voient plus mes encarts publicité ?  

Si demain, mon agent personnel interagit directement sur LinkedIn à ma place, comment est-ce que je monétise en tant que LinkedIn ? etc.. etc… 

Bien évidemment, il existera toujours des cas de figure où l’humain préfèrera naviguer par lui-même, mais ces occasions seront sans doute plus rares.  

Quand nous en parlons autour de nous, les cas d’usage sont parfois encore peu clairs car la technologie en est encore à ses prémices. Les gens ont encore du mal à se projeter. Mais demain, cette technologie sera intégrée de façon transparente dans nos ordinateurs, smartphones, lunettes connectées...  

Et même au-delà, l’IA fait son entrée progressivement dans la maison : la gamme Echo d’Amazon, Google Home, voire les Homepods d’Apple permettront à l’avenir d’avoir notre assistant IA à portée de chaque moment. Amazon va lancer Alexa+, évolution de son assistant agnostique de tout modèle et capable de les utiliser tous en fonction des usages.  

Et on se rappellera ce moment comme de l’arrivée de l’iPhone « et ton iPhone, il sait téléphoner quand même ? »