Texte rédigé en basque et traduit automatiquement par Elia sans révision postérieure. VOIR L'ORIGINAL

Une ère d'agents d'intelligence artificielle, pas sans problèmes

Dans le domaine de l'intelligence artificielle, les outils appelés agents sont en vogue ces derniers mois. Au-delà des chatbots qui répondent à des questions textuelles, ces agents peuvent effectuer plusieurs tâches de manière totalement autonome, depuis l’organisation et la réponse à notre courrier jusqu’à l’automatisation de systèmes complexes avec de nombreuses variables. Mais comme les agents comme les chatbots sont également basés sur la technologie des LLM ou des grands modèles linguistiques et comme nous le savons, ces technologies ne sont pas parfaites, le monde des agents est également plein de problèmes et de doutes.

Le terme Agentic AI s'est répandu partout ces derniers temps. Cette expression qui reviendrait au basque comme une sorte d’« AA agentique » fait référence aux agents de l’Intelligence Artificielle qui sont en plein essor. Mais que sont ces agents, au juste ? En quoi diffèrent-ils d’un chatbot ou d’un système RAG ? Nous allons essayer de répondre à ces questions dans cet article.

Dans le numéro précédent, nous avons expliqué ce qu'était le protocole MCP: Un protocole standard pour l'interaction des systèmes AA avec le monde extérieur. Nous avons vu comment les systèmes RAG (dans le dernier numéro) utilisaient ce protocole pour appeler les différentes sources d'information de la même manière. Eh bien, au-delà des chatbots et des systèmes RAG qui donnent des réponses textuelles à une question, les agents AA sont aussi des systèmes AA qui sont basés sur les LLM mais qui peuvent effectuer des actions. Le fonctionnement est aussi simple que nous l'avons vu dans le cas des RAG: Transmettre des informations sur les services MCP au LLM, demander de répondre à la demande de l'utilisateur en utilisant ces services MCP, et l'orchestration de ces services MCP sera effectuée par le LLM lui-même, et l'agent sera seulement l'intermédiaire pour les appels de fonction décidés par celui-ci.

Un agent, par exemple, peut être l'assistant du site Web de notre mairie, mais aussi avoir la capacité de réserver des événements culturels ou sportifs. Ou un assistant qui effectuera également l'achat après avoir autorisé l'inspection du catalogue sur le site Web d'une boutique en ligne et qui dira à une entreprise de messagerie d'aller le chercher et où envoyer le colis.

Agents indépendants

En outre, ils peuvent avoir une fonction fixe et fonctionner de manière autonome en permanence, activée à une certaine fréquence. Et ils peuvent mener à bien ces actions découlant des décisions qu'ils prennent sans avoir à les superviser. Par exemple, un agent peut se préparer à vérifier notre courrier toutes les heures et, lorsqu'il y a des exigences d'un certain type, à vérifier les informations nécessaires pour répondre à la question dans certains documents de nos dossiers de disque dur et à écrire et envoyer des e-mails de réponse directement. Ou un autre qui suivra tous les messages postés sur un sujet particulier sur un réseau social et écrira et enverra les messages de réponse en ligne que nous voulons.

Même si nous avons dit que c'est simple, pour pouvoir faire les choses comme celles mentionnées maintenant, un agent AA peut également contenir d'autres composants, tels qu'un minuteur, qui peut être activé à la fréquence indiquée, et un système de mémoire pour se souvenir des interactions précédentes.

La plupart des agents tels que ceux mentionnés dans les exemples sont fabriqués par des entreprises et des organisations pour leur propre usage interne ou pour servir et aider les clients. Mais aussi pour automatiser les tâches de notre ordinateur, nous allons l'avoir de plus en plus facile. Nous constatons déjà que les chatbots sont intégrés dans les systèmes d'exploitation, qui deviendront de plus en plus des agents, leur donnant la capacité de mener des actions. Nous avons aussi OpenClaw, un agent logiciel libre créé par un programmeur autrichien, qui peut être installé sur nos ordinateurs.

Il y a aussi des problèmes

Mais dans cette vie, rien n'est parfait et sans problèmes, et c'est également le cas pour les agents. L'un des problèmes est le coût des agents. Les LLM qui en profitent sont généralement la propriété de géants technologiques, s'exécutent sur leurs serveurs et sont payées par commande et en fonction de la longueur de la commande. Un agent peut faire beaucoup d'appels aux serveurs MCP pour répondre à une de nos demandes et avec leurs réponses faire beaucoup d'autres demandes longues et longues au LLM, ce qui entraînera des factures beaucoup plus élevées que prévu.

«Le principal risque de donner l'agence aux LLM ne vient pas de la possibilité de devenir trop rapides, conscientes et malignes et de causer intentionnellement des dommages.»

Un autre problème réside dans le fait que le nombre de publications et de transactions pouvant résulter de l'automatisation est excessif. Par exemple, si de plus en plus d’agents lancent des agents sur les sites Web, les médias et les réseaux sociaux pour publier des commentaires sur leur idéologie, trop de contenu est créé pour être modéré et même lu par les utilisateurs. D'autre part, si l'on veut (devrait) procéder à un contrôle humain des achats, des types de consultations importants et similaires, il faudra prévoir des ressources suffisantes pour le contrôle de toutes les commandes gérées automatiquement par les agents. Le cas de GitHub, le entrepôt de logiciels libres, est significatif : les agents sont à l'origine d'une multiplication des envois de logiciels nouveaux ou modifiés, mais beaucoup d'entre eux sont généralement de mauvaise qualité, nécessitent beaucoup de travail de révision

La question de la vie privée mérite également d'être examinée. Nous avons déjà dit que les agents utilisent les LLM de géants technologiques. Eh bien, si nous utilisons leurs agents, ces entreprises peuvent en savoir beaucoup plus sur nous qu'elles ne l'ont fait jusqu'à présent et en profiter pour rendre la publicité encore plus intrusive ou pour nous rendre encore plus dépendants.

Le problème principal, l'agence

Certains de ces problèmes que nous avons mentionnés peuvent être résolus en utilisant des LLM plus petits et libres qui seront exécutés sur nos machines et sous notre contrôle, comme Kimu développé par Orai. La plupart des problèmes et les plus grands, mais (et laissez-nous un mot) viennent de la cause de l'agence dont disposent les agents. Dans le contexte de l'intelligence artificielle, l'agence signifie la capacité d'un système à exécuter des actions de manière autonome. C’est justement le signe distinctif d’un agent qui le distingue des autres systèmes AA (chatbots, systèmes RAG...).

Selon Yoshua Bengio et d'autres, l'Agence est actuellement la principale source de risque pour l'intelligence artificielle. Ce chercheur canadien est considéré comme l'un des pères de l'IA, aujourd'hui l'une de ses principales lignes de recherche est la sécurité de l'IA, et il est l'une des figures les plus significatives qui s'inquiète vraiment et sérieusement sur ce sujet. en 2023, il a été chargé par 30 pays de coordonner le Rapport international sur la sécurité de l'IA et d'écrire avec 96 chercheurs du monde entier. sa première version est sortie en 2025. Il y est dit qu'un système d'IA a besoin de deux choses pour causer des dommages: l'intention et la capacité.

En ce qui concerne l'intention, ils affirment que certains LLM d'aujourd'hui ont fait preuve de comportements malveillants ou d'auto-présomptions, et ils ne doutent pas que cela va continuer à augmenter et que les systèmes futurs auront une capacité intellectuelle suffisante pour leur nuire. C'est pourquoi les mesures qu'ils proposent incluent l'incapacité de faire du mal pour le moment, c'est-à-dire de ne pas fournir d'agences tant qu'il n'y aura pas de nouvelles recherches pour s'assurer que les LLM sont sûrs et alignés sur les objectifs de l'humanité.

La célèbre multinationale IBM a également mis en garde contre les risques de l'agence dans un guide publié cette année. Ils affirment que les agents de l'IA devraient être traités comme des infiltrés ou des informateurs internes et que nous devrions analyser et gérer leurs risques de la même manière qu'avec toute autre menace interne. Ils proposent une série de mesures pour réduire ces risques, et ils s'opposent, du moins en partie, à cette agence qui est précisément le signe distinctif et l'avantage des agents.

Vu la façon dont les agents se sont déployés, il est clair qu'ils n'ont pas été très attentifs... Eh bien, nous allons penser qu'ils n'ont pas encore automatisé les centrales nucléaires par des agents (je préfère Homer Simpson !) ou bien que l'étude des menaces nucléaires et le contrôle des arsenaux n'ont pas été confiés à un agent AA (n'avons-nous rien appris du film WarGames de 1983 ? ;-).

Pas trop intelligents. Ils sont défectueux

Cependant, je pense que le principal risque de donner l'agence aux LLM aujourd'hui ne vient pas de la possibilité de devenir trop rapides, conscientes et malignes et de causer intentionnellement des dommages. Au contraire: l'intelligence artificielle d'aujourd'hui est également souvent assez stupide et commet de nombreuses erreurs. Par conséquent, les dommages que les agents peuvent actuellement causer seront plus en raison de l'inutilité.

En fait, il y a déjà eu des incidents avec les agents AA. Comme OpenClaw que nous avons mentionné ci-dessus, il a dépassé la mesure de ses fonctions et a supprimé les documents des utilisateurs. Certains assistants de programmation ont supprimé les bases de données de production ; d'autre part, on sait qu'ils peuvent souvent créer un code défectueux ou des failles de sécurité, et comme on peut même leur dire de les apporter directement à la production ou de les publier sans les réviser... Et sur le net, on cite des cas où les erreurs des chatbots ou des agents d'achat ont conduit l'utilisateur à payer plus ou parfois même moins qu'il ne devrait.

En plus des erreurs que les LLM eux-mêmes peuvent faire, il y a aussi des problèmes causés par les gens qui profitent des failles de sécurité qu'ils ont. En trompant le LLM verbalement, ou en utilisant un moyen un peu plus sophistiqué appelé prompt, ils ont obtenu des prix ridicules des chatbots ou des agents d'achat: par exemple, une nouvelle Chevrolet pour un dollar. Ou si OpenClaw est mis en place pour répondre automatiquement aux e-mails, il est possible d'obtenir des informations confidentielles si vous parvenez à tromper l'agent.

Vous, lecteur, avec votre expérience avec ChatGPT, Gemini ou d'autres chatbots similaires, donneriez-vous à un agent basé sur ces LLM la possibilité non seulement d'accéder à vos documents sur votre disque dur, mais aussi de les modifier et de les supprimer? Ou plus loin, pourriez-vous lui demander de planifier un voyage, y compris les lieux à visiter, les réservations d’hébergement et les billets d’avion ? Si vous vous encouragez, sachez qu'il y a beaucoup de ces agents.