Text redactat en basc i traduït automàticament per Elia i sense revisió posterior. MOSTRA L’ORIGINAL

L'era dels agents d'Intel·ligència Artificial, no sense problemes

En el camp de la Intel·ligència Artificial, les eines anomenades agents estan en voga en els últims mesos. Més enllà dels bots que responen a preguntes textuals, aquests agents poden fer diverses tasques de forma totalment autònoma, des d'organitzar i respondre el nostre correu fins a automatitzar sistemes complexos amb múltiples variables. Però com els bots també els agents es basen en la tecnologia de LLM o Grans Models Lingüístics i, com bé sabem, aquestes tecnologies no són perfectes, també el món dels agents està ple de problemes i dubtes.

El terme Agentic AI s'ha popularitzat molt i últimament s'ha escoltat a tot arreu. Aquesta expressió, que es traduiria al basc com una espècie de “AA agéntico”, fa referència als agents d'Intel·ligència Artificial que s'estan estenent molt. Però, què són aquests agents exactament? En què es diferencien d'un bot o d'un sistema RAG? Intentarem respondre a aquestes preguntes en aquest article.

En el número anterior expliquem què era el protocol MCP: Un protocol estàndard perquè els sistemes de IA interactuin amb el món exterior. Vam veure com els sistemes RAG (en el penúltim número) utilitzaven aquest protocol per a cridar de la mateixa manera a diferents fonts d'informació. Doncs bé, més enllà dels bots i els sistemes RAG que proporcionen respostes textuals a una pregunta, els agents AA també són sistemes AA que estan basats en LLM però poden dur a terme accions. El seu funcionament és tan simple com ho hem vist per al cas dels RAG: Passar la informació sobre els serveis MCP al LLM, sol·licitant que s'atengui la demanda de l'usuari a través d'ells, i l'orquestració d'aquests serveis MCP serà realitzada pel propi LLM, sent l'agent un mer intermediari per a les crides de funció que aquest decideixi.

Un/a agent, per exemple, pot ser col·laborador/a de la web del nostre Ajuntament, però també tindrà capacitat per a realitzar reserves d'esdeveniments culturals o esportius. O un assistent que, després de permetre la inspecció del catàleg en la web d'una botiga en línia, també realitzarà la compra i li indicarà a una empresa de missatgeria que vagi a recollir-ho i a on enviar el paquet.

Agents autònoms

A més, poden tenir una funció fixa i operar de manera autònoma de manera permanent activant-se amb una freqüència determinada. I poden dur a terme aquestes accions derivades de les decisions que prenen sense necessitat de supervisió. Per exemple, es pot preparar a un agent perquè revisi el nostre correu cada hora i, quan hi hagi requisits d'un tipus específic, miri la informació que necessita per a respondre a la pregunta en alguns documents de les nostres carpetes de disc dur i escrigui i enviï directament correus electrònics de resposta. O un altre que faci un seguiment de tots els posts que es publiquen en una xarxa social sobre un tema determinat i escrigui i enviï missatges de resposta en la línia que nosaltres vulguem.

Encara que hem dit que és simple, per a poder fer coses com les que s'esmenten ara, un agent AA també pot contenir altres components, com un temporitzador, per a poder activar-lo amb la freqüència indicada, i un sistema de memòria per a recordar les interaccions anteriors.

La majoria d'agents com els esmentats en els exemples són realitzats per empreses i organitzacions per al seu ús intern, o per a atendre i ajudar als seus clients. Però també ho tindrem cada vegada més fàcil per a automatitzar les tasques del nostre ordinador. Ja estem veient que els bots venen integrats en sistemes operatius que els convertiran cada vegada més en agents, donant-los la capacitat de dur a terme accions. També tenim OpenClaw, un agent de programari lliure creat per un programador austríac que pot instal·lar-se en els nostres ordinadors.

També hi ha problemes

En aquesta vida, no obstant això, res és perfecte i sense problemes, i així ocorre també en el cas dels agents. Un dels problemes és el cost dels agents. Els LLM que els utilitzen normalment són propietat de gegants tecnològics, s'executen en els seus servidors i se'ls paga per comanda i en funció de la longitud de la comanda. Un agent pot fer moltes anomenades als servidors MCP per a respondre a una de les nostres sol·licituds i fer moltes i llargues altres sol·licituds al LLM amb les seves respostes, la qual cosa farà que les factures siguin molt més altes de l'esperat.

«El principal risc de donar agència als LLM no prové de la possibilitat de tornar-se massa ràpids, conscients i perversos i causar danys deliberats»

Un altre problema és l'excessiu nombre de publicacions i transaccions que poden produir-se amb l'automatització. Per exemple, si cada vegada més agents posen en marxa agents en llocs web, mitjans de comunicació i xarxes socials per a publicar comentaris de la seva ideologia, moderar-los i fins i tot perquè els usuaris els llegeixin, es genera massa contingut. D'altra banda, la inspecció humana de compres, de tipus de consulta importants i similars requerirà, si és el cas, la dotació de mitjans suficients per a la inspecció de totes les comandes gestionades automàticament pels agents. El cas de GitHub repositori de programari lliure és significatiu: s'han multiplicat els enviaments de programari nou o modificat pels seus agents, però molts d'ells són de baixa qualitat, requereixen una gran revisió…

La qüestió de la privacitat també és a tenir en compte. Ja hem comentat que els agents utilitzen LLMs de gegants tecnològics. Doncs bé, si utilitzem els seus propis agents, aquestes empreses poden saber molt més de nosaltres i aprofitar-se per a fer publicitat encara més intrusiva o per a fer-nos encara més dependents.

El problema principal, l'agència

Alguns dels problemes que hem comentat es poden resoldre amb LLM més petits i lliures que s'executen en les nostres màquines i sota el nostre control, com Kimu desenvolupat per Orai. Però la major part dels problemes (i permeti-se'ns el joc de paraules) venen per la causa de l'agència que tenen els agents. En el context de la Intel·ligència Artificial, l'agència significa la capacitat d'un sistema per a dur a terme accions de manera autònoma. És justament el distintiu d'un agent que el diferencia d'altres sistemes de IA (bots, sistemes de RAG...).

L'agència és actualment la principal font de risc de IA, segons Yoshua Bengio et al. Aquest investigador canadenc és considerat un dels pares de la IA, actualment una de les seves principals línies de recerca és la seguretat de la IA, i és una de les figures més significatives que es preocupa real i seriosament per aquest tema. en 2023 30 països li van encarregar que coordinés l'International AI Safety Report (Informe Internacional sobre Seguretat de la IA) i ho escrivís amb 96 investigadors a nivell mundial. la primera versió va ser llançada en 2025. En ell es diu que un sistema de IA requereix dues coses per a causar mal: propòsit i capacitat.

Quant a la intenció, afirmen que alguns LLM d'avui dia han mostrat comportaments maliciosos o d'autopreservació, i no dubten en què això continuarà creixent i que els sistemes futurs tindran la capacitat intel·lectual suficient com per a perjudicar. Per això, entre les mesures que proposen està la de no atorgar-los de moment la capacitat de perjudicar, és a dir, no donar-los agència, fins que es duguin a terme més recerques per a assegurar que els LLM siguin segurs i alineats amb els objectius de la humanitat.

La coneguda multinacional IBM també ha advertit dels riscos de l'agència en una guia que ha publicat enguany. Diuen que els agents IA haurien de ser tractats com si fossin un infiltrat o informant intern i que hauríem d'analitzar i gestionar els seus riscos com es fa amb qualsevol altra amenaça interna. Proposen una sèrie de mesures per a minimitzar aquests riscos, que són, almenys en part, contràries a l'agència que és precisament l'avantatge i el tret distintiu dels agents.

La difusió dels agents ha demostrat que no han estat molt acurats... Bé, pensarem que encara no han automatitzat les centrals nuclears per agents (prefereixo Homer Simpson!) o que l'anàlisi de les amenaces nuclears i el control dels arsenals no han estat lliurats a un agent AA (no vam aprendre res de la pel·lícula WarGames de 1983? ;-).

No massa intel·ligents, defectuosos

No obstant això, crec que el principal risc de donar agència als LLM ara com ara no prové de la possibilitat de tornar-se massa ràpids, conscients i malvats i causar danys deliberats. Al contrari: la intel·ligència artificial actual és sovint bastant estúpida i comet molts errors. Per tant, els danys que els agents poden causar en l'actualitat seran més a causa de la banalitat.

De fet, ja hi ha hagut incidents amb agents AA. OpenClaw, per exemple, ha superat la grandària de les seves funcions i ha eliminat els documents dels usuaris. Alguns ajudants de programació han eliminat les bases de dades de producció; d'altra banda, se sap que aquests amb freqüència poden generar codi defectuós o amb forats de seguretat, i com també se'ls pot dir que els portin directament a la producció o els publiquin sense repassar... I en la xarxa s'esmenten casos en els quals l'usuari ha hagut de pagar més o en ocasions fins i tot menys del que deuria per les fallades dels bots o agents de compres.

A més dels errors que poden cometre els propis LLM, també hi ha problemes provocats per persones que s'aprofiten de les fallades de seguretat que tenen. Enganyant verbalment el LLM, o utilitzant una via una mica més sofisticada coneguda com prompt injection, han obtingut preus ridículs dels bots o agents de compres, com un nou Chevrolet per un dòlar. O si OpenClaw està col·locat per a respondre correus electrònics automàticament, es pot obtenir informació confidencial si s'aconsegueix enganyar l'agent.

Vostè, lector, amb la seva experiència amb bots com ChatGPT, Gemini o similars, li donaria a un agent basat en aquests LLM l'oportunitat no sols d'accedir als documents del seu disc dur, sinó també la capacitat de modificar-los i eliminar-los? O anant més enllà, li encarregaries planificar un viatge, inclosos els llocs a visitar, les reserves d'allotjaments i els bitllets d'avió? Bé, perquè si t'animes, sàpigues que hi ha molts agents així.