Texto redactado en euskara e traducido automaticamente por Elia e sen posterior revisión. VER ORIXINAL

A era dos axentes de Intelixencia Artificial, non sen problemas

No campo da Intelixencia Artificial, as ferramentas chamadas axentes están en boga nos últimos meses. Máis aló dos chatbots que responden a preguntas textuais, estes axentes poden realizar varias tarefas de forma totalmente autónoma, desde organizar e responder o noso correo até automatizar sistemas complexos con múltiples variables. Pero como os chatbots tamén os axentes baséanse na tecnoloxía de LLM ou Grandes Modelos Lingüísticos e, como ben sabemos, estas tecnoloxías non son perfectas, tamén o mundo dos axentes está cheo de problemas e dúbidas.

O termo Agentic AI popularizouse moito e ultimamente escoitouse en todas partes. Esta expresión, que se traduciría ao euskera como unha especie de “AA agéntico”, fai referencia aos axentes de Intelixencia Artificial que se están estendendo moito. Pero, que son estes axentes exactamente? En que se diferencian dun chatbot ou dun sistema RAG? Tentaremos responder a estas preguntas neste artigo.

No número anterior explicamos que era o protocolo MCP: Un protocolo estándar para que os sistemas de IA interactúen co mundo exterior. Vimos como os sistemas RAG (no penúltimo número) utilizaban este protocolo para chamar da mesma maneira a diferentes fontes de información. Pois ben, máis aló dos chatbots e os sistemas RAG que proporcionan respostas textuais a unha pregunta, os axentes AA tamén son sistemas AA que están baseados en LLM pero poden levar a cabo acciones. O seu funcionamento é tan simple como o vimos para o caso da RAG: Pasar a información sobre os servizos MCP ao LLM, solicitando que se atenda a demanda do usuario a través deles, e a orquestación de devanditos servizos MCP será realizada polo propio LLM, sendo o axente un mero intermediario para as chamadas de función que este decida.

Un/a axente, por exemplo, pode ser colaborador/a da web do noso Concello, pero tamén terá capacidade para realizar reservas de eventos culturais ou deportivos. Ou un asistente que, tras permitir a inspección do catálogo na web dunha tenda online, tamén realizará a compra e indicaralle a unha empresa de mensaxería que vaia recollelo e onde enviar o paquete.

Axentes autónomos

Ademais, poden ter unha función fixa e operar de forma autónoma de forma permanente activándose cunha frecuencia determinada. E poden levar a cabo estas accións derivadas das decisións que toman sen necesidade de supervisión. Por exemplo, pódese preparar a un axente para que revise o noso correo cada hora e, cando haxa requisitos dun tipo específico, mire a información que necesita para responder á pregunta nalgúns documentos dos nosos cartafoles de disco duro e escriba e envíe directamente correos electrónicos de resposta. Ou outro que faga un seguimento de todos os posts que se publican nunha rede social sobre un tema determinado e escriba e envíe mensaxes de resposta na liña que nós queiramos.

Aínda que dixemos que é simple, para poder facer cousas como as que se mencionan agora, un axente AA tamén pode conter outros compoñentes, como un temporizador, para poder activalo coa frecuencia indicada, e un sistema de memoria para lembrar as interaccións anteriores.

A maioría de axentes como os mencionados nos exemplos son realizados por empresas e organizacións para o seu uso interno, ou para atender e axudar aos seus clientes. Pero tamén o teremos cada vez máis fácil para automatizar as tarefas do noso computador. Xa estamos a ver que os chatbots veñen integrados en sistemas operativos que os converterán cada vez máis en axentes, dándolles a capacidade de levar a cabo acciones. Tamén temos OpenClaw, un axente de software libre creado por un programador austríaco que pode instalarse nos nosos computadores.

Tamén hai problemas

Nesta vida, con todo, nada é perfecto e sen problemas, e así ocorre tamén no caso dos axentes. Un dos problemas é o custo dos axentes. Os LLM que os utilizan normalmente son propiedade de xigantes tecnolóxicos, execútanse nos seus servidores e págaselles por pedido e en función da lonxitude do pedido. Un axente pode facer moitas chamadas aos servidores MCP para responder a unha das nosas solicitudes e facer moitas e longas outras solicitudes ao LLM coas súas respostas, o que fará que as facturas sexan moito máis altas do esperado.

«O principal risco de dar axencia aos LLM non provén da posibilidade de volverse demasiado rápidos, conscientes e perversos e causar danos deliberados»

Outro problema é o excesivo número de publicacións e transaccións que poden producirse coa automatización. Por exemplo, si cada vez máis axentes pon en marcha axentes en sitios web, medios de comunicación e redes sociais para publicar comentarios da súa ideoloxía, moderalos e mesmo para que os usuarios os lean, xérase demasiado contido. Por outra banda, a inspección humana de compras, de tipos de consulta importantes e similares requirirá, no seu caso, a dotación de medios suficientes para a inspección de todos os pedidos xestionados automaticamente polos axentes. O caso de GitHub repositorio de software libre é significativo: multiplicáronse os envíos de software novos ou modificados polos seus axentes, pero moitos deles son de baixa calidade, requiren unha gran revisión…

A cuestión da privacidade tamén é a ter en conta. Xa comentamos que os axentes utilizan LLMs de xigantes tecnolóxicos. Pois ben, si utilizamos os seus propios axentes, estas empresas poden saber moito máis de nós e aproveitarse para facer publicidade aínda máis intrusiva ou para facernos aínda máis dependentes.

O problema principal, a axencia

Algúns dos problemas que comentamos pódense resolver con LLM máis pequenos e libres que se executan nas nosas máquinas e baixo o noso control, como Kimu desenvolvido por Orai. Pero a maior parte dos problemas (e permítallenos o xogo de palabras) veñen pola causa da axencia que teñen os axentes. No contexto da Intelixencia Artificial, a axencia significa a capacidade dun sistema para levar a cabo acciones de forma autónoma. É xustamente o distintivo dun axente que o diferencia doutros sistemas de IA (chatbots, sistemas de RAG...).

A axencia é actualmente a principal fonte de risco de IA, segundo Yoshua Bengio et ao. Este investigador canadense é considerado un dos pais da IA, actualmente unha das súas principais liñas de investigación é a seguridade da IA, e é unha das figuras máis significativas que se preocupa real e seriamente por este tema. en 2023 30 países encargáronlle que coordinase o International AI Safety Report (Informe Internacional sobre Seguridade da IA) e escribíseo con 96 investigadores a nivel mundial. a primeira versión foi lanzada en 2025. Nel dise que un sistema de IA require dúas cousas para causar dano: propósito e capacidade.

En canto á intención, afirman que algúns LLM de hoxe en día mostraron comportamentos maliciosos ou de autopreservación, e non dubidan en que isto seguirá crecendo e que os sistemas futuros terán a capacidade intelectual suficiente como para prexudicar. Por iso, entre as medidas que propoñen está a de non outorgarlles polo momento a capacidade de prexudicar, é dicir, non darlles axencia, ata que leven a cabo máis investigacións para asegurar que os LLM sexan seguros e aliñados cos obxectivos da humanidade.

A coñecida multinacional IBM tamén advertiu dos riscos da axencia nunha guía que publicou este ano. Din que os axentes IA deberían ser tratados coma se fosen un infiltrado ou informante interno e que deberiamos analizar e xestionar os seus riscos como se fai con calquera outra ameaza interna. Propoñen unha serie de medidas para minimizar estes riscos, que son, polo menos en parte, contrarias á axencia que é precisamente a vantaxe e o trazo distintivo dos axentes.

A difusión dos axentes demostrou que non foron moi coidadosos... Bo, pensaremos que aínda non han automatizado as centrais nucleares por axentes (prefiro Homer Simpson!) ou que a análise das ameazas nucleares e o control dos arsenais non foron entregados a un axente AA (non aprendemos nada da película WarGames de 1983? ;-).

Non demasiado intelixentes, defectuosos

Con todo, creo que o principal risco de dar axencia aos LLM neste momento non provén da posibilidade de volverse demasiado rápidos, conscientes e malvados e causar danos deliberados. Ao contrario: a intelixencia artificial actual é a miúdo bastante estúpida e comete moitos erros. Por tanto, os danos que os axentes poden causar na actualidade van ser máis debido á banalidade.

De feito, xa houbo incidentes con axentes AA. OpenClaw, por exemplo, superou o tamaño das súas funcións e eliminou os documentos dos usuarios. Algúns axudantes de programación eliminaron as bases de datos de produción; por outra banda, sábese que estes con frecuencia poden xerar código defectuoso ou con buracos de seguridade, e como tamén se lles pode dicir que os leven directamente á produción ou os publiquen sen repasar... E na rede menciónanse casos nos que o usuario tivo que pagar máis ou en ocasións mesmo menos do que debería polos fallos dos chatbots ou axentes de compras.

Ademais dos erros que poden cometer os propios LLM, tamén hai problemas provocados por persoas que se aproveitan dos fallos de seguridade que teñen. Enganando verbalmente ao LLM, ou utilizando unha vía un pouco máis sofisticada coñecida como prompt injection, obtiveron prezos ridículos dos chatbots ou axentes de compras, como un novo Chevrolet por un dólar. Ou si OpenClaw está colocado para responder correos electrónicos automaticamente, pódese obter información confidencial si lógrase enganar ao axente.

Vostede, lector, coa súa experiencia con chatbots como ChatGPT, Gemini ou similares, daríalle a un axente baseado nestes LLM a oportunidade non só de acceder aos documentos do seu disco duro, senón tamén a capacidade de modificalos e eliminalos? Ou indo máis aló, encargaríaslle planificar unha viaxe, incluídos os lugares a visitar, as reservas de aloxamentos e os billetes de avión? Bo, pois si che animas, saibas que hai moitos axentes así.