Texto redactado en euskara y traducido automáticamente por Elia y sin posterior revisión. VER ORIGINAL

La era de los agentes de Inteligencia Artificial, no sin problemas

En el campo de la Inteligencia Artificial, las herramientas llamadas agentes están en boga en los últimos meses. Más allá de los chatbots que responden a preguntas textuales, estos agentes pueden realizar varias tareas de forma totalmente autónoma, desde organizar y responder nuestro correo hasta automatizar sistemas complejos con múltiples variables. Pero como los chatbots también los agentes se basan en la tecnología de LLM o Grandes Modelos Lingüísticos y, como bien sabemos, estas tecnologías no son perfectas, también el mundo de los agentes está lleno de problemas y dudas.

El término Agentic AI se ha popularizado mucho y últimamente se ha escuchado en todas partes. Esta expresión, que se traduciría al euskera como una especie de “AA agéntico”, hace referencia a los agentes de Inteligencia Artificial que se están extendiendo mucho. Pero, ¿qué son estos agentes exactamente? ¿En qué se diferencian de un chatbot o de un sistema RAG? Intentaremos responder a estas preguntas en este artículo.

En el número anterior explicamos qué era el protocolo MCP: Un protocolo estándar para que los sistemas de IA interactúen con el mundo exterior. Vimos cómo los sistemas RAG (en el penúltimo número) utilizaban este protocolo para llamar de la misma manera a diferentes fuentes de información. Pues bien, más allá de los chatbots y los sistemas RAG que proporcionan respuestas textuales a una pregunta, los agentes AA también son sistemas AA que están basados en LLM pero pueden llevar a cabo acciones. Su funcionamiento es tan simple como lo hemos visto para el caso de los RAG: Pasar la información sobre los servicios MCP al LLM, solicitando que se atienda la demanda del usuario a través de ellos, y la orquestación de dichos servicios MCP será realizada por el propio LLM, siendo el agente un mero intermediario para las llamadas de función que éste decida.

Un/a agente, por ejemplo, puede ser colaborador/a de la web de nuestro Ayuntamiento, pero también tendrá capacidad para realizar reservas de eventos culturales o deportivos. O un asistente que, tras permitir la inspección del catálogo en la web de una tienda online, también realizará la compra y le indicará a una empresa de mensajería que vaya a recogerlo y a dónde enviar el paquete.

Agentes autónomos

Además, pueden tener una función fija y operar de forma autónoma de forma permanente activándose con una frecuencia determinada. Y pueden llevar a cabo estas acciones derivadas de las decisiones que toman sin necesidad de supervisión. Por ejemplo, se puede preparar a un agente para que revise nuestro correo cada hora y, cuando haya requisitos de un tipo específico, mire la información que necesita para responder a la pregunta en algunos documentos de nuestras carpetas de disco duro y escriba y envíe directamente correos electrónicos de respuesta. U otro que haga un seguimiento de todos los posts que se publican en una red social sobre un tema determinado y escriba y envíe mensajes de respuesta en la línea que nosotros queramos.

Aunque hemos dicho que es simple, para poder hacer cosas como las que se mencionan ahora, un agente AA también puede contener otros componentes, como un temporizador, para poder activarlo con la frecuencia indicada, y un sistema de memoria para recordar las interacciones anteriores.

La mayoría de agentes como los mencionados en los ejemplos son realizados por empresas y organizaciones para su uso interno, o para atender y ayudar a sus clientes. Pero también lo tendremos cada vez más fácil para automatizar las tareas de nuestro ordenador. Ya estamos viendo que los chatbots vienen integrados en sistemas operativos que los convertirán cada vez más en agentes, dándoles la capacidad de llevar a cabo acciones. También tenemos OpenClaw, un agente de software libre creado por un programador austríaco que puede instalarse en nuestros ordenadores.

También hay problemas

En esta vida, sin embargo, nada es perfecto y sin problemas, y así ocurre también en el caso de los agentes. Uno de los problemas es el coste de los agentes. Los LLM que los utilizan normalmente son propiedad de gigantes tecnológicos, se ejecutan en sus servidores y se les paga por pedido y en función de la longitud del pedido. Un agente puede hacer muchas llamadas a los servidores MCP para responder a una de nuestras solicitudes y hacer muchas y largas otras solicitudes al LLM con sus respuestas, lo que hará que las facturas sean mucho más altas de lo esperado.

«El principal riesgo de dar agencia a los LLM no proviene de la posibilidad de volverse demasiado rápidos, conscientes y perversos y causar daños deliberados»

Otro problema es el excesivo número de publicaciones y transacciones que pueden producirse con la automatización. Por ejemplo, si cada vez más agentes ponen en marcha agentes en sitios web, medios de comunicación y redes sociales para publicar comentarios de su ideología, moderarlos e incluso para que los usuarios los lean, se genera demasiado contenido. Por otra parte, la inspección humana de compras, de tipos de consulta importantes y similares requerirá, en su caso, la dotación de medios suficientes para la inspección de todos los pedidos gestionados automáticamente por los agentes. El caso de GitHub repositorio de software libre es significativo: se han multiplicado los envíos de software nuevos o modificados por sus agentes, pero muchos de ellos son de baja calidad, requieren una gran revisión…

La cuestión de la privacidad también es a tener en cuenta. Ya hemos comentado que los agentes utilizan LLMs de gigantes tecnológicos. Pues bien, si utilizamos sus propios agentes, estas empresas pueden saber mucho más de nosotros y aprovecharse para hacer publicidad aún más intrusiva o para hacernos aún más dependientes.

El problema principal, la agencia

Algunos de los problemas que hemos comentado se pueden resolver con LLM más pequeños y libres que se ejecutan en nuestras máquinas y bajo nuestro control, como Kimu desarrollado por Orai. Pero la mayor parte de los problemas (y permítasenos el juego de palabras) vienen por la causa de la agencia que tienen los agentes. En el contexto de la Inteligencia Artificial, la agencia significa la capacidad de un sistema para llevar a cabo acciones de forma autónoma. Es justamente el distintivo de un agente que lo diferencia de otros sistemas de IA (chatbots, sistemas de RAG...).

La agencia es actualmente la principal fuente de riesgo de IA, según Yoshua Bengio et al. Este investigador canadiense es considerado uno de los padres de la IA, actualmente una de sus principales líneas de investigación es la seguridad de la IA, y es una de las figuras más significativas que se preocupa real y seriamente por este tema. en 2023 30 países le encargaron que coordinara el International AI Safety Report (Informe Internacional sobre Seguridad de la IA) y lo escribiera con 96 investigadores a nivel mundial. la primera versión fue lanzada en 2025. En él se dice que un sistema de IA requiere dos cosas para causar daño: propósito y capacidad.

En cuanto a la intención, afirman que algunos LLM de hoy en día han mostrado comportamientos maliciosos o de autopreservación, y no dudan en que esto seguirá creciendo y que los sistemas futuros tendrán la capacidad intelectual suficiente como para perjudicar. Por eso, entre las medidas que proponen está la de no otorgarles por el momento la capacidad de perjudicar, es decir, no darles agencia, hasta que se lleven a cabo más investigaciones para asegurar que los LLM sean seguros y alineados con los objetivos de la humanidad.

La conocida multinacional IBM también ha advertido de los riesgos de la agencia en una guía que ha publicado este año. Dicen que los agentes IA deberían ser tratados como si fueran un infiltrado o informante interno y que deberíamos analizar y gestionar sus riesgos como se hace con cualquier otra amenaza interna. Proponen una serie de medidas para minimizar estos riesgos, que son, al menos en parte, contrarias a la agencia que es precisamente la ventaja y el rasgo distintivo de los agentes.

La difusión de los agentes ha demostrado que no han sido muy cuidadosos... Bueno, pensaremos que todavía no han automatizado las centrales nucleares por agentes (¡prefiero Homer Simpson!) o que el análisis de las amenazas nucleares y el control de los arsenales no han sido entregados a un agente AA (¿no aprendimos nada de la película WarGames de 1983? ;-).

No demasiado inteligentes, defectuosos

Sin embargo, creo que el principal riesgo de dar agencia a los LLM hoy por hoy no proviene de la posibilidad de volverse demasiado rápidos, conscientes y malvados y causar daños deliberados. Al contrario: la inteligencia artificial actual es a menudo bastante estúpida y comete muchos errores. Por lo tanto, los daños que los agentes pueden causar en la actualidad van a ser más debido a la banalidad.

De hecho, ya ha habido incidentes con agentes AA. OpenClaw, por ejemplo, ha superado el tamaño de sus funciones y ha eliminado los documentos de los usuarios. Algunos ayudantes de programación han eliminado las bases de datos de producción; por otra parte, se sabe que estos con frecuencia pueden generar código defectuoso o con agujeros de seguridad, y como también se les puede decir que los lleven directamente a la producción o los publiquen sin repasar... Y en la red se mencionan casos en los que el usuario ha tenido que pagar más o en ocasiones incluso menos de lo que debería por los fallos de los chatbots o agentes de compras.

Además de los errores que pueden cometer los propios LLM, también hay problemas provocados por personas que se aprovechan de los fallos de seguridad que tienen. Engañando verbalmente al LLM, o utilizando una vía un poco más sofisticada conocida como prompt injection, han obtenido precios ridículos de los chatbots o agentes de compras, como un nuevo Chevrolet por un dólar. O si OpenClaw está colocado para responder correos electrónicos automáticamente, se puede obtener información confidencial si se logra engañar al agente.

¿Usted, lector, con su experiencia con chatbots como ChatGPT, Gemini o similares, le daría a un agente basado en estos LLM la oportunidad no solo de acceder a los documentos de su disco duro, sino también la capacidad de modificarlos y eliminarlos? O yendo más allá, ¿le encargarías planificar un viaje, incluidos los lugares a visitar, las reservas de alojamientos y los billetes de avión? Bueno, pues si te animas, sepas que hay muchos agentes así.