Texto redactado en euskara e traducido automaticamente por Elia e sen posterior revisión. VER ORIXINAL

Dando aos chatbots un coñecemento actualizado e personalizado

É innegable que os chatbots e os grandes LLM ou modelos lingüísticos nos que se basean teñen un gran coñecemento sobre temas múltiples e son capaces de responder a unha gran cantidade de preguntas de forma axeitada. E tamén é certo que con frecuencia cometen erros nas respostas, sobre todo en cuestións moi especializadas ou de actualidade. Pero é posible obter mellores respostas utilizando a técnica RAG.

Igor Leturia Azkarate

En dous artigos desta sección sobre intelixencia artificial creativa, LLM ou grandes modelos lingüísticos e chatbot, entre outros, explicámosvos que ChatGPT, Gemini, Copilot e Claude, entre outros, non son realmente intelixentes, é dicir, non entenden os feitos, razoan sobre eles e sacan conclusións. Son máquinas puramente probabilísticas que devolven a seguinte palabra máis probable dunha sucesión de palabras e encadéana de novo á entrada, e que “aprenden” estas probabilidades dos textos. Con todo, o uso de estruturas inmensas e complexas para almacenar as probabilidades estudadas e realizar novos cálculos con elas, a utilización de coleccións textuais extraordinariamente grandes no “proceso de aprendizaxe” e o feito de que este proceso é longo, difícil e custoso, e que se lles pode dar longas secuencias de palabras, fan que a sintaxe e semántica da linguaxe (de diferentes linguas), así como un gran coñecemento xeral do mundo, cheguen a asimilar perfectamente, e sexan capaces de imitar o que parecen ser unha especie de habilidades lóxicas. Desta maneira, poden responder ou resolver unha gran cantidade de preguntas ou tarefas, como xa comprobamos todos.

Mal, especialmente en temas moi especializados ou de actualidade

Con todo (e isto tamén o comprobamos todos), a miúdo dan respostas equivocadas. As chamadas “alucinacións” na terminología técnica da IA non permiten prever cando ou por que se producirán. Ás veces é posible que haxa demasiada información sobre o tema, que haxa información contraditoria, que a ficción e a realidade aparezan xuntas... (É dicir, demasiadas cousas na cabeza ;-). Ou a forma de preguntar espertou a conexión cun texto erróneo. Quen sabe.

Existen, con todo, algúns casos nos que estes grandes modelos lingüísticos desenvólvense especialmente mal. Unha delas é cando o tema da pregunta é moi especializado. É posible que non haxa textos de tema tan diferenciado ou que respondan a esa pregunta precisamente nos textos que se lles deron para “aprender”, ou que estean presentes pero poucas veces e “perdan” ese coñecemento entre todo o demais ou “esquezan” logo pola causa de todo o que tivo que “aprender”. De novo, quen sabe. Isto sucede a miúdo con preguntas sobre a cultura vasca, por exemplo.

Algo similar ocorre nas preguntas sobre temas moi relacionados coa actualidade. Como dixemos antes, o proceso de “aprender” ou adestrar de grandes modelos lingüísticos adoita ser moi longo e custoso; mesmo en centros de datos moi potentes, pode levar varios meses. Por iso, para cando salgue unha nova versión dun destes chatbots, o mundo que el coñece adoita ser de meses bastante antes, e non sabe nada dos acontecementos do último tempo, e así será ao longo doutros meses ata que saia a seguinte versión. Por tanto, é absolutamente imposible que un LLM por si só responda ben sobre os acontecementos recentes.

Por último, entre os temas que un chatbot non pode responder está o relativo á información que non está dispoñible publicamente, por suposto. Non poderemos preguntarlle sobre a información contida nalgún documento interno da nosa empresa, asociación ou organización, xa que este documento privado non viu os chatbots durante o adestramento.

A posibilidade (ou, ás veces, a certeza, como vimos) de dar respostas incorrectas nos casos mencionados é un problema aínda maior, tendo en conta que as LLM sempre responden algo e con toda certeza ademais. En realidade non din que non saben ou que non están seguros de algo, para iso pónselles por diante uns filtros cunhas respostas predefinidas, pero non son perfectas e moitas veces fallan tamén.

Solución: Técnica RAG

Dixemos máis arriba que non é posible que un LLM por si só responda a acontecementos recentes. E a clave da solución está na precisión de “só el”. En efecto, aínda que o principal compoñente dun chatbot é o seu alto modelo lingüístico, precísanse outros elementos. Un exemplo son os filtros mencionados anteriormente. E outra, moi útil en todas as fontes de erro citadas, é a técnica RAG.

As siglas RAG refírense a Retrieval Augmented Generation ou “xeración asistida por procura”, e a técnica consiste basicamente en aproveitar as procuras que se realizan nunha serie de documentos. Antes de pasar a mesma pregunta ao LLM, pídeselle a un buscador que devolva os documentos que poidan ter relación coa pregunta e logo pásaselle ao LLM a pregunta e os documentos, dicindo que lle respondan á pregunta de como aproveitar a información destes documentos.

Isto mellora considerablemente as posibilidades de que os grandes modelos lingüísticos respondan con éxito aos difíciles tipos de preguntas que enumeramos no apartado anterior. As alucinacións xerais serán menos propensas se se lle proporciona un documento ou un pequeno xogo de documentos con resposta que se el ou ela ten que extraer probabilísticamente a resposta de toda a información que ten codificada de forma difusa. Por esta mesma razón, responderá mellor ás consultas moi especializadas, máxime tendo en conta que nestes casos non inclúe con frecuencia devandita información. E o mesmo nas consultas relacionadas coa actualidade: aínda que a LLM non saiba nada dos novos feitos porque nunca os viu “”, será capaz de responder adecuadamente pasando a documentación dos mesmos.

«Ademais de aumentar a precisión das respostas, pódese mostrar en que fonte baséase a resposta»

Ademais de aumentar a precisión das respostas, a técnica RAG ten outra gran vantaxe: pódese mostrar en que fonte baséase a resposta. Desta forma, o usuario pode comprobar si a resposta é correcta (xa que as respostas poden ser incorrectas incluso utilizando a RAG) e recibir información máis aló da resposta e ampliar o coñecemento.

A técnica RAG tampouco é perfecta, por suposto. Para ser útil, a procura debe funcionar correctamente. Se a información que responde á pregunta non está entre os primeiros resultados da procura, ou si existe información incorrecta ou contraditoria, daquela o LLM terá dificultades para dar unha resposta axeitada en base a eles.

Aínda que non era así ao principio, hoxe en día os chatbots máis populares permiten aproveitar a RAG. O ChatGPT, por exemplo, puxo a posibilidade de realizar a RAG en outubro de 2024. Ao facer a pregunta ao chatbot, se nos parece que buscando na web vainos a responder mellor, podemos marcar a opción de “Web Search”; e mesmo sen que o digamos nós, ás veces el decide que a procura pode axudar, e faio. Nestes casos, mostra inicialmente unha mensaxe como “Buscando na web...” e mostra as fontes xunto coa resposta. Doutra banda, a popular ferramenta NotebookLM de Google baséase nun concepto similar á RAG, pero sen procura: nós subimos directamente os documentos que utilizará para responder as preguntas.

A técnica de RAG tamén serve para resolver o último dos casos enumerados anteriormente, relativo a preguntas sobre información dentro da propia organización. Se construímos un buscador que busque nos nosos documentos internos, podemos facer un chatbot para uso interno que facilite o noso traballo. Con todo, nese caso tamén deberiamos ter o LLM dentro da organización, porque non é boa idea subir os nosos documentos privados aos chatbots dos xigantes tecnolóxicos... Afortunadamente, hai opcións para iso, como o chatbot desenvolvido por Orai: Brote. Trátase dun pequeno SLM (e por tanto máis económico e sostible para a súa posta en marcha), que funciona moi ben en tarefas laborais habituais e con gran dominio do eúscaro, pensado para a súa instalación nos propios servidores. E con esta mesma metodoloxía (o noso buscador de documentos publicables para realizar a RAG e o LLM ou SLM propio), tamén podemos construír un chatbot especializado para a nosa web.