Texto redactado en euskara y traducido automáticamente por Elia y sin posterior revisión. VER ORIGINAL

Dando a los chatbots un conocimiento actualizado y personalizado

Es innegable que los chatbots y los grandes LLM o modelos lingüísticos en los que se basan tienen un gran conocimiento sobre temas múltiples y son capaces de responder a una gran cantidad de preguntas de forma adecuada. Y también es cierto que con frecuencia cometen errores en las respuestas, sobre todo en cuestiones muy especializadas o de actualidad. Pero es posible obtener mejores respuestas utilizando la técnica RAG.

Igor Leturia Azkarate

En dos artículos de esta sección sobre inteligencia artificial creativa, LLM o grandes modelos lingüísticos y chatbot, entre otros, os hemos explicado que ChatGPT, Gemini, Copilot y Claude, entre otros, no son realmente inteligentes, es decir, no entienden los hechos, razonan sobre ellos y sacan conclusiones. Son máquinas puramente probabilísticas que devuelven la siguiente palabra más probable de una sucesión de palabras y la encadenan de nuevo a la entrada, y que “aprenden” estas probabilidades de los textos. Sin embargo, el uso de estructuras inmensas y complejas para almacenar las probabilidades estudiadas y realizar nuevos cálculos con ellas, la utilización de colecciones textuales extraordinariamente grandes en el “proceso de aprendizaje” y el hecho de que este proceso es largo, difícil y costoso, y que se les puede dar largas secuencias de palabras, hacen que la sintaxis y semántica del lenguaje (de diferentes lenguas), así como un gran conocimiento general del mundo, lleguen a asimilar perfectamente, y sean capaces de imitar lo que parecen ser una especie de habilidades lógicas. De esta manera, pueden responder o resolver una gran cantidad de preguntas o tareas, como ya hemos comprobado todos.

Mal, especialmente en temas muy especializados o de actualidad

Sin embargo (y esto también lo hemos comprobado todos), a menudo dan respuestas equivocadas. Las llamadas “alucinaciones” en la terminología técnica de la IA no permiten prever cuándo o por qué se producirán. A veces es posible que haya demasiada información sobre el tema, que haya información contradictoria, que la ficción y la realidad aparezcan juntas... (Es decir, demasiadas cosas en la cabeza ;-). O la forma de preguntar ha despertado la conexión con un texto erróneo. Quién sabe.

Existen, sin embargo, algunos casos en los que estos grandes modelos lingüísticos se desenvuelven especialmente mal. Una de ellas es cuando el tema de la pregunta es muy especializado. Es posible que no haya textos de tema tan diferenciado o que respondan a esa pregunta precisamente en los textos que se les han dado para “aprender”, o que estén presentes pero pocas veces y “pierdan” ese conocimiento entre todo lo demás o “olviden” luego por la causa de todo lo que ha tenido que “aprender”. De nuevo, quién sabe. Esto sucede a menudo con preguntas sobre la cultura vasca, por ejemplo.

Algo similar ocurre en las preguntas sobre temas muy relacionados con la actualidad. Como hemos dicho antes, el proceso de “aprender” o entrenar de grandes modelos lingüísticos suele ser muy largo y costoso; incluso en centros de datos muy potentes, puede llevar varios meses. Por eso, para cuando sale una nueva versión de uno de estos chatbots, el mundo que él conoce suele ser de meses bastante antes, y no sabe nada de los acontecimientos del último tiempo, y así será a lo largo de otros meses hasta que salga la siguiente versión. Por lo tanto, es absolutamente imposible que un LLM por sí solo responda bien sobre los acontecimientos recientes.

Por último, entre los temas que un chatbot no puede responder está el relativo a la información que no está disponible públicamente, por supuesto. No podremos preguntarle sobre la información contenida en algún documento interno de nuestra empresa, asociación u organización, ya que este documento privado no ha visto los chatbots durante el entrenamiento.

La posibilidad (o, a veces, la certeza, como hemos visto) de dar respuestas incorrectas en los casos mencionados es un problema aún mayor, teniendo en cuenta que las LLM siempre responden algo y con toda certeza además. En realidad no dicen que no saben o que no están seguros de algo, para ello se les ponen por delante unos filtros con unas respuestas predefinidas, pero no son perfectas y muchas veces fallan también.

Solución: Técnica RAG

Hemos dicho más arriba que no es posible que un LLM por sí solo responda a acontecimientos recientes. Y la clave de la solución está en la precisión de “solo él”. En efecto, aunque el principal componente de un chatbot es su alto modelo lingüístico, se precisan otros elementos. Un ejemplo son los filtros mencionados anteriormente. Y otra, muy útil en todas las fuentes de error citadas, es la técnica RAG.

Las siglas RAG se refieren a Retrieval Augmented Generation o “generación asistida por búsqueda”, y la técnica consiste básicamente en aprovechar las búsquedas que se realizan en una serie de documentos. Antes de pasar la misma pregunta al LLM, se le pide a un buscador que devuelva los documentos que puedan tener relación con la pregunta y luego se le pasa al LLM la pregunta y los documentos, diciendo que le respondan a la pregunta de cómo aprovechar la información de estos documentos.

Esto mejora considerablemente las posibilidades de que los grandes modelos lingüísticos respondan con éxito a los difíciles tipos de preguntas que hemos enumerado en el apartado anterior. Las alucinaciones generales serán menos propensas si se le proporciona un documento o un pequeño juego de documentos con respuesta que si él o ella tiene que extraer probabilísticamente la respuesta de toda la información que tiene codificada de forma difusa. Por esta misma razón, responderá mejor a las consultas muy especializadas, máxime teniendo en cuenta que en estos casos no incluye con frecuencia dicha información. Y lo mismo en las consultas relacionadas con la actualidad: aunque la LLM no sepa nada de los nuevos hechos porque nunca los ha “visto”, será capaz de responder adecuadamente pasando la documentación de los mismos.

«Además de aumentar la precisión de las respuestas, se puede mostrar en qué fuente se basa la respuesta»

Además de aumentar la precisión de las respuestas, la técnica RAG tiene otra gran ventaja: se puede mostrar en qué fuente se basa la respuesta. De esta forma, el usuario puede comprobar si la respuesta es correcta (ya que las respuestas pueden ser incorrectas incluso utilizando el RAG) y recibir información más allá de la respuesta y ampliar el conocimiento.

La técnica RAG tampoco es perfecta, por supuesto. Para ser útil, la búsqueda debe funcionar correctamente. Si la información que responde a la pregunta no está entre los primeros resultados de la búsqueda, o si existe información incorrecta o contradictoria, luego el LLM tendrá dificultades para dar una respuesta adecuada en base a ellos.

Aunque no era así al principio, hoy en día los chatbots más populares permiten aprovechar el RAG. El ChatGPT, por ejemplo, puso la posibilidad de realizar el RAG en octubre de 2024. Al hacer la pregunta al chatbot, si nos parece que buscando en la web nos va a responder mejor, podemos marcar la opción de “Web Search”; e incluso sin que lo digamos nosotros, a veces él decide que la búsqueda puede ayudar, y lo hace. En estos casos, muestra inicialmente un mensaje como “Buscando en la web...” y muestra las fuentes junto con la respuesta. Por otro lado, la popular herramienta NotebookLM de Google se basa en un concepto similar al RAG, pero sin búsqueda: nosotros subimos directamente los documentos que utilizará para responder las preguntas.

La técnica de RAG también sirve para resolver el último de los casos enumerados anteriormente, relativo a preguntas sobre información dentro de la propia organización. Si construimos un buscador que busque en nuestros documentos internos, podemos hacer un chatbot para uso interno que facilite nuestro trabajo. Sin embargo, en ese caso también deberíamos tener el LLM dentro de la organización, porque no es buena idea subir nuestros documentos privados a los chatbots de los gigantes tecnológicos... Afortunadamente, hay opciones para ello, como el chatbot desarrollado por Orai: Brote. Se trata de un pequeño SLM (y por tanto más económico y sostenible para su puesta en marcha), que funciona muy bien en tareas laborales habituales y con gran dominio del euskera, pensado para su instalación en los propios servidores. Y con esta misma metodología (nuestro buscador de documentos publicables para realizar el RAG y el LLM o SLM propio), también podemos construir un chatbot especializado para nuestra web.