Texte rédigé en basque et traduit automatiquement par Elia sans révision postérieure. VOIR L'ORIGINAL

Fournir aux chatbots un savoir-faire à jour et personnalisé

Il est indéniable que les chatbots et les grands modèles de LLM ou de langues sur lesquels ils reposent ont une connaissance approfondie de nombreux sujets et sont capables de répondre de manière appropriée à de nombreuses questions. Et il est vrai aussi qu'ils commettent souvent des erreurs dans leurs réponses, surtout sur des sujets très spécialisés ou d'actualité. Mais il y a un moyen d'obtenir de meilleures réponses en utilisant la technique RAG.

Igor Leturia Azkarate

Dans deux articles écrits précédemment dans cette section sur l'intelligence artificielle créative, LLM ou les grands modèles linguistiques et les chatbots, nous vous avons expliqué que ChatGPT, Gemini, Copilot et Claude, entre autres, ne sont pas vraiment intelligents, c'est-à-dire qu'ils ne comprennent pas les faits, ne les raisonnent pas et ne tirent pas de conclusions. Ce sont de simples machines probabilistes qui retournent et enchaînent à nouveau le mot le plus probable suivant d’une succession de mots, et qui « apprennent » ces probabilités à partir des textes. Mais en utilisant des structures incroyablement grandes et complexes pour conserver les probabilités apprises et en faire de nouveaux calculs, en utilisant d'énormes collections de textes dans le «processus d'apprentissage», ce qui est long, difficile et coûteux, et en pouvant leur donner des séquences de mots très longues, ils parviennent également à assimiler la syntaxe et la sémantique du langage et une grande connaissance générale du monde, et sont capables d'imiter ce qui semble être une certaine capacité logique. De cette façon, ils peuvent parfaitement répondre ou résoudre un grand nombre de questions ou de tâches, comme nous l'avons tous constaté.

À tort, en particulier sur des sujets très spécialisés ou d'actualité

Or (ce que nous avons tous pu constater) ils donnent souvent de fausses réponses. Dans la terminologie technique de l’IA, ces soi-disant « hallucinations » sont imprévisibles quand et pourquoi elles se produisent. Parfois, il est possible qu’il y ait trop d’informations sur le sujet, qu’il y ait des informations contradictoires, que fiction et réalité coexistent... (C'est-à-dire, trop de choses dans la tête ;-). Ou la façon dont vous demandez a déclenché un lien avec un texte incorrect. Qui sait ?

Il y a cependant des cas où ces grands modèles linguistiques sont particulièrement mal adaptés. C'est l'un d'entre eux quand le sujet de la question est très spécialisé. Il se peut qu’il n’y ait pas de texte sur un sujet si particulier ou qui réponde à cette question dans les textes qui leur ont été donnés « pour apprendre », ou bien qu’ils soient présents mais rarement et qu’ils « perdent » cette connaissance entre tous les autres ou qu’ils « oublient » la cause de tout ce qu’ils ont ensuite dû « apprendre ». Encore une fois, qui sait ? Cela se produit souvent avec des questions sur la culture basque, par exemple.

Il en va de même pour les questions portant sur des sujets très liés à l'actualité. Comme nous l’avons déjà dit, le processus d’« apprentissage » ou de formation des grands modèles linguistiques est souvent très long et coûteux ; même s’il se déroule dans des centres de données très puissants, il peut durer plusieurs mois. C'est pourquoi, quand une nouvelle version de l'un de ces chatbots sortira, le monde qu'il connaît est généralement un mois plus tôt et il ne sait rien des événements de la dernière période, et il le sera encore pendant quelques mois, jusqu'à ce que la prochaine version soit publiée. Il est donc absolument impossible qu'un LLM réponde seul aux événements récents.

Enfin, parmi les questions auxquelles un chatbot ne peut pas répondre, il y a bien sûr celle des informations qui ne sont pas accessibles au public. Nous ne pouvons pas vous interroger sur les informations contenues dans un document interne de notre entreprise, association ou organisation, car ce document privé n'a pas été vu par le chatbot pendant la formation.

La possibilité de réponses incorrectes (ou parfois la certitude, comme nous l’avons vu) dans les cas mentionnés est un problème encore plus grand, étant donné que les LLM répondent toujours quelque chose et avec une certitude absolue. En fait, ils ne disent pas qu'ils ne savent pas quelque chose ou qu'ils ne sont pas sûrs, pour cela ils passent par des filtres avec des réponses prédéfinies, mais ils ne sont pas parfaits et ils échouent souvent aussi.

Solution : Technique RAG

Nous avons dit plus haut qu'il n'est pas possible qu'une LLM réponde seule à des événements récents. Et la clé de la solution réside dans la précision « lui seul ». En effet, bien que le principal composant d'un chatbot soit un grand modèle linguistique, il est nécessaire de disposer de plusieurs autres composants. Les filtres mentionnés ci-dessus en sont un exemple. Et l'autre, qui est très utile dans toutes les sources d'erreurs mentionnées, est la technique RAG.

Les sigles RAG signifient Retrieval Augmented Generation ou « création assistée par la recherche », et c’est en cela que consiste essentiellement la technique consistant à utiliser les recherches dans une série de documents. Avant que la même question ne soit transmise au LLM, un chercheur est invité à retourner les documents qui pourraient être liés à la question, puis la question et les documents sont transmis au LLM, lui disant de répondre à la question de l'utilisation des informations contenues dans ces documents.

Cela améliore considérablement les chances des grands modèles linguistiques de bien répondre aux types de questions difficiles que nous avons énumérées dans la section précédente. Il sera moins enclin à faire des hallucinations générales si nous lui donnons un document ou une petite série de documents contenant la réponse que s'il doit extraire de façon probabiliste la réponse de toutes les informations qu'il a codées de manière vague. Pour la même raison, il répondra également mieux aux demandes très spécialisées, d'autant plus que dans de tels cas, il ne contient souvent pas ces informations. Et il en va de même pour les consultations liées à l’actualité : même si le LLM ne sait rien des nouveaux événements parce qu’il ne les a jamais « vus », il sera en mesure de bien répondre en passant la documentation les concernant.

«En plus d'améliorer la précision des réponses, il est possible de montrer les sources sur lesquelles la réponse est basée.»

En plus d'augmenter la précision des réponses, la technique RAG présente un autre grand avantage: il est possible de montrer les sources sur lesquelles la réponse est basée. De cette façon, l'utilisateur peut s'assurer que la réponse est correcte ou non (car les réponses peuvent être erronées même en utilisant le RAG) et recevoir des informations au-delà de la réponse et augmenter la connaissance.

La technique RAG n'est pas non plus parfaite, bien sûr. Pour être utile, la recherche doit bien fonctionner. Si les informations qui répondent à la question ne figurent pas parmi les premiers résultats de la recherche, ou s'il y a des informations incorrectes ou contradictoires, alors le LLM aura du mal à fournir une réponse appropriée sur la base de ces informations.

Même si ce n'était pas le cas au départ, aujourd'hui les chatbots les plus populaires permettent de bénéficier du RAG. ChatGPT, par exemple, a mis en place la possibilité de réaliser le RAG en octobre 2024. Lorsque vous posez la question au chatbot, si vous pensez qu’il vous répondra mieux en faisant une recherche sur le web, nous pouvons cocher l’option “Web Search”; et même sans nous le dire, parfois il décide que la recherche peut aider et le fait. Dans ce cas, un message comme « Recherche sur le Web... » s’affiche au début et affiche les sources avec la réponse. D'autre part, le célèbre outil NotebookLM de Google est basé sur un concept similaire au RAG, mais sans recherche: nous téléchargeons directement les documents que vous utiliserez pour répondre aux questions.

La technique RAG permet également de résoudre le dernier des cas énumérés ci-dessus, celui des questions sur l'information au sein de votre organisation. Si vous construisez un moteur de recherche qui recherchera dans vos documents internes, nous pouvons construire un chatbot pour un usage interne qui facilitera notre travail. Cependant, dans ce cas, nous devrions également avoir le LLM à l'intérieur de l'organisation, car ce n'est pas une bonne idée de télécharger nos documents privés aux chatbots de géants technologiques... Heureusement, il existe des options pour cela, comme le chat développé par Orai: Kimu. Il s’agit d’un petit modèle linguistique (et donc moins cher et plus durable à mettre en service) qui fonctionne très bien dans les tâches de travail habituelles et aussi parfaitement en basque, conçu pour être installé sur ses propres serveurs. Et avec la même méthodologie (notre moteur de recherche de documents publiables pour la RAG et notre propre LLM ou SLM), nous pouvons également construire un chatbot spécialisé pour notre site Web.