Text redactat en basc i traduït automàticament per Elia i sense revisió posterior. MOSTRA L’ORIGINAL

Donant als bots un coneixement actualitzat i personalitzat

És innegable que els bots i els grans LLM o models lingüístics en els quals es basen tenen un gran coneixement sobre temes múltiples i són capaços de respondre a una gran quantitat de preguntes de manera adequada. I també és cert que amb freqüència cometen errors en les respostes, sobretot en qüestions molt especialitzades o d'actualitat. Però és possible obtenir millors respostes utilitzant la tècnica RAG.

Igor Leturia Azkarate

En dos articles d'aquesta secció sobre intel·ligència artificial creativa, LLM o grans models lingüístics i bot, entre altres, us hem explicat que ChatGPT, Gemini, Copilot i Claude, entre altres, no són realment intel·ligents, és a dir, no entenen els fets, raonen sobre ells i treuen conclusions. Són màquines purament probabilístiques que retornen la següent paraula més probable d'una successió de paraules i l'encadenen de nou a l'entrada, i que “aprenen” aquestes probabilitats dels textos. No obstant això, l'ús d'estructures immenses i complexes per a emmagatzemar les probabilitats estudiades i realitzar nous càlculs amb elles, la utilització de col·leccions textuals extraordinàriament grans en el “procés d'aprenentatge” i el fet que aquest procés és llarg, difícil i costós, i que se'ls pot donar llargues seqüències de paraules, fan que la sintaxi i semàntica del llenguatge (de diferents llengües), així com un gran coneixement general del món, arribin a assimilar perfectament, i siguin capaços d'imitar el que semblen ser una espècie d'habilitats lògiques. D'aquesta manera, poden respondre o resoldre una gran quantitat de preguntes o tasques, com ja hem comprovat tots.

Malament, especialment en temes molt especialitzats o d'actualitat

Tanmateix (i això també ho hem comprovat tots), sovint donen respostes equivocades. Les anomenades “al·lucinacions” en la terminologia tècnica de la IA no permeten preveure quan o per què es produiran. A vegades és possible que hi hagi massa informació sobre el tema, que hi hagi informació contradictòria, que la ficció i la realitat apareguin juntes... (És a dir, massa coses al cap ;-). O la manera de preguntar ha despertat la connexió amb un text erroni. Qui sap.

Existeixen, no obstant això, alguns casos en els quals aquests grans models lingüístics es desemboliquen especialment malament. Una d'elles és quan el tema de la pregunta és molt especialitzat. És possible que no hi hagi textos de tema tan diferenciat o que responguin a aquesta pregunta precisament en els textos que se'ls han donat per a “aprendre”, o que siguin presents però poques vegades i “perdin” aquest coneixement entre tota la resta o “oblidin” després per la causa de tot el que ha hagut de “aprendre”. De nou, qui sap. Això succeeix sovint amb preguntes sobre la cultura basca, per exemple.

Una cosa similar ocorre en les preguntes sobre temes molt relacionats amb l'actualitat. Com hem dit abans, el procés de “aprendre” o entrenar de grans models lingüístics sol ser molt llarg i costós; fins i tot en centres de dades molt potents, pot portar diversos mesos. Per això, per a quan sali una nova versió d'un d'aquests bots, el món que ell coneix sol ser de mesos bastant abans, i no sap res dels esdeveniments de l'últim temps, i així serà al llarg d'altres mesos fins que surti la següent versió. Per tant, és absolutament impossible que un LLM per si sol respongui bé sobre els esdeveniments recents.

Finalment, entre els temes que un bot no pot respondre està el relatiu a la informació que no està disponible públicament, per descomptat. No podrem preguntar-li sobre la informació continguda en algun document intern de la nostra empresa, associació o organització, ja que aquest document privat no ha vist els bots durant l'entrenament.

La possibilitat (o, a vegades, la certesa, com hem vist) de donar respostes incorrectes en els casos esmentats és un problema encara major, tenint en compte que les LLM sempre responen alguna cosa i amb tota certesa a més. En realitat no diuen que no saben o que no estan segurs d'alguna cosa, per a això se'ls posen per davant uns filtres amb unes respostes predefinides, però no són perfectes i moltes vegades fallen també.

Solució: Tècnica RAG

Hem dit més amunt que no és possible que un LLM per si sol respongui a esdeveniments recents. I la clau de la solució està en la precisió de “només ell”. En efecte, encara que el principal component d'un bot és el seu alt model lingüístic, es precisen altres elements. Un exemple són els filtres esmentats anteriorment. I una altra, molt útil en totes les fonts d'error citades, és la tècnica RAG.

Les sigles RAG es refereixen a Retrieval Augmented Generation o “generació assistida per cerca”, i la tècnica consisteix bàsicament a aprofitar les cerques que es realitzen en una sèrie de documents. Abans de passar la mateixa pregunta al LLM, se li demana a un cercador que retorni els documents que puguin tenir relació amb la pregunta i després se li passa al LLM la pregunta i els documents, dient que li responguin a la pregunta de com aprofitar la informació d'aquests documents.

Això millora considerablement les possibilitats que els grans models lingüístics responguin amb èxit als difícils tipus de preguntes que hem enumerat en l'apartat anterior. Les al·lucinacions generals seran menys propenses si se li proporciona un document o un petit joc de documents amb resposta que si ell o ella ha d'extreure probabilísticamente la resposta de tota la informació que té codificada de manera difusa. Per aquesta mateixa raó, respondrà millor a les consultes molt especialitzades, màximament tenint en compte que en aquests casos no inclou amb freqüència aquesta informació. I el mateix en les consultes relacionades amb l'actualitat: encara que la LLM no sàpiga res dels nous fets perquè mai els ha “vist”, serà capaç de respondre adequadament passant la documentació d'aquests.

«A més d'augmentar la precisió de les respostes, es pot mostrar en quina font es basa la resposta»

A més d'augmentar la precisió de les respostes, la tècnica RAG té un altre gran avantatge: es pot mostrar en quina font es basa la resposta. D'aquesta manera, l'usuari pot comprovar si la resposta és correcta (ja que les respostes poden ser incorrectes fins i tot utilitzant el RAG) i rebre informació més enllà de la resposta i ampliar el coneixement.

La tècnica RAG tampoc és perfecta, per descomptat. Per a ser útil, la cerca ha de funcionar correctament. Si la informació que respon a la pregunta no està entre els primers resultats de la cerca, o si existeix informació incorrecta o contradictòria, després el LLM tindrà dificultats per a donar una resposta adequada sobre la base d'ells.

Encara que no era així al principi, avui dia els bots més populars permeten aprofitar el RAG. El ChatGPT, per exemple, va posar la possibilitat de realitzar el RAG a l'octubre de 2024. En fer la pregunta al bot, si ens sembla que buscant en la web ens respondrà millor, podem marcar l'opció de “Web Search”; i fins i tot sense que ho diguem nosaltres, a vegades ell decideix que la cerca pot ajudar, i ho fa. En aquests casos, mostra inicialment un missatge com “Buscant en la web...” i mostra les fonts juntament amb la resposta. D'altra banda, la popular eina NotebookLM de Google es basa en un concepte similar al RAG, però sense cerca: nosaltres pugem directament els documents que utilitzarà per a respondre les preguntes.

La tècnica de RAG també serveix per a resoldre l'últim dels casos enumerats anteriorment, relatiu a preguntes sobre informació dins de la pròpia organització. Si construïm un cercador que busqui en els nostres documents interns, podem fer un bot per a ús intern que faciliti el nostre treball. No obstant això, en aquest cas també hauríem de tenir el LLM dins de l'organització, perquè no és bona idea pujar els nostres documents privats als bots dels gegants tecnològics... Afortunadament, hi ha opcions per a això, com el bot desenvolupat per Orai: Brot. Es tracta d'un petit SLM (i per tant més econòmic i sostenible per a la seva posada en marxa), que funciona molt bé en tasques laborals habituals i amb gran domini del basc, pensat per a la seva instal·lació en els propis servidors. I amb aquesta mateixa metodologia (el nostre cercador de documents publicables per a realitzar el RAG i el LLM o SLM propi), també podem construir un bot especialitzat per a la nostra web.