Txatbotei jakintza eguneratu eta pertsonalizatua ematen

Aurrez atal honetan adimen artifizial sortzaileaz, LLM edo hizkuntza-eredu handiez eta txatbotez idatzitako bi artikuluetan azaldu dizuegu ChatGPT, Gemini, Copilot eta Claude, besteak beste, ez direla benetan adimendunak, hau da, ez dituztela egitateak ulertzen, haien inguruan arrazoitzen eta ondorioak ateratzen. Makina probabilistiko hutsak dira, hitz-segida baten hurrengo hitz probableena bueltatu eta berriz ere sarrerara kateatzen dutenak, eta probabilitate horiek testuetatik “ikasten” dituztenak. Baina ikasitako probabilitateak gordetzeko eta haiekin kalkulu berriak egiteko egitura ikaragarri handi eta konplexuak baliatzen dituztenez, “ikaste-­prozesuan” testu-bilduma izugarri handiak erabiltzen direnez eta prozesu hori luzea, zaila eta garestia denez, eta hitz-segida oso luzeak eman dakizkiekeenez, hizkuntzaren (hainbat hizkuntzaren) sintaxia eta semantika eta munduari buruzko ezagutza orokor handia ere ongi barneratzera iristen dira, eta gai dira nolabaiteko gaitasun logikoak diruditenak imitatzeko. Hala, galdera edo ataza ugari ederto erantzun edo ebatz ditzakete, dagoeneko denok egiaztatu dugun moduan.

Oker, bereziki gai oso espezializatuetan edo aktualitatezkoetan

Alabaina (eta hau ere guztiok egiaztatu ahal izan dugu), sarritan erantzun okerrak ematen dituzte. AAren terminologia teknikoan “haluzinazioak” deritze horiei, eta ezin da aurreikusi noiz edo zergatik gertatuko diren. Batzuetan, litekeena da gaiaren inguruko informazio gehiegi izatea, informazio kontraesankorra izatea, fikzioa eta errealitatea batera agertzea... (hau da, gauza gehiegi buruan ;-). Edo galdetzeko moduak testu oker batekiko lotura piztu du. Auskalo.

Badaude, hala ere, kasu batzuk non bereziki gaizki moldatzen diren hizkuntza-eredu handi horiek. Haietako bat da galderaren gaia oso espezializatua denean. Gerta liteke gai hain berezituko testurik edo justu galdera horri erantzuten dionik ez egotea “ikasteko” eman zaizkien testuetan, edo egon bai baina gutxitan agertzea eta ezagutza hori “galtzea” beste guztiaren artean edo “ahaztea” gero “ikasi” behar izan duen guztiaren kausaz. Berriz ere, auskalo. Hori maiz gertatzen da euskal kulturari buruzko galderekin, esaterako.

Antzekoa gertatzen da aktualitatearekin oso loturik dauden gaien inguruko galderetan. Lehen esan dugunez, hizkuntza-eredu handien “ikasteko” edo entrenatzeko prozesua oso luzea eta garestia izan ohi da; datu-zentro oso ahaltsuetan eginik ere, hainbat hilabete eman ditzake. Horregatik, txatbot horietako baten bertsio berri bat ateratzen denerako, berak ezagutzen duen mundua hilabete dezente lehenagokoa izaten da, eta ez daki ezer azken aldiko gertaerei buruz, eta horrela izango da beste hilabete batzuetan zehar, hurrengo bertsioa ateratzen den arte. Beraz, guztiz ezinezkoa da LLM batek berak bakarrik duela gutxiko gertaerei buruz ongi erantzutea.

Azkenik, txatbot batek erantzun ezin dituen gaien artean dago publikoki eskuragarri ez dagoen informazioaren ingurukoa, jakina. Gure enpresa, elkarte edo erakundeko barne-dokumenturen batean dagoen informazioari buruz ezin izango diogu galdetu, dokumentu pribatu hori ez baitu txatbotak ikusi entrenamenduan.

Aipatutako kasuetan erantzun okerrak emateko aukera (edo, batzuetan, ziurtasuna, ikusi dugun bezala) arazo are handiagoa da, kontuan izanik LLMek beti erantzuten dutela zerbait eta ziurtasun osoz gainera. Berez, ez dute esaten zerbait ez dakitela edo ez daudela ziur; horretarako, aurretik jartzen zaizkie iragazki batzuk aurredefinitutako erantzun batzuekin, baina ez dira perfektuak eta askotan huts egiten dute horiek ere.

Konponbidea: RAG teknika

Gorago esan dugu ezinezkoa dela LLM batek berak bakarrik duela gutxiko gertaerei erantzutea. Eta konponbidearen gakoa “berak bakarrik” zehaztasunean dago. Izan ere, txatbot baten osagai nagusia hizkuntza-­eredu handia bada ere, beste hainbat osagai ere behar izaten dira. Arestian aipatutako iragazkiak dira adibide bat. Eta beste bat, oso baliagarria dena aipatu diren akats-iturri guztietan, RAG teknika da.

RAG siglek Retrieval Augmented Generation edo “bilaketak lagundutako sorkuntza” esan nahi dute, eta, funtsean, horretan datza teknika, dokumentu-sorta batean egiten diren bilaketez baliatzean, alegia. Galdera bera LLMari pasatu aurretik, bilatzaile bati eskatzen zaio galderarekin zerikusia izan dezaketen dokumentuak bueltatzeko, eta, gero, LLMari galdera eta dokumentuak pasatzen zaizkio, esanez dokumentu horietako informazioa baliatzeko galderari erantzuteko.

Horrek asko hobetzen ditu hizkuntza-eredu handiek aurreko atalean zerrendatu ditugun galdera-mota zailak ongi erantzuteko aukerak. Haluzinazio orokorrak egiteko joera txikiagoa izango da erantzuna daukan dokumentua edo dokumentu-sorta txiki bat ematen badiogu, berak modu lausoan kodetuta daukan informazio guztitik erantzuna probabilistikoki atera behar badu baino. Arrazoi beragatik, kontsulta oso espezializatuei ere hobeto erantzungo die, are gehiago kontuan izanik kasu horietan maiz informazio hori ez daukala bere barnean. Eta berdin aktualitatearekin lotutako kontsultetan: nahiz eta LLMak ez jakin ezer gertaera berriez, inoiz “ikusi” ez dituelako, haien inguruko dokumentazioa pasatuta ongi erantzuteko gai izango da.

Erantzunen zehaztasuna areagotzeaz gain, RAG teknikak beste abantaila handi bat du: erantzuna zein iturritan oinarritzen den erakuts daiteke. Hala, erabiltzaileak ziurtatu dezake erantzuna zuzena den edo ez (RAGa baliatuta ere izan baitaitezke okerrak erantzunak), eta erantzunaz haragoko informazioa jaso dezake, eta ezagutza handitu.

RAG teknika ere ez da perfektua, jakina. Baliagarria izateko, bilaketak ongi funtzionatu behar du. Galderari erantzuten dion informazioa ez badago bilaketaren lehen emaitzen artean, edo informazio okerra edo kontraesankorra badago, gero LLMak zailtasunak izango ditu haietan oinarrituta erantzun egokia emateko.

Hasieran hala ez bazen ere, gaur egun txatbot ezagunenek RAGa baliatzeko aukera ematen dute. ChatGPT-k, adibidez, 2024ko urrian jarri zuen RAGa egiteko aukera. Txatbotari galdera egitean, iruditzen bazaigu webean bilatuta hobeto erantzungo digula, “Web Search” aukera markatu dezakegu; eta guk esan gabe ere, batzuetan berak erabakitzen du bilaketak lagundu dezakeela, eta egiten du. Horrelakoetan, “Webean bilatzen...” moduko mezu bat erakusten du hasieran, eta iturriak erakusten ditu erantzunarekin batera. Bestalde, Googleren NotebookLM tresna ezaguna RAGaren antzeko kontzeptu baten oinarritzen da, baina bilaketarik gabe: guk zuzenean igotzen ditugu galderei erantzuteko baliatuko dituen dokumentuak.

Lehen zerrendatutako kasuetatik azkena, norberaren erakunde barruko informazioaren inguruko galderena, konpontzeko ere balio du RAG teknikak. Gure barne-dokumentuetan bilatuko duen bilatzaile bat eraikiz gero, barruko erabilerarako txatbot bat egin dezakegu, gure lana erraztuko duena. Hala ere, kasu horretan LLMa ere erakunde barruan izan beharko genuke, ez baita batere ideia ona gure dokumentu pribatuak erraldoi teknologikoen txatbotetara igotzea... Zorionez, badaude horretarako aukerak, esaterako Oraik garatutako txatbota: Kimu. SLM edo hizkuntza-eredu txiki bat da (eta, ondorioz, martxan jartzeko merkeagoa eta jasangarriagoa), oso ondo dabilena ohiko lan-atazetan eta euskaraz ere ederto dakiena, norberaren zerbitzarietan instalatzeko pentsatua. Eta metodologia horrekin berarekin (gure dokumentu publikagarrien bilatzailea RAGa egiteko eta LLM edo SLM propioa), gure webgunerako txatbot espezializatu bat ere eraiki dezakegu.