RAG argirik gabe azaldua: nola egin adimen artifiziala zure datuekin hitz egin dezan

IA (adimen artifiziala) enpresetarako ikertu baduzu, ziurrenik RAG hitza aurkitu duzu. Retrieval-Augmented Generation. Doktorego-tesi baten moduan dirudi. Ingeniaritza-talde bat behar duzun zerbaiten moduan dirudi.

Ez. RAG ideia sinple bat da, izen konplikatuarekin. Desmuntatu dezagun.

RAG-k konpontzen duen arazoa

ChatGPT edo Llama bezalako IA ereduak datu publikoekin entrenatzen dira. Wikipedia, liburuak, artikuluak, iturburu-kodea, foroak. Milioika dokumentu. Gauza askotaz asko dakite.

Baina ez dakite ezer zure enpresaz.

Zure produktu-katalogoa. Zure kontratu-baldintzak. Zure itzulketa-politika. Bezero jakin baten historia. Zure fakturak. Horiek ez daude ereduan. Ezin daude: pribatuak dira, etengabe aldatzen dira, eta zure datu-baseari dagozkie, interneti ez.

Zer gertatzen da eredu bati "zure dendaren itzulketa-politika zein da?" galdetzen badiozu? Bat asmatzen du. Oso ziurtasun handiz. Eta hori arazo bat da.

Orain arte, konponbideak txarrak ziren:

• Kopiatu eta itsatsi testuingurua txatean. Funtzionatzen du 500 hitz badira. Ez 500 orri badira.
• Fine-tuning: zure datuekin eredua berriz entrenatzea. Garestia, mantsoa, eta aldaketa bakoitzean errepikatu behar da. Orri bat aldatu delako entziklopedia berriro inprimatzearen moduan.
• Konformitatea. Orokorrean erantzunak onartzea, zure negozioa islatzen ez dutenak.

RAG laugarren aukera da. Funtzionatzen duena.

Nola funtzionatzen du RAG-k (benetan, argirik gabe)

Imagingoazu langile berri bat duzula. Azkarra, kultua, irakurria. Baina ez du zure enpresa ezagutzen. Zer egiten duzu? Ez diozu esaten dokumentu guztiak memorizatzera joan dadila. Esaten diozu: "zalantza duzunean, kontsultatu eskuliburua".

Hori da RAG.

Paozka:

1. Zure dokumentuak antolatzen dituzu. Kontratuak, maiz egindako galderak, katalogoak, barne-prozedurak — guztia zatitan banatzen eta indexatzen da. Sistema de archivos ondo antolatu baten moduan, baina bektorizatua (bai, matematika da, baina ez duzu ikusi beharrik).
2. Norbait galdera bat egiten duenean, sistema zure dokumentuetako zatirik garrantzitsuenak bilatzen ditu. Ez du asmatzen. Bilatzen du.
3. Zatiok ereduari pasatzen dizkio galderarekin batera. Orain ereduak ez du memoriatik erantzuten: zure datuekin aurrean dituenean erantzuten du.
4. Ereduak erantzuna sortzen du zure informazioa aipatuz.

Ereduak ez du zure datuak memorizatu behar. Behar dituenean kontsultatzen ditu. Bihar politika bat aldatzen baduzu, sistema dokumentua eguneratzen du, eta hurrengo erantzunak jada aldaketa islatzen du. Ezer berriz entrenatu gabe. Itxaron gabe.

Zergatik garrantzitsua da hau ETE batean

Zure bezeroak, zure taldea eta zure prozesuak bakarrak baitira. Eta internetean ikasi duenaz bestea ez dakien IA-k ez dizu asko balio.

Adibide zehatzak:

• Bezeroarentzako arreta. Bezero batek galdetzen du "Kanarietara bidaltzen duzue?". RAG duen ereduak zure bidalketa-politika kontsultatzen du eta zehaztasunez erantzuten du. RAG gabe, "hornitzailearen arabera" esaten du edo asmatzen du.
• Barne-sostengua. Saltzaile berri batek galdetzen du "zein da banatzaile 2. mailakoentzako deskontua?". RAG-k zure baldintza komertzialetan bilatzen du eta erantzun zehatza ematen dio. RAG gabe, lankide bati galdetzen dio edo eskuz PDF bat bilatzen du.
• Dokumentuen kudeaketa. "X hornitzailearekin kontratuak zer dio atzerapenaren penalizazioei buruz?" RAG-k klausula segundotan aurkitzen du. RAG gabe, 40 orriko PDF bat eskaneatzen 20 minutu dira.

Desberdintasuna ez da azalekoa. "IA erantzun polita ematen dit"tik "IA zure informazioa ematen dizu, egiaztatu daitekeena, denbora errealean"ra igarotzea da.

RAG lokala vs. hodeiko RAG

Hemen askok ez dute aipatzen nahiago duten matizea. RAG egin dezakezu ChatGPT-rekin eta igo dituzun dokumentuekin. Funtzionatzen du. Baina bada baina bat:

• Zure dokumentuak zure azpiegituratik ateratzen dira. OpenAI-ren zerbitzarietara joaten dira. Entrenamendurako ez erabiltzeko agindu dezakete, baina kontratu-bideozkoa da, bermeturik ez.
• Biltegiratze- eta abiadura-mugak dituzu, eta ez dituzu kontrolatzen.
• Zerbitzu-baldintzak aldatzen diren egunean, moldatzen zara edo sistemarik gabe geratzen zara.

RAG lokalarekin — kode irekiko eredu bat zure zerbitzarian exekutatzen, zure datu-baseekin konektatuta — subiranotasuna teknikoa da, ez kontratuzkoa. Zure datuak ez dira zure makinatatik ateratzen. Beti eskuragarri daude. Eta errendimendua ez da modan dagoen APIren trafikoaren menpekoa.

Zer ez den RAG

RAG ez da datu-base magikoa dena guztia "ulertzen" duena. Informazio ona behar du hasieran. Zure dokumentuak desantolatuak, kontrajarriak edo osatu gabeak badira, RAG-ek zehazki hori aurkituko du: desordena, kontrajartasunak eta hutsuneak.

Horregatik, RAG inplementatu aurretik, informazioa garbitu eta egituratu behar da. Urrezkurrienak eta garrantzitsuenetakoa den pausoa da. Sukaldaritzan bezala: errezeta sinplea da, baina osagaiak onak izan behar dira.

Ez da fine-tuningaren ordezkoa ere egoera guztietan. Ereduak hizkuntza tekniko oso zehatza hitz egitea edo estilo jakin bat hartzea nahi baduzu, fine-tuning-ek RAG osatu dezake. Baina ETEen %90erako, ondo inplementatutako RAG aski da.

Nola hasi ahaleginean hilik gabe

1. Identifikatu zure taldeak etengabe egiten dituen galderak. Horiek dokumentu batetik kopiatuz edo ondoko lankideari galdetuz erantzuten dituzuenak. Hor dago zure kasu-erabilera.
2. Bildu dokumentu garrantzitsuak. Maiz egindako galderak, eskuliburuak, kontratu ereduak, katalogoak. Ez saiatu enpresa osoa estaltzen. Hasi eremu batekin.
3. Garatu RAG sistema lokal bat. Kode irekiko tresnak daude, hardware eskuragarrian egin daitekeena. Ez duzu data centerrik behar.
4. Neurtu. Erantzunak zehatzak al dira? Erabiltzaileek konfiantza dute? Ez bada, berrikusi iturburu-dokumentuak, ez eredua.

Prozesua ez da ikusgarria. Baina funtzionatzen du. Eta zure taldeak datu errealetan oinarritutako erantzun zehatzak segundotan lortzen hasten denean, inbertsioak bere burua justifikatzen du.

RAG Neurosint-en egiten dugunaren oinarrizko zutabeetako bat da: zure datuekin lan egiten duen IA, zure azpiegituran, hirugarrenen menpekotasunik gabe. Ikusi nahi baduzu nola geratuko litzateke zure enpresan, hitz egin dezagun.