RAG chatbot
RAG chatbot je razgovorna umjetna inteligencija koja koristi generiranje obogaćeno dohvaćanjem (retrieval-augmented generation): u trenutku odgovaranja traži relevantne informacije iz izvora znanja i koristi taj dohvaćeni sadržaj kako bi utemeljio svoj odgovor, umjesto da se oslanja samo na ono što je model zapamtio tijekom treniranja.
RAG je kratica za generiranje obogaćeno dohvaćanjem (retrieval-augmented generation). RAG chatbot kombinira veliki jezični model s korakom dohvaćanja: kada korisnik postavi pitanje, sustav najprije pretražuje izvor znanja (članke pomoći, dokumentaciju proizvoda, pravila, prethodne tikete) tražeći najrelevantnije odlomke, a zatim te odlomke prosljeđuje modelu kao kontekst kako bi generirani odgovor bio utemeljen na stvarnim, aktualnim informacijama, a ne samo na općim podacima iz treniranja modela.
Tehnički, izvor znanja se obično razbija na dijelove, pretvara u vektorske ugradnje (embeddinge) i pohranjuje u vektorsku bazu podataka ili indeks za pretraživanje. U trenutku upita korisnikovo pitanje se ugrađuje i uspoređuje s tim indeksom kako bi se dohvatili najbliži odlomci. Ti odlomci se umeću u prompt, a model generira odgovor koji se na njih oslanja, često uz citate koji upućuju natrag na izvor.
Glavna prednost RAG-a u odnosu na obični jezični model je točnost i ažurnost. Budući da su odgovori vezani uz dohvaćeni sadržaj, RAG chatbot može odražavati informacije koje nisu postojale kada je model treniran, ostati usklađen s vašim specifičnim pravilima i smanjiti halucinacije pružajući modelu mjerodavan materijal za rad. Ažuriranje baze znanja ažurira odgovore bota. Bez potrebe za ponovnim treniranjem modela.
RAG nije čarobno rješenje. Kvaliteta odgovora uvelike ovisi o kvaliteti dohvaćanja: ako indeksu nedostaje sadržaja, ako je loše podijeljen na dijelove ili vraća nebitne odlomke, model i dalje može proizvesti pogrešne ili nejasne odgovore. Dobri RAG sustavi ulažu u čist izvorni sadržaj, smislenu podjelu na dijelove, snažno rangiranje dohvaćanja i provjere utemeljenosti koje sprječavaju model da odluta izvan onoga što je dohvaćeno.
Mercateer je izgrađen na ovom obrascu usmjerenom na znanje. Svaki agent dohvaća iz vaše vlastite dokumentacije, čestih pitanja i pravila te temelji svoje odgovore na tom materijalu, pa odgovori ostaju točni i u skladu s pravilima, bliži dobro izgrađenom RAG sustavu nego skriptiranom stablu odlučivanja koje poznaje samo putove koje je netko unaprijed ručno postavio.
