RAG-chatbot
En RAG-chatbot er en samtale-AI som bruker hentingsforsterket generering (retrieval-augmented generation): den slår opp relevant informasjon fra en kunnskapskilde idet den svarer, og bruker det hentede innholdet til å forankre svaret sitt, i stedet for å bare basere seg på det modellen lærte under treningen.
RAG står for retrieval-augmented generation (hentingsforsterket generering). En RAG-chatbot kombinerer en stor språkmodell med et hentetrinn: når en bruker stiller et spørsmål, søker systemet først i en kunnskapskilde (hjelpeartikler, produktdokumentasjon, retningslinjer, tidligere saker) etter de mest relevante tekstutdragene, og sender deretter disse utdragene til modellen som kontekst, slik at det genererte svaret bygger på reell, oppdatert informasjon i stedet for bare modellens generelle treningsdata.
Rent teknisk deles kunnskapskilden vanligvis opp i biter, konverteres til vektorinnbygginger og lagres i en vektordatabase eller en søkeindeks. Når et spørsmål stilles, innbygges brukerens spørsmål og sammenlignes med indeksen for å hente de nærmeste tekstutdragene. Disse utdragene settes inn i meldingen til modellen, og modellen genererer et svar som bygger på dem, ofte med kildehenvisninger tilbake til kilden.
Hovedfordelen med RAG sammenlignet med en ren språkmodell er nøyaktighet og ferskhet. Fordi svarene er knyttet til hentet innhold, kan en RAG-chatbot gjengi informasjon som ikke fantes da modellen ble trent, holde seg i tråd med dine spesifikke retningslinjer og redusere hallusinasjoner ved å gi modellen autoritativt materiale å jobbe ut fra. Når du oppdaterer kunnskapsbasen, oppdateres botens svar. Ingen ny trening av modellen kreves.
RAG er ingen vidundermedisin. Svarkvaliteten avhenger sterkt av hentekvaliteten: hvis indeksen mangler innhold, er dårlig oppdelt eller returnerer irrelevante tekstutdrag, kan modellen fortsatt produsere feilaktige eller vage svar. Gode RAG-systemer satser på rent kildeinnhold, fornuftig oppdeling, sterk rangering av hentede treff og forankringskontroller som hindrer modellen i å gå ut over det som ble hentet.
Mercateer er bygget på dette kunnskapsdrevne mønsteret. Hver agent henter fra dine egne dokumenter, vanlige spørsmål og retningslinjer og forankrer svarene sine i det materialet, slik at svarene holder seg nøyaktige og i tråd med retningslinjene, nærmere et godt bygget RAG-system enn et forhåndsbestemt beslutningstre som bare kjenner stiene noen har koblet opp på forhånd.
Beslektede begreper
