RAG-chatbot
Een RAG-chatbot is een conversational AI die retrieval-augmented generation gebruikt: hij zoekt op het moment van antwoorden relevante informatie op uit een kennisbron en gebruikt die opgehaalde inhoud om zijn antwoord te onderbouwen, in plaats van alleen te vertrouwen op wat het model tijdens de training heeft onthouden.
RAG staat voor retrieval-augmented generation. Een RAG-chatbot combineert een groot taalmodel met een ophaalstap: wanneer een gebruiker een vraag stelt, doorzoekt het systeem eerst een kennisbron (helpartikelen, productdocumentatie, beleidsregels, eerdere tickets) op de meest relevante passages en geeft die passages vervolgens als context aan het model, zodat het gegenereerde antwoord is gebaseerd op echte, actuele informatie en niet alleen op de algemene trainingsdata van het model.
Technisch gezien wordt de kennisbron meestal opgedeeld in stukken (chunks), omgezet in vector-embeddings en opgeslagen in een vectordatabase of zoekindex. Op het moment van de vraag wordt de vraag van de gebruiker omgezet in een embedding en vergeleken met die index om de best passende passages op te halen. Die passages worden in de prompt ingevoegd en het model genereert een antwoord dat erop voortbouwt, vaak met bronvermeldingen die terugverwijzen naar de bron.
Het belangrijkste voordeel van RAG ten opzichte van een gewoon taalmodel is nauwkeurigheid en actualiteit. Omdat antwoorden gekoppeld zijn aan opgehaalde inhoud, kan een RAG-chatbot informatie weergeven die nog niet bestond toen het model werd getraind, in lijn blijven met je specifieke beleidsregels en hallucinaties verminderen door het model gezaghebbend materiaal te geven om mee te werken. Als je de kennisbank bijwerkt, werk je meteen de antwoorden van de bot bij. Er is geen hertraining van het model nodig.
RAG is geen wondermiddel. De kwaliteit van de antwoorden hangt sterk af van de kwaliteit van het ophalen: als de index inhoud mist, slecht is opgedeeld of irrelevante passages teruggeeft, kan het model alsnog foute of vage antwoorden produceren. Goede RAG-systemen investeren in schone broninhoud, een zinvolle opdeling, een sterke rangschikking bij het ophalen en onderbouwingscontroles die voorkomen dat het model verder gaat dan wat is opgehaald.
Mercateer is gebouwd op dit kennisgedreven principe. Elke agent haalt informatie op uit je eigen documentatie, FAQ's en beleidsregels en baseert zijn antwoorden op dat materiaal, zodat antwoorden accuraat en in lijn met je beleid blijven, dichter bij een goed gebouwd RAG-systeem dan bij een vaste beslisboom die alleen de paden kent die iemand vooraf met de hand heeft ingericht.
Verwante begrippen
