RAG-chatbot

RAG står for retrieval-augmented generation. En RAG-chatbot kombinerer en stor sprogmodel med et søgetrin: når en bruger stiller et spørgsmål, søger systemet først i en videnskilde (hjælpeartikler, produktdokumentation, politikker, tidligere sager) efter de mest relevante afsnit og giver derefter modellen disse afsnit som kontekst, så det genererede svar bygger på reel, aktuel information frem for blot modellens generelle træningsdata.

Teknisk set deles videnskilden typisk op i mindre dele, omdannes til vektor-embeddings og gemmes i en vektordatabase eller et søgeindeks. Når der søges, embeddes brugerens spørgsmål og matches mod indekset for at hente de nærmeste afsnit. Disse afsnit indsættes i prompten, og modellen genererer et svar, der bygger på dem, ofte med kildehenvisninger.

Den største fordel ved RAG frem for en almindelig sprogmodel er nøjagtighed og aktualitet. Fordi svarene er knyttet til hentet indhold, kan en RAG-chatbot afspejle information, der ikke fandtes, da modellen blev trænet, holde sig på linje med dine specifikke politikker og reducere hallucinationer ved at give modellen autoritativt materiale at arbejde ud fra. Når du opdaterer vidensbasen, opdateres bottens svar. Ingen genoptræning af modellen er nødvendig.

RAG er ikke en mirakelkur. Svarkvaliteten afhænger i høj grad af søgekvaliteten: hvis indekset mangler indhold, er dårligt opdelt eller returnerer irrelevante afsnit, kan modellen stadig give forkerte eller vage svar. Gode RAG-systemer investerer i rent kildeindhold, fornuftig opdeling, stærk rangering af søgeresultater og forankringskontroller, der holder modellen fra at bevæge sig ud over det hentede.

Mercateer er bygget på dette vidensbaserede mønster. Hver agent henter fra din egen dokumentation, dine FAQ'er og politikker og forankrer sine svar i det materiale, så svarene forbliver præcise og i tråd med dine politikker, tættere på et velbygget RAG-system end et fast beslutningstræ, der kun kender de stier, nogen har sat op på forhånd.