Xatbot RAG
Un xatbot RAG és una IA conversacional que utilitza la generació augmentada per recuperació: cerca informació rellevant en una font de coneixement en el moment de respondre i fa servir aquell contingut recuperat per fonamentar la seva resposta, en comptes de basar-se només en el que el model va memoritzar durant l'entrenament.
RAG són les sigles en anglès de generació augmentada per recuperació. Un xatbot RAG combina un gran model de llenguatge amb un pas de recuperació: quan un usuari fa una pregunta, el sistema primer cerca en una font de coneixement (articles d'ajuda, documentació de producte, polítiques, tiquets anteriors) els fragments més rellevants i, a continuació, els passa al model com a context perquè la resposta generada es basi en informació real i actual, i no només en les dades d'entrenament generals del model.
Mecànicament, la font de coneixement se sol dividir en fragments, convertir en representacions vectorials (embeddings) i emmagatzemar en una base de dades vectorial o un índex de cerca. En el moment de la consulta, la pregunta de l'usuari es converteix en un vector i es compara amb aquell índex per recuperar els fragments més propers. Aquests fragments s'insereixen a la instrucció, i el model genera una resposta que s'hi basa, sovint amb citacions que remeten a la font.
El principal avantatge del RAG respecte a un model de llenguatge simple és la precisió i l'actualitat. Com que les respostes estan lligades al contingut recuperat, un xatbot RAG pot reflectir informació que no existia quan es va entrenar el model, mantenir-se alineat amb les teves polítiques concretes i reduir les al·lucinacions en donar al model material fiable amb què treballar. Actualitzar la base de coneixement actualitza les respostes del bot. No cal tornar a entrenar el model.
El RAG no és una solució màgica. La qualitat de les respostes depèn en gran mesura de la qualitat de la recuperació: si l'índex no té contingut, està mal fragmentat o retorna fragments irrellevants, el model encara pot produir respostes errònies o vagues. Els bons sistemes de RAG inverteixen en contingut d'origen net, una fragmentació assenyada, una bona classificació de la recuperació i comprovacions de fonamentació que eviten que el model s'allunyi del que s'ha recuperat.
Mercateer es basa en aquest patró que dona prioritat al coneixement. Cada agent recupera informació de la teva pròpia documentació, les preguntes freqüents i les polítiques, i fonamenta les seves respostes en aquell material, de manera que les respostes es mantenen precises i d'acord amb les teves polítiques, més a prop d'un sistema de RAG ben construït que d'un arbre de decisions predefinit que només coneix els camins que algú va cablejar a mà per endavant.
Termes relacionats
