Chatbot RAG
Chatbot RAG to konwersacyjna AI wykorzystująca generowanie wspomagane wyszukiwaniem (retrieval-augmented generation): w momencie udzielania odpowiedzi wyszukuje istotne informacje w źródle wiedzy i opiera odpowiedź na tych pobranych treściach, zamiast polegać wyłącznie na tym, co model zapamiętał podczas trenowania.
RAG to skrót od retrieval-augmented generation, czyli generowania wspomaganego wyszukiwaniem. Chatbot RAG łączy duży model językowy z krokiem wyszukiwania: gdy użytkownik zadaje pytanie, system najpierw przeszukuje źródło wiedzy (artykuły pomocy, dokumentację produktu, regulaminy, dawne zgłoszenia) w poszukiwaniu najbardziej istotnych fragmentów, a następnie przekazuje te fragmenty modelowi jako kontekst, dzięki czemu wygenerowana odpowiedź opiera się na rzeczywistych, aktualnych informacjach, a nie wyłącznie na ogólnych danych treningowych modelu.
Od strony technicznej źródło wiedzy jest zwykle dzielone na fragmenty, zamieniane na osadzenia wektorowe i przechowywane w bazie wektorowej lub indeksie wyszukiwania. W momencie zapytania pytanie użytkownika jest osadzane i dopasowywane do tego indeksu, aby pobrać najbliższe fragmenty. Fragmenty te są wstawiane do promptu, a model generuje odpowiedź, która z nich czerpie, często z odwołaniami do źródła.
Główną przewagą RAG nad zwykłym modelem językowym jest trafność i aktualność. Ponieważ odpowiedzi są powiązane z pobranymi treściami, chatbot RAG może uwzględniać informacje, które nie istniały, gdy model był trenowany, pozostawać zgodny z Twoimi konkretnymi zasadami i ograniczać zmyślanie, dając modelowi wiarygodny materiał, na którym może pracować. Aktualizacja bazy wiedzy aktualizuje odpowiedzi bota. Bez konieczności ponownego trenowania modelu.
RAG nie jest złotym środkiem. Jakość odpowiedzi w dużej mierze zależy od jakości wyszukiwania: jeśli w indeksie brakuje treści, jest on źle podzielony na fragmenty lub zwraca nieistotne fragmenty, model wciąż może udzielać błędnych lub mglistych odpowiedzi. Dobre systemy RAG inwestują w uporządkowane treści źródłowe, sensowny podział na fragmenty, mocne rankingowanie wyników wyszukiwania oraz kontrole oparcia na źródłach, które nie pozwalają modelowi wychodzić poza to, co zostało pobrane.
Mercateer opiera się na tym wzorcu stawiającym wiedzę na pierwszym miejscu. Każdy agent czerpie z Twojej własnej dokumentacji, FAQ i regulaminów oraz opiera swoje odpowiedzi na tym materiale, dzięki czemu odpowiedzi pozostają trafne i zgodne z zasadami, bliższe dobrze zbudowanemu systemowi RAG niż sztywnemu drzewu decyzyjnemu, które zna tylko ścieżki ręcznie wpisane z góry.
Powiązane pojęcia
