RAG chatbot
RAG chatbot je konverzační AI, která využívá generování rozšířené o vyhledávání (retrieval-augmented generation): ve chvíli, kdy odpovídá, dohledá relevantní informace ze zdroje znalostí a tento dohledaný obsah použije k ukotvení své odpovědi, místo aby se spoléhala jen na to, co si model zapamatoval během trénování.
RAG je zkratka pro retrieval-augmented generation, tedy generování rozšířené o vyhledávání. RAG chatbot kombinuje velký jazykový model s krokem vyhledávání: když uživatel položí dotaz, systém nejprve prohledá zdroj znalostí (články nápovědy, produktovou dokumentaci, pravidla, předchozí tikety) a najde nejrelevantnější pasáže, ty pak modelu předá jako kontext, takže vygenerovaná odpověď vychází z reálných, aktuálních informací, a ne pouze z obecných trénovacích dat modelu.
Z technického hlediska se zdroj znalostí obvykle rozdělí na části (chunky), převede na vektorová embeddingy a uloží do vektorové databáze nebo vyhledávacího indexu. Ve chvíli dotazu se uživatelova otázka převede na embedding a porovná s tímto indexem, aby se dohledaly nejbližší pasáže. Tyto pasáže se vloží do promptu a model vygeneruje odpověď, která z nich vychází, často s odkazy zpět na zdroj.
Hlavní výhodou RAG oproti samotnému jazykovému modelu je přesnost a aktuálnost. Protože jsou odpovědi navázané na dohledaný obsah, RAG chatbot dokáže zohlednit informace, které ještě neexistovaly, když se model trénoval, držet se vašich konkrétních pravidel a omezovat halucinace tím, že modelu dává spolehlivý podklad. Aktualizace znalostní báze aktualizuje odpovědi bota. Není potřeba žádné přeškolování modelu.
RAG není všelék. Kvalita odpovědí silně závisí na kvalitě vyhledávání: pokud v indexu chybí obsah, je špatně rozdělený na části nebo vrací nerelevantní pasáže, model může i tak produkovat chybné nebo vágní odpovědi. Dobré RAG systémy investují do čistého zdrojového obsahu, smysluplného dělení na části, silného řazení výsledků vyhledávání a kontrol ukotvení, které brání modelu zabíhat za to, co bylo dohledáno.
Mercateer je postavený na tomto principu, kde jsou na prvním místě znalosti. Každý agent čerpá z vašich vlastních dokumentů, často kladených dotazů a pravidel a v tomto materiálu své odpovědi ukotvuje, takže odpovědi zůstávají přesné a v souladu s pravidly, blíž k dobře postavenému RAG systému než ke skriptovanému rozhodovacímu stromu, který zná jen cesty, které do něj někdo předem ručně zadrátoval.
Související pojmy
