RAG chatbot
RAG chatbot je konverzačná AI, ktorá využíva generovanie rozšírené o vyhľadávanie (retrieval-augmented generation): pri tvorbe odpovede vyhľadá relevantné informácie zo zdroja znalostí a tento získaný obsah použije ako oporu pre svoju odpoveď, namiesto toho, aby sa spoliehala len na to, čo si model zapamätal počas tréningu.
RAG znamená retrieval-augmented generation, teda generovanie rozšírené o vyhľadávanie. RAG chatbot kombinuje veľký jazykový model s krokom vyhľadávania: keď používateľ položí otázku, systém najprv prehľadá zdroj znalostí (články pomocníka, produktovú dokumentáciu, pravidlá, minulé tikety) a nájde najrelevantnejšie pasáže, ktoré potom odovzdá modelu ako kontext, takže vygenerovaná odpoveď vychádza zo skutočných, aktuálnych informácií, nielen zo všeobecných tréningových dát modelu.
Z technického hľadiska sa zdroj znalostí zvyčajne rozdelí na časti, prevedie na vektorové vnorenia (embeddingy) a uloží do vektorovej databázy alebo vyhľadávacieho indexu. Pri dotaze sa otázka používateľa prevedie na vnorenie a porovná s týmto indexom, aby sa našli najbližšie pasáže. Tieto pasáže sa vložia do promptu a model vygeneruje odpoveď, ktorá z nich čerpá, často s odkazmi späť na zdroj.
Hlavnou výhodou RAG oproti samotnému jazykovému modelu je presnosť a aktuálnosť. Keďže odpovede sú naviazané na vyhľadaný obsah, RAG chatbot dokáže zohľadniť informácie, ktoré v čase tréningu modelu ešte neexistovali, zostať v súlade s vašimi konkrétnymi pravidlami a obmedziť halucinácie tým, že modelu poskytne hodnoverný podklad. Aktualizácia databázy znalostí aktualizuje odpovede chatbota. Žiadne pretrénovanie modelu nie je potrebné.
RAG nie je zázračné riešenie. Kvalita odpovedí výrazne závisí od kvality vyhľadávania: ak indexu chýba obsah, je zle rozdelený na časti alebo vracia nerelevantné pasáže, model môže napriek tomu vyprodukovať nesprávne alebo vágne odpovede. Dobré RAG systémy investujú do čistého zdrojového obsahu, rozumného rozdelenia na časti, silného zoraďovania výsledkov vyhľadávania a kontrol opretia, ktoré bránia modelu odchýliť sa od toho, čo bolo vyhľadané.
Mercateer je postavený na tomto princípe stavajúcom na znalostiach. Každý agent čerpá z vašej vlastnej dokumentácie, častých otázok a pravidiel a svoje odpovede opiera o tento materiál, takže odpovede zostávajú presné a v súlade s pravidlami, bližšie k dobre postavenému RAG systému než k scenárovému rozhodovaciemu stromu, ktorý pozná len cesty niekým vopred ručne nastavené.
Súvisiace pojmy
