RAG sohbet botu
RAG sohbet botu, getirimle artırılmış üretim (retrieval-augmented generation) kullanan, konuşma tabanlı bir yapay zekadır: yanıt anında bir bilgi kaynağından ilgili bilgileri arar ve yalnızca modelin eğitim sırasında ezberlediklerine güvenmek yerine, getirdiği bu içeriği yanıtını temellendirmek için kullanır.
RAG, getirimle artırılmış üretim (retrieval-augmented generation) anlamına gelir. Bir RAG sohbet botu, büyük bir dil modelini bir getirim adımıyla birleştirir: bir kullanıcı soru sorduğunda sistem önce bir bilgi kaynağında (yardım makaleleri, ürün belgeleri, politikalar, geçmiş talepler) en ilgili pasajları arar, ardından bu pasajları modele bağlam olarak iletir; böylece üretilen yanıt yalnızca modelin genel eğitim verilerine değil, gerçek ve güncel bilgilere dayanır.
Mekanik olarak, bilgi kaynağı genellikle parçalara (chunk) bölünür, vektör gömme (embedding) biçimine dönüştürülür ve bir vektör veritabanında ya da arama dizininde saklanır. Sorgu anında kullanıcının sorusu da bir gömmeye dönüştürülür ve en yakın pasajları getirmek için bu dizinle eşleştirilir. Bu pasajlar isteme (prompt) eklenir ve model, çoğu zaman kaynağa atıfta bulunan göndermelerle birlikte, bunlardan yararlanan bir yanıt üretir.
RAG'in düz bir dil modeline kıyasla başlıca avantajı doğruluk ve güncelliktir. Yanıtlar getirilen içeriğe bağlı olduğundan, bir RAG sohbet botu model eğitildiğinde mevcut olmayan bilgileri yansıtabilir, kendi belirli politikalarınızla uyumlu kalabilir ve modele üzerinde çalışacağı güvenilir bir malzeme vererek halüsinasyonları azaltabilir. Bilgi tabanını güncellemek, botun yanıtlarını da günceller. Modelin yeniden eğitilmesi gerekmez.
RAG her derde deva değildir. Yanıt kalitesi büyük ölçüde getirim kalitesine bağlıdır: dizinde içerik eksikse, parçalama kötü yapılmışsa ya da alakasız pasajlar getiriliyorsa model yine de yanlış veya belirsiz yanıtlar üretebilir. İyi RAG sistemleri; temiz kaynak içeriğe, mantıklı parçalamaya, güçlü getirim sıralamasına ve modelin getirilenin ötesine sapmasını engelleyen temellendirme denetimlerine yatırım yapar.
Mercateer bu bilgi öncelikli yaklaşım üzerine kuruludur. Her ajan kendi belgelerinizden, SSS'lerinizden ve politikalarınızdan getirim yapar ve yanıtlarını bu malzemeye dayandırır; böylece yanıtlar doğru ve politikalara uygun kalır; birinin önceden elle bağladığı yolları bilen, senaryoya dayalı bir karar ağacından çok, iyi kurulmuş bir RAG sistemine yakın olur.
