Chatbot RAG

RAG là viết tắt của sinh nội dung tăng cường truy xuất. Một chatbot RAG kết hợp mô hình ngôn ngữ lớn với một bước truy xuất: khi người dùng đặt câu hỏi, hệ thống trước tiên tìm trong một nguồn tri thức (bài viết trợ giúp, tài liệu sản phẩm, chính sách, phiếu cũ) những đoạn liên quan nhất, rồi đưa các đoạn đó vào mô hình làm bối cảnh để câu trả lời được sinh ra dựa trên thông tin thực và cập nhật, chứ không chỉ dựa trên dữ liệu huấn luyện chung của mô hình.

Về mặt kỹ thuật, nguồn tri thức thường được chia thành các đoạn nhỏ, chuyển thành vector nhúng, và lưu trong cơ sở dữ liệu vector hoặc chỉ mục tìm kiếm. Khi truy vấn, câu hỏi của người dùng được nhúng và đối chiếu với chỉ mục đó để truy xuất những đoạn gần nhất. Các đoạn này được chèn vào câu lệnh, và mô hình sinh ra câu trả lời dựa trên chúng, thường kèm trích dẫn về lại nguồn.

Ưu điểm chính của RAG so với một mô hình ngôn ngữ thuần túy là độ chính xác và tính cập nhật. Vì câu trả lời được gắn với nội dung truy xuất được, một chatbot RAG có thể phản ánh thông tin chưa hề tồn tại khi mô hình được huấn luyện, bám sát các chính sách cụ thể của bạn, và giảm tình trạng bịa đặt bằng cách cho mô hình tài liệu đáng tin cậy để dựa vào. Cập nhật cơ sở tri thức là cập nhật câu trả lời của bot. Không cần huấn luyện lại mô hình.

RAG không phải là phương thuốc thần kỳ. Chất lượng câu trả lời phụ thuộc rất nhiều vào chất lượng truy xuất: nếu chỉ mục thiếu nội dung, chia đoạn kém, hoặc trả về những đoạn không liên quan, mô hình vẫn có thể đưa ra câu trả lời sai hoặc mơ hồ. Các hệ thống RAG tốt đầu tư vào nội dung nguồn sạch sẽ, chia đoạn hợp lý, xếp hạng truy xuất mạnh, và các kiểm tra neo dữ liệu giữ cho mô hình không đi chệch khỏi những gì đã truy xuất được.

Mercateer được xây dựng theo mô hình lấy tri thức làm trọng tâm này. Mỗi tác nhân truy xuất từ chính tài liệu, câu hỏi thường gặp và chính sách của bạn, rồi neo câu trả lời vào tài liệu đó, nhờ vậy phản hồi luôn chính xác và đúng chính sách, gần với một hệ thống RAG được xây dựng tốt hơn là một cây quyết định soạn sẵn chỉ biết những lối đi mà ai đó đã đấu dây trước.