RAG-чат-бот
RAG-чат-бот — это разговорный ИИ, который использует генерацию с дополненной выборкой (retrieval-augmented generation): в момент ответа он находит нужную информацию в источнике знаний и опирается на этот найденный материал, а не полагается только на то, что модель запомнила во время обучения.
RAG расшифровывается как retrieval-augmented generation — генерация с дополненной выборкой. RAG-чат-бот сочетает большую языковую модель с шагом поиска: когда пользователь задаёт вопрос, система сначала ищет в источнике знаний (справочные статьи, документация по продукту, правила, прошлые обращения) наиболее подходящие фрагменты, а затем передаёт их модели в качестве контекста, чтобы сгенерированный ответ основывался на реальной, актуальной информации, а не только на общих данных, на которых обучалась модель.
С технической точки зрения источник знаний обычно разбивается на фрагменты, преобразуется в векторные представления и сохраняется в векторной базе данных или поисковом индексе. При запросе вопрос пользователя также преобразуется в вектор и сопоставляется с этим индексом, чтобы найти ближайшие фрагменты. Эти фрагменты вставляются в промпт, и модель генерирует ответ на их основе, часто со ссылками на источник.
Главное преимущество RAG перед обычной языковой моделью — точность и актуальность. Поскольку ответы привязаны к найденному материалу, RAG-чат-бот может отражать информацию, которой не было на момент обучения модели, соответствовать вашим конкретным правилам и реже выдумывать, опираясь на проверенный материал. Обновление базы знаний обновляет и ответы бота. Переобучать модель не нужно.
RAG — не панацея. Качество ответа сильно зависит от качества поиска: если в индексе не хватает материала, он плохо разбит на фрагменты или возвращает нерелевантные отрывки, модель всё равно может давать неверные или расплывчатые ответы. В хороших RAG-системах вкладываются в чистый исходный материал, разумное разбиение на фрагменты, сильное ранжирование результатов поиска и проверки опоры на источники, которые не дают модели выходить за рамки найденного.
Сервис построен на этом принципе «знания прежде всего». Каждый агент обращается к вашим собственным документам, ответам на частые вопросы и правилам и опирается на этот материал в своих ответах, поэтому они остаются точными и соответствуют правилам. Это ближе к хорошо построенной RAG-системе, чем к жёсткому дереву решений, которое знает только заранее прописанные кем-то ветки.
Связанные термины
