RAGチャットボット

RAGは検索拡張生成（retrieval-augmented generation）の略です。RAGチャットボットは、大規模言語モデルと検索のステップを組み合わせます。ユーザーが質問すると、システムはまずナレッジソース（ヘルプ記事、製品ドキュメント、ポリシー、過去のチケット）から最も関連性の高い文章を検索し、それらの文章をコンテキストとしてモデルに渡します。そのため、生成される回答はモデルの一般的な学習データだけではなく、実際の最新情報に基づいたものになります。

仕組みとしては、ナレッジソースは通常チャンクに分割され、ベクトル埋め込みに変換されて、ベクトルデータベースや検索インデックスに保存されます。クエリ時にはユーザーの質問が埋め込みに変換され、そのインデックスと照合して最も近い文章を取得します。それらの文章はプロンプトに挿入され、モデルはそれを踏まえた回答を生成します。多くの場合、情報源への引用が付きます。

通常の言語モデルに対するRAGの主な利点は、正確さと情報の新しさです。回答が取得したコンテンツと結びついているため、RAGチャットボットはモデルの学習時には存在しなかった情報を反映でき、自社固有のポリシーに沿った対応を保ち、信頼できる材料をモデルに与えることでハルシネーションを抑えられます。ナレッジベースを更新すれば、ボットの回答も更新されます。モデルの再学習は不要です。

RAGは万能薬ではありません。回答の品質は検索の品質に大きく左右されます。インデックスにコンテンツが欠けていたり、チャンク分割が不適切だったり、関連性のない文章を返したりすると、モデルは依然として誤った回答や曖昧な回答を生み出すことがあります。優れたRAGシステムは、整ったソースコンテンツ、適切なチャンク分割、強力な検索ランキング、そして取得した内容を超えてモデルが逸脱しないようにするグラウンディングのチェックに力を入れています。

Mercateerは、このナレッジを起点とするパターンの上に作られています。各エージェントは自社のドキュメント、FAQ、ポリシーから情報を取得し、その材料に基づいて回答を組み立てるため、回答は正確でポリシーに沿った内容に保たれます。あらかじめ誰かが手作業で組んだ経路しか知らないスクリプト型の決定木よりも、よく作り込まれたRAGシステムに近い存在です。