Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG)

RAG（Retrieval Augmented Generation）は、現代のAIアプリケーションで最も実用的で広く使われているパターンの1つです。これは根本的な問題を解決します。言語モデルはトレーニングされた情報しか知りません。あなたの特定の文書、プライベートデータ、最新の情報は知りません。RAGは再トレーニングなしでそれらの知識へのアクセスを提供します。

アイデアはシンプルです。ユーザーが質問をすると、まず自分のナレッジベースから関連情報を検索し、質問と検索結果の両方を言語モデルに渡します。モデルは取得した情報を使って質問に答えます。トレーニングデータだけに頼るのではなく、新鮮で具体的で関連性の高いコンテキストにアクセスできます。

検索部分は通常、以前の記事で説明した埋め込みを使用します。すべての文書を埋め込み、ベクトルデータベースに保存します。質問が来たら、質問を埋め込み、最も類似した文書を見つけてモデルに渡します。これは、すべての知識をモデルのコンテキストウィンドウに詰め込もうとするよりもはるかに効率的です。

RAGにはファインチューニングに比べていくつかの利点があります。モデルの再トレーニングが不要なので、セットアップが安価で迅速です。文書を追加または削除することで、ナレッジベースを即座に更新できます。モデルはソースを引用することもでき、各質問にどの文書を使用したかを正確に示すため、信頼性が高まり検証が可能になります。

RAGの主な課題は検索品質です。検索が適切な文書を見つけられない場合、モデルは答えを知っていても正しく回答できません。検索の改善には、適切な埋め込みモデルの選択、文書の適切な分割、そして場合によっては意味的マッチングとキーワードマッチングを組み合わせたハイブリッド検索の使用が必要です。優れた検索が優れたRAGシステムの鍵です。