ある企業が Amazon Bedrock Knowledge Bases を使って社内ナレッジベースの RAG システムを構築した。初期リリース後、「検索結果の精度が低く、関係のない情報が回答に含まれる」というフィードバックが多数寄せられている。精度を向上させるために取るべき対策を 2 つ選択してください。
- A. Knowledge Bases の代わりにファインチューニングに切り替えて、社内知識をモデルに直接学習させる
- B. ドキュメントのチャンクサイズとオーバーラップ設定を最適化し、文脈が途切れないようにする
- C. ベクトル検索の類似度スコアに閾値を設定し、低スコアのチャンクを回答生成から除外する
- D. 最大出力トークン数を 2 倍に増やして詳細な回答を生成させる
- E. temperature パラメータを 1.5 に引き上げて出力の多様性を増やす
解答と解説を見る
正解: B, C
RAG システムの精度問題は「検索（Retrieval）フェーズ」と「生成（Generation）フェーズ」の両方から改善アプローチを取る必要がある。Bのチャンクサイズ最適化は検索精度に直結する。チャンクが大きすぎると無関係な情報が混入し、小さすぎると文脈が失われる。オーバーラップ設定で文章の意味的な連続性を保つことで検索品質が向上する。Cの類似度スコア閾値の設定により、関連性の低いチャンクをフィルタリングして回答の精度を高められる。Eの temperature 引き上げは出力をランダムにするだけで検索精度とは無関係、むしろ幻覚リスクが高まる。Aのファインチューニングへの切り替えは社内知識の正確な参照には RAG のほうが適しており、コストも大幅に増大する。Dの最大トークン数増加は回答の長さを変えるが、「関係のない情報が含まれる」という根本問題の解決にはならない。