ある企業が自社の製造プロセスに関する膨大な技術マニュアル（合計 5,000 ページ）を Amazon Bedrock Knowledge Bases に格納して RAG システムを構築した。技術者からは「質問に対して正確に関連する手順が返ってくることもあれば、まったく関係ない章の内容が返ってくることもある」という不安定な動作が報告されている。この問題の原因と対策として最も適切なものはどれか。
- A. Knowledge Bases のデータソース同期を毎日実施して最新の文書を常に反映させる
- B. ベクトルDBの容量が不足しているため、より大きなインスタンスタイプに変更する
- C. チャンクサイズが不適切（大きすぎると無関係な内容が混入、小さすぎると文脈が欠落）であることが原因の可能性があり、チャンクサイズとオーバーラップをチューニングし、ハイブリッド検索（ベクトル検索＋BM25キーワード検索）の導入を検討する
- D. モデルの temperature が高すぎるため、0 に下げることで検索結果が安定する
解答と解説を見る
正解: C
RAG システムの検索品質の不安定さは主に「チャンキング戦略」と「検索アルゴリズム」に起因することが多い。チャンクが大きすぎると一つのチャンクに複数のトピックが混在して無関係な情報が混入し、小さすぎると文脈情報が失われて正確な類似度計算ができなくなる。オーバーラップ設定で文章境界での文脈断絶を防ぐことも重要。さらに純粋なベクトル検索は専門用語や製品コード等の exact match に弱いため、BM25（TF-IDF ベースのキーワード検索）と組み合わせたハイブリッド検索が精度向上に有効。Dのtemperatureは「検索（Retrieval）フェーズ」には影響せず、問題の根本原因ではない。Bのインスタンスサイズはスループットに影響するが、検索の「精度」や「関連性」とは別問題。Aのデータ同期頻度は最新性の問題に対応するものであり、精度の不安定さ（ランダム性）の根本原因ではない。