ある企業が LLM を使ったアプリケーションにおけるハルシネーション(Hallucination)のリスクを低減したいと考えている。最も効果的な対策を2つ選択してください。
- A. 重要事項については LLM の回答を信頼性のある外部データソースや専門家レビューで事後確認する仕組みを設ける
- B. モデルを毎日再トレーニングして知識を最新化すれば、誤情報の生成を防止できる
- C. RAG(Retrieval-Augmented Generation)を導入し、回答生成時に検証済みドキュメントから根拠を取得して提示する
- D. LLM の temperature を 0 に設定すれば、ハルシネーションが完全になくなる
- E. プロンプトの文字数を 10 文字以内に制限することでモデルの混乱を防ぐ
解答と解説を見る
正解: A, C
RAG により根拠文書を明示的に提供することでハルシネーションを減らせる(ただし完全には防げない)。また事後確認・人間レビューの仕組みを設けることが高精度要求場面では必須。Dは誤り:temperature=0 は出力を決定論的にするが、ハルシネーションを完全排除できるわけではない。モデルの学習データに誤りがあればその誤りを確実に出力するリスクがある。Eは誤り:プロンプトを 10 文字に制限すると十分な文脈が与えられず、回答精度が大幅に低下する。Bは誤り:LLM の毎日再トレーニングは現実的なコスト・工数ではなく、またファインチューニングは事実の追加ではなくスタイル・タスク適応が主目的。