ある企業が Amazon Bedrock を使ってコールセンターの問い合わせに対する自動回答システムを構築した。本番運用開始後に継続的にモデルの品質を監視・改善するサイクルを確立したい。最も適切な継続的評価・改善のアプローチはどれか。

正解: D

継続的なモデル品質管理（MLOps における Model Monitoring）のベストプラクティスは「ユーザーフィードバック収集→分析→改善→デプロイ」のフィードバックループを構築すること。特に LLM では技術的なエラーがなくても「内容の誤り」「有用でない回答」が発生するため、ユーザーの主観的評価（サムズアップ/ダウン、評価コメント）を収集することが重要。低評価の実例を人手でレビューして根本原因を特定し、プロンプト改善・追加ファインチューニング等に反映するループが品質維持の核心。Bは問題発生後の対応では手遅れになるケースが多く、品質劣化を早期に発見するための継続的監視が必要。Aの ROUGE は参照テキストが必要な指標であり、本番の顧客問い合わせへの回答評価には直接使えない。また ROUGE だけで品質を評価するのは不十分。Cのエラーレート（技術的な API エラー）はシステムの可用性を測るものであり、回答の「品質（内容の正確さ・有用性）」とは別次元の指標。