あるMLチームが不正取引検出モデルを本番環境にデプロイした後、モデルの精度が3か月後に大幅に低下した。訓練データとテストデータに問題はなく、モデルの実装も正確だった。この精度低下の最も可能性の高い原因はどれか。
- A. Azureのコンピューティングリソースのスペックが不足して推論速度が低下した
- B. 特徴量の数が多すぎる次元の呪いの影響が時間とともに悪化した
- C. 過学習(オーバーフィッティング):テストデータにモデルが特化しすぎた
- D. データドリフト(分布シフト):本番データの統計的分布が時間とともに変化し、学習時のデータと乖離した
解答と解説を見る
正解: D
データドリフト(コンセプトドリフト・コバリエイトシフト)は、本番環境のデータ分布や入力特徴量の統計的性質が学習時のデータから時間とともに変化する現象であり、不正取引パターンは詐欺師の手口変化などで特に起きやすい。対策として定期的な再学習やモニタリングが必要。Cの過学習はデプロイ直後から見られる現象であり、3か月後に「突然」精度が低下する説明としては合わない。Bの次元の呪いは特徴量数の多さに起因するが、デプロイ後の特徴量数は変化しないため時間経過による精度低下の原因にはなりにくい。Aのコンピューティングスペック不足は推論レイテンシには影響するが、予測精度(分類の正確さ)には影響しない。