あるデータアナリストが機械学習モデルを訓練した後、その性能を評価するために精度（Accuracy）を計算した。精度が99%という非常に高い値になったが、実際のビジネス場面でのパフォーマンスが期待外れだった。このような状況が起きやすいのはどのような場合か。
- A. クラス不均衡（不正取引が全体の1%しかない）のデータセットを使っている場合
- B. 特徴量の数がサンプル数より少ない場合
- C. 訓練データとテストデータのサイズが等しい場合
- D. 回帰タスクをクラス分類として評価している場合
解答と解説を見る
正解: A
クラス不均衡（例：不正取引1%・正常99%）の場合、モデルが全サンプルを「正常」と予測するだけで精度99%が出てしまう。しかし不正取引を1件も検出できないため実用価値はゼロであり、精度という指標だけでは性能を正しく評価できない。このような場合は適合率（Precision）・再現率（Recall）・F1スコアなどを使う必要がある。Cの訓練・テストサイズが等しい場合は特に精度を歪める直接要因にはならない。Dの回帰をクラス分類評価することは手法の不一致であり、精度の高さとは別の問題。Bの特徴量数はモデルの表現力に関わるが、精度の水増しとは直接関係しない。