ある医療スタートアップが患者の電子カルテから疾患を予測するモデルを構築しました。モデルの評価に際して、クラス（疾患あり：5%、疾患なし：95%）の比率が大きく偏ったデータで精度（Accuracy）が98%を示しています。この評価結果に関する最も正確な解釈はどれですか。
- A. 98%という精度は医療用として十分であり、このモデルは実用に値する
- B. 精度は最も信頼性の高い指標であるため、AUC-ROCよりも優先すべきである
- C. クラス不均衡があるため精度単独では信頼できず、AUC-ROCや F1スコアなどの指標も併せて確認すべきである
- D. 疾患クラスが少数であるため、該当クラスのサンプルを全部削除して評価すべきである
解答と解説を見る
正解: C
クラス不均衡なデータ（疾患なし95%）では、モデルがすべてのサンプルを「疾患なし」と予測するだけで精度95%を達成できます。98%という精度が実際には疾患あり患者を全く検出できていない可能性があります。AUC-ROCは各閾値における真陽性率と偽陽性率のトレードオフを評価し、F1スコアは再現率と適合率の調和平均であり、どちらもクラス不均衡に強い評価指標です。精度が最優先という考えはクラス不均衡問題では誤りです。疾患ありサンプルを削除することはモデル評価の目的を完全に失わせる誤ったアプローチです。