あるデータサイエンティストが、Azure Machine Learning の自動ML(AutoML)でモデルを作成したところ、適合率(Precision)は高いがF1スコアが低いモデルが選ばれた。F1スコアが低い原因として最も可能性が高いものはどれか。
- A. 再現率(Recall)が低く、実際の陽性サンプルを多く見逃しているため、F1スコアが低下している
- B. 適合率が高すぎるため、F1スコアの計算式でエラーが発生している
- C. データセットのサンプル数が多いとF1スコアが常に低くなる性質がある
- D. クラス不均衡がない均衡データセットではF1スコアは常に精度より低くなる
解答と解説を見る
正解: A
F1スコアは適合率(Precision)と再現率(Recall)の調和平均(2×P×R÷(P+R))であるため、一方が高くてももう一方が低ければF1スコアは大きく下がる。適合率は高いが再現率が低い場合、「陽性と予測したものは正確だが、実際の陽性の多くを見逃している」状態であり、この見逃しがF1の低下を招く。Bは計算式でエラーは発生しないので誤り。Cのサンプル数とF1スコアの大小は直接関係しない。DのF1スコアが常に精度より低いというのは一般的な事実ではなく、クラス不均衡やモデルの挙動によって異なる。