ある企業のMLエンジニアが、本番環境のモデルでバイアス(Bias)問題が発覚しました。採用候補者の評価モデルが、特定の性別・人種の候補者に対して不当に低いスコアを出していることが判明しています。この問題を最小限の運用コストで体系的に検出・軽減するための AWS アーキテクチャとして最も適切なものはどれですか。
- A. 本番トラフィックをすべて人間のレビュアーに転送し、すべての判定を手動で行う
- B. モデルの精度(Accuracy)を向上させることでバイアスは自動的に解消されるため、ハイパーパラメータチューニングのみを実施する
- C. AWS Lambda を使って定期的にモデルの出力を全件サンプリングし、手動でスプレッドシートに記録する
- D. Amazon SageMaker Clarify でトレーニングデータおよびモデル出力のバイアス分析を実行し、不均衡なデータの再サンプリングと特徴量の調整を行う
解答と解説を見る
正解: D
Amazon SageMaker Clarify は、トレーニングデータの統計的バイアス(特定の属性グループのデータ不均衡)とモデルの予測バイアス(特定グループへの不公平なスコア)の両方を定量化するメトリクスを提供します。再サンプリング・再重み付け・特徴量調整といった緩和策と組み合わせることで、体系的かつ自動化された形でバイアス問題に対処できます。Lambda での手動サンプリングとスプレッドシート管理は属人的でスケールしません。精度の向上はバイアスを解消するものではなく、バイアスが高精度で実行される可能性もあります(Accuracy Paradox)。すべての判定を人間に委任することはシステムの目的を失い、コスト効率も最悪です。
📚 関連サービスの解説: Amazon SageMaker