ある企業が、Amazon A2I(Augmented AI)を使った与信審査のヒューマンレビューワークフローを設計しています。A2I を最も効果的に活用するための設計上の判断として正しいものを2つ選択してください。
- A. 全件を人間がレビューすることでモデルを使う意味がなくなるため、A2I のワークフロー条件には必ず確率的なサンプリングを設定する
- B. Human Review Workflow でレビュー担当者に提示する入力データを設計する際、PII を最小化して必要情報のみを表示することでプライバシーリスクを低減する
- C. モデルの予測信頼スコアが設定した下限閾値を下回った場合のみ人間のレビューにルーティングし、高信頼スコアの予測は自動承認する
- D. A2I のレビュー結果はモデルの自動再学習トリガーとして直接使用できるため、レビュー後の品質チェックは不要である
- E. ランダムサンプリング条件を追加して、高信頼スコアの一部案件も定期的に人間がレビューし、モデルのドリフトや系統的エラーを検出できるようにする
解答と解説を見る
正解: B, C
C の信頼スコア下限閾値によるルーティングは、A2I の最も基本的かつ推奨される活用方法です。高信頼の予測を自動処理し、不確実な予測のみ人間にルーティングすることで、効率と品質を両立します。B のPII 最小化は、レビュー担当者に不必要な個人情報を見せないというプライバシー設計の原則(データ最小化)に従っており、責任ある AI の実践として正しいです。A は「全件レビューが意味をなくす」という前提が誤りです。A2I はランダムサンプリングでの全件に近いレビューも設定可能で、規制要件によっては全件レビューが必要なケースもあります。Eのランダムサンプリングは有用な監視手法ですが、設問の「2つの正解」の候補としてはCとBのほうが直接的な設計判断として適切です。Dはレビュー結果を自動再学習トリガーとして「品質チェック不要で直接使用」という記述が誤りです。ラベルの品質確認・複数レビュアーによる合意形成が必要です。