ある企業が Amazon Bedrock で基盤モデルを選定する際、「レイテンシを最優先し、品質は 80% 以上のユーザー満足度を達成すれば十分」という要件がある。モデル選択の判断として最も適切なものはどれか。
- A. ファインチューニングで大型モデルをタスク専用化して精度とレイテンシを同時に最適化する
- B. 最も高精度（高パラメータ数）の大型モデルを選択して品質を最大化する
- C. レイテンシとコストが低い小型・中型モデルを複数で比較評価し、80% 以上の満足度を達成できる最も軽量なモデルを選択する
- D. Amazon Bedrock のすべてのモデルで同一プロンプトを実行し、最も長い回答を返したモデルを選択する
解答と解説を見る
正解: C
モデル選択は「精度・コスト・レイテンシ」のトレードオフを要件に合わせて最適化する問題。本問は「レイテンシ最優先・品質は 80% 以上で十分」という要件であるため、品質要件を満たせる範囲で最も軽量（高速・低コスト）なモデルを実験的に特定することが正解。大型モデルが必ずしも必要ではなく、過剰な能力（over-engineering）は避けるべき。Bの最大精度モデルの選択は「レイテンシ最優先」という要件に反する。大型モデルは一般的にレイテンシが高い。Dの「最も長い回答を返したモデル」は品質の評価指標として全く不適切で、長さは品質を保証しない。Aのファインチューニングはレイテンシ改善に直接寄与せず（モデルサイズ自体は変わらない）、コストも発生する。まず既存のモデルで要件を充たせるかを評価すべき。