ある SaaS 企業が Amazon Bedrock で提供するテキスト要約 API のコストを削減したい。現在は 100 万トークンあたりのコストが高いモデルを使用しており、要約品質はほぼ同等であればモデルを切り替えてもよいと判断している。最も適切な判断基準はどれか。
- A. 入力トークン単価が低く、要約タスクのベンチマーク（ROUGE スコア等）で同等の品質を示すモデルに切り替える
- B. temperature を 0 に固定してコスト効率を高める
- C. ファインチューニングで要約専用の小型モデルを作成し、API コールを削減する
- D. 最大コンテキスト長が最も長いモデルに切り替えて、長文でも分割処理が不要にする
解答と解説を見る
正解: A
モデル選択の際はコスト（トークン単価）と品質（タスク固有のベンチマーク）のトレードオフを評価するのが正しいアプローチ。ROUGE（Recall-Oriented Understudy for Gisting Evaluation）は自動生成要約と参照要約の n-gram 一致率を測る指標で、要約品質の定量評価に広く使われる。同等品質でトークン単価が低いモデルへの切り替えが最もコスト効率の高い判断。Dの最大コンテキスト長は長文処理能力の指標であり、コスト削減の判断軸ではない。また長いモデルのほうがむしろ単価が高いケースが多い。Bの temperature はコスト自体に影響しない（生成トークン数は変化しない）。Cのファインチューニングは初期コストと管理コストが発生し、単純なモデル切り替えより費用対効果が高いとは言えない。