ある IT 企業が Amazon Bedrock の基盤モデルを使ってカスタマーサポート担当者の対応を補助するシステムを構築した。担当者がチャットで顧客の問い合わせ内容を入力すると、モデルが回答案を生成する。このシステムで top-p を 0.95 から 0.3 に変更した場合に期待される効果はどれか。担当者がチャットで顧客の問い合わせ内容を入力すると、モデルが回答案を生成する。このシステムで top-p を 0.95 から 0.3 に変更した場合に期待される効果はどれか。
- A. 生成速度が 3 倍になり、リアルタイム対応が改善される
- B. 回答の多様性が増し、担当者ごとに異なるユニークな提案が生成されやすくなる
- C. 回答の多様性が低下し、より安定した・典型的な回答が生成されやすくなる。ただし表現の豊富さは低下する可能性がある
- D. 回答のトークン数が減少し、より短い回答が生成される
解答と解説を見る
正解: C
top-p（nucleus sampling）パラメータは次のトークンを選択する際の候補集合の範囲を累積確率で制御する。top-p=0.95 では全確率の 95% をカバーするトークン群（多くの候補）から選択するため多様性が高い。top-p=0.3 では全確率の 30% をカバーするトークン群（少ない候補、ほぼ上位の高確率トークンのみ）から選択するため、出力が安定・典型的になる。カスタマーサポートのような一貫性が求められるユースケースでは low top-p が適切な場合がある。Bは逆で、top-p を低くすると多様性は低下する。多様性を高めるには top-p を上げる（または temperature を上げる）。Aはtop-p の変更は生成速度（tokens/sec）には影響しない。速度はモデルサイズや Provisioned Throughput の設定に依存する。Dの出力トークン数はtop-p の変更とは直接関係がない（maxTokens パラメータで制御する）。