ある企業が Amazon Bedrock でテキスト生成タスクを処理しており、top-p（nucleus sampling）パラメータの効果を理解したい。top-p パラメータの動作として正しいものはどれか。
- A. ランダム性を p% の確率で適用し、残り (1-p)% はグリーディサーチを行う
- B. 上位 p% の確率を持つトークンの累積確率が p になるまでトークン候補を絞り込み、その中からランダムに選択する。p を小さくすると候補が絞られ出力が安定する
- C. p 個の最も頻度の高い単語のみを出力候補とし、珍しい単語は除外する
- D. 生成するトークン数の上限を p 個に制限し、応答の長さをコントロールする
解答と解説を見る
正解: B
top-p（nucleus sampling）は確率分布の累積確率が p に達するまでのトークン群（nucleus）の中からサンプリングする手法。例えば top-p=0.9 の場合、確率の高いトークンから順に累積確率が 90% になるまでのトークン群を候補とし、その中からランダムに選ぶ。p を小さくすると候補数が減り出力が安定し、p を大きくすると多様な表現が生まれる。top-p と temperature は両方使われることが多く、相互に影響する。Dの「トークン数上限」は maxTokens パラメータの説明であり top-p とは別。Aのランダム性の確率的適用というのは top-p の正確な動作ではなく、概念の混同。Cの「上位 p 個の単語」は top-k サンプリングの説明であり top-p とは異なる（top-p は個数ではなく累積確率で絞る）。