ある企業が Amazon Bedrock を使ってコード生成ツールを開発している。モデルのレイテンシが高く、ユーザー体験を損なっているという問題がある。レイテンシを削減するために有効な対策を 2 つ選択してください。
- A. 最大出力トークン数（maxTokens）を業務上必要な上限値に制限する
- B. プロンプトに「必ず詳細なコメントを含めてください」と追加して出力品質を高める
- C. Amazon Bedrock の Provisioned Throughput を使い、高スループットの専用キャパシティを確保する
- D. temperature を 1.5 に引き上げてモデルの出力速度を向上させる
- E. コード生成タスクに特化した軽量な小型モデル（例: より小さいパラメータ数のモデル）に切り替えを検討する
解答と解説を見る
正解: A, E
レイテンシ削減には「生成トークン数の制限」と「軽量モデルの選択」が直接的に有効。Aの maxTokens 制限はモデルが生成するトークン数の上限を設けることで、不要に長い出力を防ぎ応答時間を短縮できる。Eの小型モデルへの切り替えはモデルサイズが小さいほど推論速度（トークン/秒）が一般的に向上する。コード生成でも適切な小型モデルが精度とレイテンシのバランスを改善できる場合がある。Dの temperature はランダム性のパラメータであり生成速度には影響しない。Bの詳細コメント追加はむしろ出力トークン数を増やしてレイテンシを悪化させる。Cの Provisioned Throughput はスループット（同時処理能力）を確保するもので、単一リクエストのレイテンシを直接削減する保証はなく、またコスト増を伴う。