ある企業が Amazon Bedrock を使って長い技術文書を要約するシステムを構築している。文書の長さがモデルのコンテキスト長を超えてしまうことが多く、処理できない場合がある。最も適切な対処法はどれか。
- A. maxTokens パラメータを増やしてモデルのコンテキスト長を拡張する
- B. 文書を意味的に適切な単位（段落・セクション）に分割して順番に要約し、最後に部分要約を統合して全体要約を生成する（Map-Reduce パターン）
- C. temperature を 0 に設定することでモデルがより長いテキストを処理できるようにする
- D. 文書をランダムに中断して先頭部分だけをモデルに入力する
解答と解説を見る
正解: B
モデルのコンテキスト長上限を超える長文書を扱うベストプラクティスは「Map-Reduce パターン」。Map フェーズで文書をセクション単位に分割して各セクションを個別に要約（部分要約）し、Reduce フェーズで部分要約を統合して最終的な全体要約を生成する。これにより任意の長さの文書を処理できる。文書の意味的な区切りで分割することで各部分の文脈が保たれる。AのmaxTokens は生成する最大トークン数を制限するパラメータであり、入力として受け付けられるコンテキスト長を変更するものではない。モデルのコンテキストウィンドウサイズはモデル自体の仕様で決まっており、パラメータで変更できない。Cのtemperatureはランダム性の制御パラメータであり、コンテキスト長とは無関係。Dのランダム途中切断は文書の重要な後半部分が失われ、品質の低い不完全な要約になる。