ある企業が、Bedrock 上のモデルを利用して長文の法律文書から重要条項を自動抽出するシステムを構築した。しかし文書が 200 ページを超えるケースで処理が失敗または精度が低下している。最もコスト効率よく問題を解決するアプローチはどれか。
- A. 200 ページを超える文書は人間のレビュアーに振り分け、システムの処理対象から除外する
- B. コンテキストウィンドウが無限大のモデルが将来出るまで開発を凍結する
- C. 文書をセマンティックチャンキングで分割し、関連チャンクのみを取得して LLM に渡す RAG アーキテクチャを導入する
- D. GPU を増設して推論を高速化し、長文でもタイムアウトしないようにする
解答と解説を見る
正解: C
長文ドキュメントはコンテキストウィンドウ制限に引っかかる典型問題である。セマンティックチャンキング＋ベクトル検索により、必要な条項に関連するチャンクのみを抽出して LLM に渡すことで、コンテキスト制限を超えずに高精度を維持できる。Bは誤り：技術的問題を将来の仮想的解決策に委ねることは開発戦略として不適切であり、現在でもコンテキストウィンドウは有限である。Aは誤り：人間振り分けはコストが高く、自動化の目的を損なう。Dは誤り：GPU 増設は推論速度の問題を解決するが、コンテキストウィンドウは GPU スペックではなくモデルアーキテクチャで決まるため根本解決にならない。