あるNLPエンジニアがTransformerアーキテクチャについて学んでいる。Transformerが従来のRNN（再帰型ニューラルネットワーク）に比べて長文テキスト処理で優れている主な理由はどれか。
- A. Transformerはシーケンシャルに単語を処理するため、文脈の流れを正確に捉えられる
- B. Self-Attention機構によりシーケンス全体の依存関係を並列計算でき、長距離依存も効率的に捉えられる
- C. Transformerはルールベースの構文解析を組み込んでいるため、文法を正確に理解できる
- D. Transformerは感情分析専用に最適化された特殊なアーキテクチャである
解答と解説を見る
正解: B
TransformerのSelf-Attention機構は、シーケンス内のすべてのトークン間の関連度（アテンション重み）を一度に並列計算するため、RNNが苦手とする長距離依存（文の始まりと末尾の関係）を効率的に処理できる。また並列計算により訓練速度も大幅に向上する。AはRNNの特徴の説明であり、Transformerはシーケンシャルではなく並列処理が基本。CはTransformerにルールベースの構文解析は組み込まれておらず、完全にデータ駆動の学習を行う。DのTransformerは感情分析専用ではなく、機械翻訳・テキスト生成・画像認識など幅広いタスクで活用される汎用アーキテクチャである。