あるデータサイエンティストが、Transformerアーキテクチャを使った大規模言語モデル（LLM）の事前学習について技術検討をしている。LLMの自己教師あり学習（Self-supervised Learning）において使われる代表的な事前学習タスクを2つ選択してください。
- A. データ拡張と対照学習（SimCLR）：画像の変換ペアの類似度を最大化する
- B. マスク言語モデリング（Masked Language Modeling）：入力テキストの一部をマスクして元のトークンを予測する
- C. 次トークン予測（Causal Language Modeling）：過去のトークン列を見て次のトークンを予測する
- D. 強化学習による行動最適化：環境からの報酬シグナルで言語モデルのパラメータを更新する
- E. 教師ラベルが付与されたデータでカテゴリ分類を行うマルチクラス分類事前学習
解答と解説を見る
正解: B, C
LLMの自己教師あり事前学習の代表的なタスクはCとBである。次トークン予測（Causal LM）はGPT系モデルで使われる手法で、「これまでのトークン列から次のトークンを予測する」という形でラベルなしテキストコーパスを利用する。マスク言語モデリング（MLM）はBERTが採用した手法で、テキストの一部をマスクして元のトークンを予測させる。どちらも正解ラベルをテキスト自体から生成するため「自己教師あり」と呼ばれる。Eの教師ラベル付き分類事前学習はファインチューニング段階のタスクであり、事前学習フェーズではない。Dの強化学習は事前学習ではなくRLHF（人間フィードバックからの強化学習）などファインチューニング段階で使われる。AのSimCLRは画像向けの対照学習手法であり、LLMの言語事前学習とは異なる。