course/pr_1213/ja/chapter1/6.md

デコーダーモデル

デコーダーモデルとは、Transformerモデルのデコーダーのみを使用したモデルを指します。 処理の各段階で、処理対象の単語について、attention層はその単語より前に出現した単語にのみアクセスすることができます。 このようなモデルは自己回帰モデルと呼ばれます。

　デコーダーモデルの事前学習は、次に続く単語を予測するタスクを解くことを中心に展開されます。

これらのモデルは、文を生成するタスクに最も適しています。

デコーダーモデルでは以下のものが代表的です：

• CTRL
• GPT
• GPT-2
• Transformer XL