Buckets:
エンコーダーモデル
エンコーダーモデルとは、Transformerモデルのエンコーダーのみを使用したモデルを指します。 処理の各段階で、attention層は最初の文の全ての単語にアクセスすることができます。 これらのモデルは "bi-directional"（双方向）のattentionを持つものとして特徴付けられ、オートエンコーダーモデルと呼ばれます。
これらのモデルの事前学習は、何らかの方法で（例えば文中の単語をランダムにマスクするなどで）文を壊し、この文の再構築をタスクとして解くことを中心に展開されます。
エンコーダーモデルは、文の分類 ・ 固有表現認識（より一般的には単語の分類） ・ 抽出的質問応答など、文全体の理解を必要とするタスクに最も適しています。
エンコーダーモデルでは以下のものが代表的です：
Xet Storage Details
- Size:
- 1.34 kB
- Xet hash:
- dd09e205657e0bf8a1feb9fa463d45eb9ef9d1b795ca1d17bc8a1eeca2592b97
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.