Buckets:
エンコーダーモデル
エンコーダーモデルとは、Transformerモデルのエンコーダーのみを使用したモデルを指します。 処理の各段階で、attention層は最初の文の全ての単語にアクセスすることができます。 これらのモデルは "bi-directional"（双方向）のattentionを持つものとして特徴付けられ、オートエンコーダーモデルと呼ばれます。
これらのモデルの事前学習は、何らかの方法で（例えば文中の単語をランダムにマスクするなどで）文を壊し、この文の再構築をタスクとして解くことを中心に展開されます。
エンコーダーモデルは、文の分類 ・ 固有表現認識（より一般的には単語の分類） ・ 抽出的質問応答など、文全体の理解を必要とするタスクに最も適しています。
エンコーダーモデルでは以下のものが代表的です：
Xet Storage Details
- Size:
- 1.42 kB
- Xet hash:
- 4484a1969e1183115c8e287e2c13d187fec7aea476a0f08fc8677964c1c61930
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.