Buckets:
エンコーダーモデル
エンコーダーモデルとは、Transformerモデルのエンコーダーのみを使用したモデルを指します。 処理の各段階で、attention層は最初の文の全ての単語にアクセスすることができます。 これらのモデルは "bi-directional"（双方向）のattentionを持つものとして特徴付けられ、オートエンコーダーモデルと呼ばれます。
これらのモデルの事前学習は、何らかの方法で（例えば文中の単語をランダムにマスクするなどで）文を壊し、この文の再構築をタスクとして解くことを中心に展開されます。
エンコーダーモデルは、文の分類 ・ 固有表現認識（より一般的には単語の分類） ・ 抽出的質問応答など、文全体の理解を必要とするタスクに最も適しています。
エンコーダーモデルでは以下のものが代表的です：
Xet Storage Details
- Size:
- 1.56 kB
- Xet hash:
- f88b361750e9e03a8b6115336306ed1b4d2def544b373e4f9ff5ad22ba24479b
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.