Buckets:

rtrm's picture
|
download
raw
1.15 kB

디코더 모델

디코더 모델(Decoder models)은 트랜스포머 모델의 디코더만 사용합니다. 각각의 단계마다, 어텐션 레이어는 주어진 단어에 대해 문장 내에서 해당 단어 앞에 위치한 단어들에 대해서만 액세스 할 수 있습니다. 이러한 모델을 자동 회귀(auto-regressive) 모델이라고 부릅니다.

디코더 모델의 사전 학습은 보통 문장 내 다음 단어 예측을 반복하는 방식으로 이루어집니다.

이러한 모델은 텍스트 생성에 특화되어 있습니다.

디코더 모델 계열의 대표 주자들은 다음과 같습니다:

Xet Storage Details

Size:
1.15 kB
·
Xet hash:
536468f49f9533497eba74859c908e8200761fb867ef01131ff6d5ea54581809

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.