Buckets:

rtrm's picture
|
download
raw
1.09 kB
# โมเดล Decoder
โมเดล decoder ใช้เพียงส่วน decoder จากโมเดล Transformer เท่านั้น ในแต่ละชั้น attention layer สามารถเข้าถึงคำที่อยู่ตำแหน่งก่อนหน้าในประโยคได้เท่านั้น โมเดลเหล่านี้เรียกว่า *โมเดล auto-regressive*
โมเดล pretrain ในกลุ่มนี้ใช้ในการทำนายคำต่อไปในประโยค เหมาะสำหรับงานในการสร้างข้อความ
ตัวแทนโมเดลในกลุ่มนี้ได้แก่:
- [CTRL](https://huggingface.co/transformers/model_doc/ctrl.html)
- [GPT](https://huggingface.co/docs/transformers/model_doc/openai-gpt)
- [GPT-2](https://huggingface.co/transformers/model_doc/gpt2.html)
- [Transformer XL](https://huggingface.co/transformers/model_doc/transformerxl.html)

Xet Storage Details

Size:
1.09 kB
·
Xet hash:
89ea8bd3b42276887d864f8e0431397e3548d00dae5dadeee65decba077d9dd6

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.