course/pr_1194/vi/chapter1/6.md

CCác mô hình giải mã

Mô hình giải mã chỉ sử dụng phần giải mã của mô hình Transformer. Ở mỗi bước, đối với một từ nhất định, các lớp attention chỉ có thể truy cập các từ được đặt trước nó trong câu. Những mô hình này thường được gọi là mô hình auto-regressive hay hồi quy tự động.

Việc huấn luyện trước các mô hình giải mã thường xoay quanh việc dự đoán từ tiếp theo trong câu.

Các mô hình này phù hợp nhất cho các tác vụ liên quan đến việc tạo văn bản.

Một số mô hình tiêu biểu của nhóm này bao gồm:

• CTRL
• GPT
• GPT-2
• Transformer XL