course/main/it/chapter1/6.md

Modelli decoder

I modelli decoder utilizzano solo il decoder di un modello Transformer. Ad ogni passaggio e per una data parola, gli attention layer hanno accesso solo alle parole che la precedono nella frase. Questi modelli sono spesso detti auto-regressive models.

Il pre-addestramento dei modelli decoder ha spesso a che fare con la previsione della parola successiva in un contesto frasale.

Questi modelli sono particolarmente adatti a compiti di generazione testuale.

Alcuni rappresentanti di questa famiglia includono:

• CTRL
• GPT
• GPT-2
• Transformer XL