Buckets:
Modelos de codificadores
Los modelos de codificadores usan únicamente el codificador del Transformer. En cada etapa, las capas de atención pueden acceder a todas las palabras de la oración inicial. Estos modelos se caracterizan generalmente por tener atención "bidireccional" y se suelen llamar modelos auto-encoding.
El preentrenamiento de estos modelos generalmente gira en torno a corromper de alguna manera una oración dada (por ejemplo, ocultando aleatoriamente palabras en ella) y pidiéndole al modelo que encuentre o reconstruya la oración inicial.
Los modelos de codificadores son más adecuados para tareas que requieren un entendimiento de la oración completa, como la clasificación de oraciones, reconocimiento de entidades nombradas (y más generalmente clasificación de palabras) y respuesta extractiva a preguntas.
Los miembros de esta familia de modelos incluyen:
Xet Storage Details
- Size:
- 1.26 kB
- Xet hash:
- 1e39badd7f9f384e7b7fed1f1f2ccd0b0e3ccbc80e5becd6c345da455277ee54
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.