|
|
--- |
|
|
license: unknown |
|
|
language: |
|
|
- es |
|
|
metrics: |
|
|
- accuracy |
|
|
- f1 |
|
|
library_name: transformers |
|
|
pipeline_tag: text-classification |
|
|
tags: |
|
|
- prediction |
|
|
- peptide |
|
|
- mhc |
|
|
- hlab |
|
|
- distilbert |
|
|
--- |
|
|
# DistilBERT-pMHC |
|
|
|
|
|
<!-- Provide a quick summary of what the model is/does. --> |
|
|
|
|
|
Este modelo fue creado realizando el principio de destilación BERT y poniéndolo en prácitica con un modelo proteínico como lo es el ProteinBERT. |
|
|
|
|
|
Se usó de referencia la Destilación de un modelo RoBERTa. Lo que se hizo fue dividir a la mitad las capas del modelo y tener de entrada un modelo maestro y uno estudiante que sería el resultante: |
|
|
|
|
|
 |
|
|
|
|
|
Este proceso implica reducir el tamaño del modelo maestro dividiendo sus capas, por ejemplo, a la mitad en el modelo estudiante, manteniendo su estructura esencial. Según [1], se entrena al modelo pequeño para imitar las salidas del maestro, utilizando técnicas como la pérdida de entropía cruzada y la temperatura de softmax para suavizar las predicciones. Como se menciona en [2], además de reducir capas, se ajustan los pesos y se optimizan las salidas intermedias para que el modelo destilado conserve el rendimiento. En [1] usaron la teoría de DistilBERT pero aplicado a un modelo RoBERTa de [2] y usando esta implementación, obviamente modificándolo para nuestro modelo ProteinBERT, se logró hacerle una destilación y obtener resultados muy similares al modelo original y con mucho menos peso que su modelo maestro. |
|
|
Citas: |
|
|
[1] Victor SANH, Lysandre DEBUT, Julien CHAUMOND, Thomas WOLF, DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter (2019), Hugging Face |
|
|
[3] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov, RoBERTa: un enfoque de preentrenamiento BERT optimizado de manera sólida (2019), arXiv |
|
|
|
|
|
|
|
|
## Model Details |
|
|
|
|
|
### Model Description |
|
|
|
|
|
<!-- Provide a longer summary of what this model is. --> |
|
|
|
|
|
|
|
|
|
|
|
- **Developed by:** Jose Alfredo Grados Chuquitaype |
|
|
- **Model type:** Predicción |
|
|
- **Language(s) (NLP):** English |
