metadata
library_name: pytorch
tags:
- slm
- transformer
- decoder-only
SLM — Small Language Model (~54M)
Checkpoints do trabalho de Aprendizado Profundo II (PUCRS).
| Arquivo | Estágio |
|---|---|
pretrain.pt |
Pré-treino (FineWeb-Edu) |
mid.pt |
Mid-training (SmolTalk) |
sft.pt |
Supervised Fine-Tuning |
Código e instruções: https://github.com/nascimentomarcelo/Trabalho2-SLM