---
library_name: pytorch
tags: [slm, transformer, decoder-only]
---

# SLM — Small Language Model (~54M)

Checkpoints do trabalho de Aprendizado Profundo II (PUCRS).

| Arquivo | Estágio |
|---|---|
| `pretrain.pt` | Pré-treino (FineWeb-Edu) |
| `mid.pt` | Mid-training (SmolTalk) |
| `sft.pt` | Supervised Fine-Tuning |

Código e instruções: https://github.com/nascimentomarcelo/Trabalho2-SLM