| library_name: pytorch | |
| tags: [slm, transformer, decoder-only] | |
| # SLM — Small Language Model (~54M) | |
| Checkpoints do trabalho de Aprendizado Profundo II (PUCRS). | |
| | Arquivo | Estágio | | |
| |---|---| | |
| | `pretrain.pt` | Pré-treino (FineWeb-Edu) | | |
| | `mid.pt` | Mid-training (SmolTalk) | | |
| | `sft.pt` | Supervised Fine-Tuning | | |
| Código e instruções: https://github.com/nascimentomarcelo/Trabalho2-SLM | |