---
language:
  - es
  - en
license: mit
tags:
  - light
  - llm
  - from-scratch
  - spanish
---

# ⚡ Light — mini-LLM entrenada desde cero

Modelo entrenado con el proyecto [light](https://github.com/jmarc9901/light).

- Arquitectura: transformer decoder-only (RoPE + RMSNorm + SwiGLU), desde cero
- Parámetros: 1,196,672
- Tamaños: 4 capas, 128 dim, 1024 tokens, contexto 192
- Tokenizer: byte-level BPE con pre-tokenización por palabras

Para generar texto:

```python
import torch
from tokenizer import BPETokenizer
from model import GPT
from config import ModelConfig

ckpt = torch.load("best.ckpt", map_location="cpu", weights_only=True)
model = GPT(ModelConfig(**ckpt["model_cfg"])).eval()
model.load_state_dict(ckpt["model_state"])
tok = BPETokenizer.load("tokenizer.json")

ids = tok.encode("En un lugar de la Mancha")
idx = torch.tensor([ids])
out = model.generate(idx, 200, temperature=0.7, top_p=0.95, repetition_penalty=1.1)
print(tok.decode(out[0].tolist()))
```

## Limitaciones
Modelo pequeño de aprendizaje: imita el estilo de su corpus; no conversa ni responde preguntas.