| --- |
| language: |
| - es |
| - en |
| license: mit |
| tags: |
| - light |
| - llm |
| - from-scratch |
| - spanish |
| --- |
| |
| # ⚡ Light — mini-LLM entrenada desde cero |
|
|
| Modelo entrenado con el proyecto [light](https://github.com/jmarc9901/light). |
|
|
| - Arquitectura: transformer decoder-only (RoPE + RMSNorm + SwiGLU), desde cero |
| - Parámetros: 1,196,672 |
| - Tamaños: 4 capas, 128 dim, 1024 tokens, contexto 192 |
| - Tokenizer: byte-level BPE con pre-tokenización por palabras |
|
|
| Para generar texto: |
|
|
| ```python |
| import torch |
| from tokenizer import BPETokenizer |
| from model import GPT |
| from config import ModelConfig |
| |
| ckpt = torch.load("best.ckpt", map_location="cpu", weights_only=True) |
| model = GPT(ModelConfig(**ckpt["model_cfg"])).eval() |
| model.load_state_dict(ckpt["model_state"]) |
| tok = BPETokenizer.load("tokenizer.json") |
| |
| ids = tok.encode("En un lugar de la Mancha") |
| idx = torch.tensor([ids]) |
| out = model.generate(idx, 200, temperature=0.7, top_p=0.95, repetition_penalty=1.1) |
| print(tok.decode(out[0].tolist())) |
| ``` |
|
|
| ## Limitaciones |
| Modelo pequeño de aprendizaje: imita el estilo de su corpus; no conversa ni responde preguntas. |
|
|
