metadata
language:
- es
- en
license: mit
tags:
- light
- llm
- from-scratch
- spanish
⚡ Light — mini-LLM entrenada desde cero
Modelo entrenado con el proyecto light.
- Arquitectura: transformer decoder-only (RoPE + RMSNorm + SwiGLU), desde cero
- Parámetros: 1,196,672
- Tamaños: 4 capas, 128 dim, 1024 tokens, contexto 192
- Tokenizer: byte-level BPE con pre-tokenización por palabras
Para generar texto:
import torch
from tokenizer import BPETokenizer
from model import GPT
from config import ModelConfig
ckpt = torch.load("best.ckpt", map_location="cpu", weights_only=True)
model = GPT(ModelConfig(**ckpt["model_cfg"])).eval()
model.load_state_dict(ckpt["model_state"])
tok = BPETokenizer.load("tokenizer.json")
ids = tok.encode("En un lugar de la Mancha")
idx = torch.tensor([ids])
out = model.generate(idx, 200, temperature=0.7, top_p=0.95, repetition_penalty=1.1)
print(tok.decode(out[0].tolist()))
Limitaciones
Modelo pequeño de aprendizaje: imita el estilo de su corpus; no conversa ni responde preguntas.