NEO-1-mini

Transformer decoder-only (GPT-style) de ~1M parámetros, entrenado 100% desde cero por MDFJ / mdfjbots.

El código fuente está en GitHub: mdfjbotss/neo Este repositorio solo contiene los pesos entrenados.

---

Archivos

Archivo	Descripción
model_best.pt	Pesos del modelo (PyTorch)
neo_tokenizer.model	Tokenizer BPE (SentencePiece)
config.json	Arquitectura del modelo

---

Arquitectura

Parámetro	Valor
Tipo	Decoder-only (GPT)
Capas	4
Cabezas	4
d_model	128
d_ff	512
Vocabulario	1,370
Contexto	256 tokens
~Parámetros	~1M

---

Licencia

Apache 2.0 — MDFJ / mdfjbots