Upload 7 files

README.md

@@ -0,0 +1,44 @@
+---
+language:
+- es
+- en
+library_name: transformers
+pipeline_tag: text-generation
+license: other
+tags:
+- milox
+- from-scratch
+- llama
+---
+
+# MiloX
+
+**MiloX** es un modelo de lenguaje tipo GPT (Transformer decoder, arquitectura Llama: RMSNorm + RoPE + SwiGLU + GQA)
+de **30M parámetros**, **preentrenado desde cero** (sin pesos de ningún modelo previo) y afinado para conversar.
+Su asistente se llama **Milo**.
+
+- Contexto: 1024 tokens · Vocabulario: 12288 (BPE byte-level propio) · Idiomas: español e inglés
+- Formato de chat: `<|system|>`, `<|user|>`, `<|assistant|>` terminados en `<|end|>` (ya incluido como `chat_template`)
+
+## Uso
+
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+repo = "TU_USUARIO/MiloX"
+device = "cuda" if torch.cuda.is_available() else "cpu"
+tok = AutoTokenizer.from_pretrained(repo)
+model = AutoModelForCausalLM.from_pretrained(repo).to(device).eval()
+
+msgs = [{"role": "user", "content": "Hola, ¿quién eres?"}]
+text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
+inputs = tok(text, return_tensors="pt", add_special_tokens=False).to(device)
+out = model.generate(**inputs, max_new_tokens=200, do_sample=True, temperature=0.5,
+                     top_p=0.9, top_k=30)
+print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
+```
+
+## Limitaciones
+Es un modelo pequeño: puede equivocarse, inventar datos o repetirse. No lo uses para decisiones importantes.
+Revisa las licencias de los datasets usados en el preentrenamiento y el fine-tuning antes de elegir la licencia final del repo.

chat_template.jinja

@@ -0,0 +1 @@
+{% if messages[0]['role'] != 'system' %}{{ '<|system|>\nEres Milo, un asistente de IA amable, claro y honesto, basado en el modelo MiloX. Respondes en el idioma del usuario.<|end|>\n' }}{% endif %}{% for m in messages %}{{ '<|' + m['role'] + '|>\n' + m['content'] | trim + '<|end|>\n' }}{% endfor %}{% if add_generation_prompt %}{{ '<|assistant|>\n' }}{% endif %}

config.json

@@ -0,0 +1,25 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "model_type": "llama",
+  "vocab_size": 12288,
+  "hidden_size": 512,
+  "intermediate_size": 1408,
+  "num_hidden_layers": 8,
+  "num_attention_heads": 8,
+  "num_key_value_heads": 4,
+  "head_dim": 64,
+  "hidden_act": "silu",
+  "max_position_embeddings": 1024,
+  "rms_norm_eps": 1e-05,
+  "rope_theta": 10000.0,
+  "tie_word_embeddings": true,
+  "attention_bias": false,
+  "mlp_bias": false,
+  "initializer_range": 0.02,
+  "bos_token_id": 1,
+  "eos_token_id": 6,
+  "pad_token_id": 0,
+  "torch_dtype": "float16"
+}

generation_config.json

@@ -0,0 +1,13 @@
+{
+  "bos_token_id": 1,
+  "eos_token_id": [
+    6,
+    2
+  ],
+  "pad_token_id": 0,
+  "do_sample": true,
+  "temperature": 0.5,
+  "top_p": 0.9,
+  "top_k": 30,
+  "max_new_tokens": 256
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b35317ff185003cde9b731839f1f319fea9523a50b36f85876e682394c7c1a10
+size 59794312

tokenizer_config.json

@@ -0,0 +1,15 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<|bos|>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|end|>",
+  "extra_special_tokens": [
+    "<|eos|>",
+    "<|system|>",
+    "<|user|>",
+    "<|assistant|>"
+  ],
+  "model_max_length": 1024,
+  "pad_token": "<|pad|>",
+  "tokenizer_class": "TokenizersBackend"
+}