File size: 1,277 Bytes
be2da74 46ed151 be2da74 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 | ---
language: es
license: apache-2.0
tags:
- text-generation
- transformer
- pytorch
---
# MTP Mini - Modelo de Lenguaje
Modelo transformer entrenado con las siguientes características:
## Arquitectura
- **Parámetros**: ~35.6M
- **Vocabulario**: 4000 tokens
- **Capas**: 8
- **Dimensión**: 512
- **Cabezas de atención**: 8
## Mejoras implementadas
- ✅ RoPE (Rotary Position Embedding)
- ✅ RMSNorm
- ✅ SwiGLU activation
- ✅ Label smoothing
- ✅ Repetition penalty
- ✅ Early stopping
- ✅ Length control
## Uso
```python
import torch
import pickle
# Cargar modelo
with open('mtp_mini.pkl', 'rb') as f:
model_data = pickle.load(f)
# Cargar tokenizer
from tokenizer import MTPTokenizer
tokenizer = MTPTokenizer('mtp_tokenizer.model')
# Cargar modelo
from model import MTPMiniModel
model = MTPMiniModel(**model_data['config']['model'])
model.load_state_dict(model_data['model_state_dict'])
model.eval()
# Generar texto
prompt = "¿Qué es la inteligencia artificial?"
input_ids = torch.tensor([tokenizer.encode(prompt)])
output = model.generate(input_ids, max_new_tokens=100)
print(tokenizer.decode(output[0].tolist()))
```
## Entrenamiento
- Dataset: Corpus personalizado en español
- Épocas: 0
- Mejor val loss: 3.7816
Entrenado en Google Colab.
|