README.md

---
language: en
license: apache-2.0
tags:
 - text-generation
 - gpt2
library_name: transformers
pipeline_tag: text-generation
---
# Modelo Ajustado para Generación de Texto

Este modelo ha sido ajustado a partir de `gpt2` con la siguiente configuración:

- Número de capas ocultas: 1
- Tamaño de la capa oculta: 2
- Tamaño del vocabulario: 50259

**Importante:** Este modelo utiliza la arquitectura base de `gpt2` y **ha reducido su tamaño**. El modelo original tenía 12 capas, **y ahora tiene solo 1 capa oculta**. Además, la dimensión de los embeddings y las capas internas se ha ajustado a 2. Se han añadido nuevos tokens al vocabulario y sus embeddings han sido inicializados.

Se puede utilizar para tareas de generación de texto.

## Uso

Para usar este modelo, primero debes tener instalada la librería `transformers`. Puedes instalarla usando pip:

```bash
pip install transformers
```

Una vez instalada, puedes cargar y usar el modelo de la siguiente manera:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

repo_name = "lilmeaty/text-gen-example-one-layer"
model = AutoModelForCausalLM.from_pretrained(repo_name)
tokenizer = AutoTokenizer.from_pretrained(repo_name)

prompt = "Escribe una breve historia sobre un robot que aprende a amar."
input_ids = tokenizer.encode(prompt, return_tensors="pt")

output = model.generate(
    input_ids,
    max_length=100,
    num_return_sequences=1,
    no_repeat_ngram_size=2,
    top_k=50,
    top_p=0.95,
    temperature=0.7,
    do_sample=True
)

generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
```