File size: 1,642 Bytes
bdd8ace 7ea513d bdd8ace 9e72548 bdd8ace 9e72548 bdd8ace 9e72548 bdd8ace 9e72548 bdd8ace |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 |
---
language: en
license: apache-2.0
tags:
- text-generation
- gpt2
library_name: transformers
pipeline_tag: text-generation
---
# Modelo Ajustado para Generación de Texto
Este modelo ha sido ajustado a partir de `gpt2` con la siguiente configuración:
- Número de capas ocultas: 1
- Tamaño de la capa oculta: 2
- Tamaño del vocabulario: 50259
**Importante:** Este modelo utiliza la arquitectura base de `gpt2` y **ha reducido su tamaño**. El modelo original tenía 12 capas, **y ahora tiene solo 1 capa oculta**. Además, la dimensión de los embeddings y las capas internas se ha ajustado a 2. Se han añadido nuevos tokens al vocabulario y sus embeddings han sido inicializados.
Se puede utilizar para tareas de generación de texto.
## Uso
Para usar este modelo, primero debes tener instalada la librería `transformers`. Puedes instalarla usando pip:
```bash
pip install transformers
```
Una vez instalada, puedes cargar y usar el modelo de la siguiente manera:
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_name = "lilmeaty/text-gen-example-one-layer"
model = AutoModelForCausalLM.from_pretrained(repo_name)
tokenizer = AutoTokenizer.from_pretrained(repo_name)
prompt = "Escribe una breve historia sobre un robot que aprende a amar."
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(
input_ids,
max_length=100,
num_return_sequences=1,
no_repeat_ngram_size=2,
top_k=50,
top_p=0.95,
temperature=0.7,
do_sample=True
)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
```
|