---
license: mit
language:
- fr
pipeline_tag: text-generation
datasets:
- MaxLSB/LeCarnet
---
Model trained on [LeCarnet](https://huggingface.co/datasets/MaxLSB/LeCarnet) Dataset.

All data generation, training, and evaluation pipelines are available on [Github](https://github.com/MaxLSB/LeCarnet).

The model has only been trained for 10 epochs and can be improved with further training on the dataset. It can also make mistakes.

**Final val loss (10 epochs): 0.8022**

---
# Example of Generation

```
Il était une fois un petit garçon nommé Léo. Léo adorait jouer avec ses jouets,
surtout avec sa petite moto rouge. Un jour, alors qu'il jouait dans le jardin,
il remarqua quelque chose d'étrange. La moto de son papa semblait bouger toute seule !
Léo était très surpris et un peu apeuré. Il ne savait pas quoi faire.

Léo décida de toucher la moto pour voir si elle bougeait encore.
À sa grande surprise, la moto commença à parler ! Elle dit : « Bonjour Léo,
je suis une moto magique. Je peux t'emmener dans des aventures incroyables ! »
Léo n'en croyait pas ses yeux. Il monta sur la moto et ensemble,
ils partirent à l'aventure dans un monde magique où il rencontra des animaux
parlants et découvrant des trésors cachés. Léo était tellement heureux qu'il
oublia sa peur et passa une journée inoubliable avec sa nouvelle amie magique.
```

---
# Example Code

```
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("MaxLSB/LeCarnet-21M")
tokenizer = AutoTokenizer.from_pretrained("MaxLSB/LeCarnet-21M")

prompt = "Il était une fois"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

output = model.generate(input_ids, max_length=512, temperature=0.4)
print(tokenizer.decode(output[0], skip_special_tokens=True))
```