README.md

---
license: apache-2.0
---

readme_content = """
# 2_PRYMMAL-ECE-2B-SLERP-V2-finetuned

This model has been produced by:
- **LALAIN Youri**, engineering student at French Engineering School ECE
- **RAGE LILIAN**, engineering student at French Engineering School ECE
## Description
Ce modèle, **2_PRYMMAL-ECE-2B-SLERP-V2-finetuned**, est un modèle de langage pré-entraîné et affiné (fine-tuned) pour des tâches spécifiques en compréhension et génération de texte. Il a été optimisé pour fonctionner efficacement sur des données textuelles complexes, telles que des questions-réponses et des descriptions détaillées.

## Détails du modèle
- **Architecture** : Basé sur [Base Model Architecture] (remplace par le nom de l'architecture si applicable, ex. Llama, GPT, etc.).
- **Fine-tuning** : Réalisé sur un jeu de données contenant des questions et réponses techniques liées à des domaines spécifiques.
- **Format** : Enregistré au format `safetensors` pour garantir une utilisation sécurisée et rapide.

## Caractéristiques
- **Nombre de paramètres** : 2B
- **Tâches supportées** :
  - Génération de texte
  - Questions-réponses
  - Résumé de documents
- **Entraînement** :
  - Optimisé sur 3 epochs avec des pertes en diminution constante.
  - Utilisation de `bfloat16` pour une meilleure performance GPU.

## Utilisation
### Chargement du modèle
Pour utiliser ce modèle dans un projet Python avec Hugging Face :

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Lil-R/2_PRYMMAL-ECE-2B-SLERP-V2-finetuned"

# Charger le modèle et le tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Exemple d'utilisation
inputs = tokenizer("Quelle est la mission d'Ariane 5 ?", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```


## Téléchargement direct
Le modèle peut être téléchargé directement depuis Hugging Face.

## Performances
- **Training Loss** : Diminue de 2.1653 à 1.1291 sur 3 epochs.
- **Validation Loss** : Diminue de 1.9553 à 1.5075, montrant une bonne généralisation.

## Licence
Ce modèle est distribué sous une licence ouverte.
"Apache 2.0"