| | --- |
| | license: apache-2.0 |
| | --- |
| | |
| | readme_content = """ |
| | # 2_PRYMMAL-ECE-2B-SLERP-V2-finetuned |
| |
|
| | This model has been produced by: |
| | - **LALAIN Youri**, engineering student at French Engineering School ECE |
| | - **RAGE LILIAN**, engineering student at French Engineering School ECE |
| | ## Description |
| | Ce modèle, **2_PRYMMAL-ECE-2B-SLERP-V2-finetuned**, est un modèle de langage pré-entraîné et affiné (fine-tuned) pour des tâches spécifiques en compréhension et génération de texte. Il a été optimisé pour fonctionner efficacement sur des données textuelles complexes, telles que des questions-réponses et des descriptions détaillées. |
| | |
| | ## Détails du modèle |
| | - **Architecture** : Basé sur [Base Model Architecture] (remplace par le nom de l'architecture si applicable, ex. Llama, GPT, etc.). |
| | - **Fine-tuning** : Réalisé sur un jeu de données contenant des questions et réponses techniques liées à des domaines spécifiques. |
| | - **Format** : Enregistré au format `safetensors` pour garantir une utilisation sécurisée et rapide. |
| | |
| | ## Caractéristiques |
| | - **Nombre de paramètres** : 2B |
| | - **Tâches supportées** : |
| | - Génération de texte |
| | - Questions-réponses |
| | - Résumé de documents |
| | - **Entraînement** : |
| | - Optimisé sur 3 epochs avec des pertes en diminution constante. |
| | - Utilisation de `bfloat16` pour une meilleure performance GPU. |
| | |
| | ## Utilisation |
| | ### Chargement du modèle |
| | Pour utiliser ce modèle dans un projet Python avec Hugging Face : |
| | |
| | ```python |
| | from transformers import AutoModelForCausalLM, AutoTokenizer |
| | |
| | model_name = "Lil-R/2_PRYMMAL-ECE-2B-SLERP-V2-finetuned" |
| | |
| | # Charger le modèle et le tokenizer |
| | tokenizer = AutoTokenizer.from_pretrained(model_name) |
| | model = AutoModelForCausalLM.from_pretrained(model_name) |
| | |
| | # Exemple d'utilisation |
| | inputs = tokenizer("Quelle est la mission d'Ariane 5 ?", return_tensors="pt") |
| | outputs = model.generate(**inputs) |
| | print(tokenizer.decode(outputs[0], skip_special_tokens=True)) |
| | ``` |
| | |
| | |
| | ## Téléchargement direct |
| | Le modèle peut être téléchargé directement depuis Hugging Face. |
| | |
| | ## Performances |
| | - **Training Loss** : Diminue de 2.1653 à 1.1291 sur 3 epochs. |
| | - **Validation Loss** : Diminue de 1.9553 à 1.5075, montrant une bonne généralisation. |
| | |
| | ## Licence |
| | Ce modèle est distribué sous une licence ouverte. |
| | "Apache 2.0" |
| | |
