File size: 5,102 Bytes
4882ddc 8474e95 e818e88 f7ee12b 8474e95 f7ee12b 8474e95 f7ee12b 8474e95 4882ddc dca947a 51fe9b8 dca947a ec4e96d f376623 f1b105c |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 |
---
tags:
- model_hub_mixin
- pytorch_model_hub_mixin
license: other
language:
- fr
pipeline_tag: text-generation
model-index:
- name: Lam-5 (Aricate V4)
results:
- task:
type: text-generation
name: Génération de Texte
metrics:
- type: n_parameters
value: 2,219,698
name: Nombre de paramètres (Total)
unit: parameter
---
# 📚 Documentation du SLM **Lam-5** 🚀
## ✨ Présentation Générale
**Lam-5** est un **S**mall **L**anguage **M**odel (*Petit Modèle de Langage*) spécialisé en Question/Réponse (Q/A). Il est le fruit de la recherche fondamentale menée par **Clemylia** et l'organisation indépendante **LES-IA-ETOILES**.
Contrairement aux modèles de grande taille, Lam-5 utilise une architecture optimisée pour être **légère**, **rapide** et **performante** sur des jeux de données spécifiques et des contraintes de ressources.
| Caractéristique | Détail |
| :--- | :--- |
| **Nom du Modèle** | Lam-5 |
| **Architecte Créatrice** | Clemylia (LES-IA-ETOILES) |
| **Architecture de Base** | Aricate v4 (Propriétaire) |
| **Type de Modèle** | Sequence-to-Sequence (Seq2Seq) |
| **Licence de Distribution** | MIT |
| **Idéal pour** | Chatbots Q/A légers, périphériques à faible consommation. |
---
## 🏗️ L'Architecture Aricate v4 : La Révolution de la Cohérence
Lam-5 est bâti sur l'architecture **Aricate v4**, qui combine des concepts d'apprentissage profond éprouvés avec une solution innovante aux problèmes de langage des petits modèles.
### 1. Le Noyau Séquentiel (GRU)
Aricate utilise le réseau de neurones récurrents **GRU** (*Gated Recurrent Unit*) comme encodeur/décodeur principal.
* **Légèreté :** Les GRU sont notoirement plus rapides à entraîner et moins gourmands en VRAM que l'architecture Transformer.
* **Mémoire :** Ils traitent la séquence mot par mot, maintenant un **état caché** qui représente la "mémoire" du contexte à un instant donné.
### 2. Le Mécanisme d'Attention Additive (Bahdanau)
Pour garantir que le modèle ne perde pas le fil des questions longues, Aricate utilise l'**Attention Additive (Bahdanau)**.
* Lors de la génération de la réponse, le mécanisme d'Attention revient en arrière pour **peser l'importance** de chaque mot de la question d'entrée.
* Ceci permet de créer un **vecteur de contexte** précis, améliorant considérablement la pertinence des réponses.
### 3. La Prédiction du Mot Entier 🧠 (Innovation Clé)
C'est l'innovation majeure d'Aricate, conçue pour éviter les incohérences de *sub-word* ou *token* observées dans les petits Transformers sous-entraînés :
* **Méthode :** Lam-5 est configuré pour prédire le **mot suivant au lieu du token suivant**.
* **Avantage :** Ceci garantit que toutes les générations de Lam-5 sont composées de **mots complets, bien formés** et en français correct, même lorsque la sémantique est encore en cours d'affinage (en phase d'entraînement).
---
## 📚 Entraînement et Données
Lam-5, comme ses prédécesseurs, est un modèle **créé de zéro (*from scratch*)** par Clemylia.
**Entraîné sur des paires Question/Réponse** de la *dataset* `Clem27sey/Nacid`.
**Statut Actuel :** Lam-5 (et l'architecture Aricate) excelle dans la **cohérence grammaticale**, mais son corpus d'entraînement étant petit, il peut encore manifester des **incohérences sémantiques** (hallucinations ou réponses hors sujet).
---
## ⚙️ Déploiement et Utilisation
Lam-5 est conçu pour être facilement déployé et utilisé via Python ou des outils d'inférence standards.
### Stratégie de Génération
Lam-5 utilise la **Beam Search** par défaut pour garantir que les réponses générées sont de la plus haute qualité et de la meilleure probabilité cumulative.
### Utilisation Recommandée
Pour obtenir les meilleures réponses, il est conseillé de tester différents paramètres de génération :
| Paramètre | Recommandation | But |
| :--- | :--- | :--- |
| **Beam Size** | 3 à 5 | Maintenir la haute qualité et la cohérence. |
| **Temperature (T)** | 0.5 à 0.7 | Rendre le modèle précis, tout en évitant la répétition. |
| **Top-K Sampling** | 10 à 30 | Pour introduire une légère diversité si la réponse est trop figée. |
---
## 🌟 Perspectives Futures
L'architecture **Aricate v4** continuera d'être un pilier de l'innovation au sein de LES-IA-ETOILES. Des travaux futurs incluront l'augmentation de la taille du modèle Aricate et l'entraînement sur des *datasets* Q/A plus riches pour améliorer significativement la **précision sémantique** et la **généralisation**.
**Pour un exemple d'inférence merci d'aller voir le readme de Lam-2, ou utiliser le space de demo de Lam-5 directement**
nous ne sommes pas responsable en cas d'hallucinations de propos dangereux du modèle.
cest a vous de faire la part des choses.
**Fichier quantifier de Lam-5** : lam-5_arica_quantized.arica (présent juste à côté des poids de Lam-5 dans son dépôt) |