---
tags:
- model_hub_mixin
- pytorch_model_hub_mixin
license: other
language:
- fr
pipeline_tag: text-generation
model-index:
- name: Lam-5 (Aricate V4)
  results:
  - task:
      type: text-generation
      name: Génération de Texte
    metrics:
    - type: n_parameters
      value: 2,219,698
      name: Nombre de paramètres (Total)
      unit: parameter
---
# 📚 Documentation du SLM **Lam-5** 🚀

![lam-5](http://www.image-heberg.fr/files/17624253562163980354.jpg)

## ✨ Présentation Générale

**Lam-5** est un **S**mall **L**anguage **M**odel (*Petit Modèle de Langage*) spécialisé en Question/Réponse (Q/A). Il est le fruit de la recherche fondamentale menée par **Clemylia** et l'organisation indépendante **LES-IA-ETOILES**.

Contrairement aux modèles de grande taille, Lam-5 utilise une architecture optimisée pour être **légère**, **rapide** et **performante** sur des jeux de données spécifiques et des contraintes de ressources.

| Caractéristique | Détail |
| :--- | :--- |
| **Nom du Modèle** | Lam-5 |
| **Architecte Créatrice** | Clemylia (LES-IA-ETOILES) |
| **Architecture de Base** | Aricate v4 (Propriétaire) |
| **Type de Modèle** | Sequence-to-Sequence (Seq2Seq) |
| **Licence de Distribution** | MIT |
| **Idéal pour** | Chatbots Q/A légers, périphériques à faible consommation. |

---

## 🏗️ L'Architecture Aricate v4 : La Révolution de la Cohérence

Lam-5 est bâti sur l'architecture **Aricate v4**, qui combine des concepts d'apprentissage profond éprouvés avec une solution innovante aux problèmes de langage des petits modèles.

### 1. Le Noyau Séquentiel (GRU)

Aricate utilise le réseau de neurones récurrents **GRU** (*Gated Recurrent Unit*) comme encodeur/décodeur principal.

* **Légèreté :** Les GRU sont notoirement plus rapides à entraîner et moins gourmands en VRAM que l'architecture Transformer.
* **Mémoire :** Ils traitent la séquence mot par mot, maintenant un **état caché** qui représente la "mémoire" du contexte à un instant donné.

### 2. Le Mécanisme d'Attention Additive (Bahdanau)

Pour garantir que le modèle ne perde pas le fil des questions longues, Aricate utilise l'**Attention Additive (Bahdanau)**.

* Lors de la génération de la réponse, le mécanisme d'Attention revient en arrière pour **peser l'importance** de chaque mot de la question d'entrée.
* Ceci permet de créer un **vecteur de contexte** précis, améliorant considérablement la pertinence des réponses.

### 3. La Prédiction du Mot Entier 🧠 (Innovation Clé)

C'est l'innovation majeure d'Aricate, conçue pour éviter les incohérences de *sub-word* ou *token* observées dans les petits Transformers sous-entraînés :

* **Méthode :** Lam-5 est configuré pour prédire le **mot suivant au lieu du token suivant**.
* **Avantage :** Ceci garantit que toutes les générations de Lam-5 sont composées de **mots complets, bien formés** et en français correct, même lorsque la sémantique est encore en cours d'affinage (en phase d'entraînement).

---

## 📚 Entraînement et Données

Lam-5, comme ses prédécesseurs, est un modèle **créé de zéro (*from scratch*)** par Clemylia.

**Entraîné sur des paires Question/Réponse** de la *dataset* `Clem27sey/Nacid`.

**Statut Actuel :** Lam-5 (et l'architecture Aricate) excelle dans la **cohérence grammaticale**, mais son corpus d'entraînement étant petit, il peut encore manifester des **incohérences sémantiques** (hallucinations ou réponses hors sujet).

---

## ⚙️ Déploiement et Utilisation

Lam-5 est conçu pour être facilement déployé et utilisé via Python ou des outils d'inférence standards.

### Stratégie de Génération

Lam-5 utilise la **Beam Search** par défaut pour garantir que les réponses générées sont de la plus haute qualité et de la meilleure probabilité cumulative.

### Utilisation Recommandée

Pour obtenir les meilleures réponses, il est conseillé de tester différents paramètres de génération :

| Paramètre | Recommandation | But |
| :--- | :--- | :--- |
| **Beam Size** | 3 à 5 | Maintenir la haute qualité et la cohérence. |
| **Temperature (T)** | 0.5 à 0.7 | Rendre le modèle précis, tout en évitant la répétition. |
| **Top-K Sampling** | 10 à 30 | Pour introduire une légère diversité si la réponse est trop figée. |

---

## 🌟 Perspectives Futures

L'architecture **Aricate v4** continuera d'être un pilier de l'innovation au sein de LES-IA-ETOILES. Des travaux futurs incluront l'augmentation de la taille du modèle Aricate et l'entraînement sur des *datasets* Q/A plus riches pour améliorer significativement la **précision sémantique** et la **généralisation**.

**Pour un exemple d'inférence merci d'aller voir le readme de Lam-2, ou utiliser le space de demo de Lam-5 directement**

nous ne sommes pas responsable en cas d'hallucinations de propos dangereux du modèle.
cest a vous de faire la part des choses.

**Fichier quantifier de Lam-5** : lam-5_arica_quantized.arica (présent juste à côté des poids de Lam-5 dans son dépôt)