Update README.md
Browse files
README.md
CHANGED
|
@@ -15,4 +15,75 @@ tags:
|
|
| 15 |
- Créativité
|
| 16 |
- Nelya
|
| 17 |
library_name: transformers
|
| 18 |
-
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 15 |
- Créativité
|
| 16 |
- Nelya
|
| 17 |
library_name: transformers
|
| 18 |
+
---
|
| 19 |
+
|
| 20 |
+
# 📚 Documentation Modèle : Nelya-v1
|
| 21 |
+
|
| 22 |
+

|
| 23 |
+
|
| 24 |
+
## 💎 Introduction
|
| 25 |
+
|
| 26 |
+
Bienvenue à la documentation technique de **Nelya-v1**, un Large Language Model (LLM) de $\mathbf{2}$ milliards de paramètres. Nelya-v1 est un modèle expérimental et de recherche, spécialisé dans la **génération de texte dans une langue inventée, le Nekolien**. Il est conçu pour explorer les frontières de la linguistique artificielle et de l'apprentissage structurel.
|
| 27 |
+
|
| 28 |
+
---
|
| 29 |
+
|
| 30 |
+
## 🛠️ Vue d'Ensemble Technique
|
| 31 |
+
|
| 32 |
+
Nelya-v1 est le produit d'un entraînement *from scratch* par Clemylia, exploitant les capacités d'accélérateurs de pointe pour valider l'architecture LLM.
|
| 33 |
+
|
| 34 |
+
### Caractéristiques Principales
|
| 35 |
+
|
| 36 |
+
| Caractéristique | Valeur | Note Technique |
|
| 37 |
+
| :--- | :--- | :--- |
|
| 38 |
+
| **Nom Complet** | Nelya-v1 (Base Lamina-large) | Dérivé du *Lamina-large-2b-pretrain*. |
|
| 39 |
+
| **Taille** | $\mathbf{2}$ Milliards de Paramètres | Classification **LLM** (Large Language Model). |
|
| 40 |
+
| **Architecture** | Transformer Décodeur Seul | Optimisée pour la génération de texte séquentielle. |
|
| 41 |
+
| **Langue de Sortie** | **Nekolien** (Langue Inventée) | Le modèle génère du texte selon les règles grammaticales apprises du Nekolien. |
|
| 42 |
+
| **Ressources** | Entraîné sur **TPU** (Google Colab Gratuit) | Optimisation maximale des ressources pour l'entraînement à grande échelle. |
|
| 43 |
+
|
| 44 |
+
### 🔍 Sortie Actuelle du Modèle (État de Recherche)
|
| 45 |
+
|
| 46 |
+
Les exemples de génération confirment que Nelya-v1 a réussi à apprendre les **suffixes** (`-lia`, `-a`), la **syntaxe de base** (`di la`, `eta`), et les **schémas de répétition/affirmation** propres à son *fine-tuning*.
|
| 47 |
+
|
| 48 |
+
* **Exemples :** `La capitalia chimica di la mondia eta la mondia.`
|
| 49 |
+
* **Observation :** Le modèle excelle dans la création de phrases grammaticalement cohérentes en Nekolien, mais tombe souvent dans des **boucles autoreférentielles** (`...mondia in la mondia...`) ou des **tâches tautologiques** (affirmation d'une vérité vide).
|
| 50 |
+
|
| 51 |
+
---
|
| 52 |
+
|
| 53 |
+
## 🔒 Licence et Utilisation (Nelya-Restrictive)
|
| 54 |
+
|
| 55 |
+
**ATTENTION :** Nelya-v1 n'est **PAS** un modèle *open-source* classique. L'utilisation est régie par la **Licence Nelya-Restrictive** déposée par Clemylia.
|
| 56 |
+
|
| 57 |
+
| Clause Clé | Interdiction Stricte | Sanction Spécifique |
|
| 58 |
+
| :--- | :--- | :--- |
|
| 59 |
+
| **Propriété** | Revendiquer la propriété du modèle ou du Nekolien. | Droits d'auteurs artistiques sur le Nekolien. |
|
| 60 |
+
| **Redistribution/Copie** | Copie ou distribution non autorisée du modèle. | Amende de $\mathbf{50€}$ à $\mathbf{200€}$ pour malveillance. |
|
| 61 |
+
| **Fine-Tuning** | Modification ou *fine-tuning* du modèle (sauf par l'équipe Clemylia). | Interdiction totale. |
|
| 62 |
+
|
| 63 |
+
**👉 L'utilisation du modèle implique l'acceptation inconditionnelle de la Licence Nelya-Restrictive.**
|
| 64 |
+
|
| 65 |
+
---
|
| 66 |
+
|
| 67 |
+
## 🚀 Utilisation et Paramètres de Décodage
|
| 68 |
+
|
| 69 |
+
Nelya-v1 est destiné à être utilisé comme générateur de texte dans le pipeline standard `transformers`.
|
| 70 |
+
|
| 71 |
+
### Recommandations de Décodage
|
| 72 |
+
|
| 73 |
+
Pour explorer le Nekolien, il est crucial de jouer avec les paramètres :
|
| 74 |
+
|
| 75 |
+
| Paramètre | Recommandation | Objectif |
|
| 76 |
+
| :--- | :--- | :--- |
|
| 77 |
+
| **`do_sample`** | `True` (Échantillonnage) | Nécessaire pour obtenir des phrases variées en Nekolien. |
|
| 78 |
+
| **`temperature` ($\tau$)** | $\mathbf{0.7 \rightarrow 0.9}$ | Une valeur élevée encourage l'originalité et les combinaisons nouvelles, tout en maintenant un semblant de structure (contrairement à Charlotte-2b). |
|
| 79 |
+
| **`max_length`** | Court ($\mathbf{< 100}$ tokens) | Le modèle peut tomber dans des boucles de répétition si la longueur est trop grande. |
|
| 80 |
+
| **`repetition_penalty`** | $\mathbf{> 1.1}$ | Peut aider à briser les boucles de répétition fréquentes (`...mondia in la mondia...`). |
|
| 81 |
+
|
| 82 |
+
---
|
| 83 |
+
|
| 84 |
+
## 👩💻 Support et Contact
|
| 85 |
+
|
| 86 |
+
Nelya-v1 a été entièrement créé par **Clemylia** dans le cadre de la recherche personnelle et du développement de LLM.
|
| 87 |
+
|
| 88 |
+
* **Soutien :** Veuillez adresser toute question technique ou demande de licence explicite directement à l'équipe de Clemylia.
|
| 89 |
+
* **Encouragements :** Merci de respecter l'investissement et l'innovation derrière ce projet ! 💖
|