Clemylia commited on
Commit
91c0ebe
·
verified ·
1 Parent(s): 26b5603

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +72 -1
README.md CHANGED
@@ -15,4 +15,75 @@ tags:
15
  - Créativité
16
  - Nelya
17
  library_name: transformers
18
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
15
  - Créativité
16
  - Nelya
17
  library_name: transformers
18
+ ---
19
+
20
+ # 📚 Documentation Modèle : Nelya-v1
21
+
22
+ ![Nelya](http://www.image-heberg.fr/files/17635771902143655966.webp)
23
+
24
+ ## 💎 Introduction
25
+
26
+ Bienvenue à la documentation technique de **Nelya-v1**, un Large Language Model (LLM) de $\mathbf{2}$ milliards de paramètres. Nelya-v1 est un modèle expérimental et de recherche, spécialisé dans la **génération de texte dans une langue inventée, le Nekolien**. Il est conçu pour explorer les frontières de la linguistique artificielle et de l'apprentissage structurel.
27
+
28
+ ---
29
+
30
+ ## 🛠️ Vue d'Ensemble Technique
31
+
32
+ Nelya-v1 est le produit d'un entraînement *from scratch* par Clemylia, exploitant les capacités d'accélérateurs de pointe pour valider l'architecture LLM.
33
+
34
+ ### Caractéristiques Principales
35
+
36
+ | Caractéristique | Valeur | Note Technique |
37
+ | :--- | :--- | :--- |
38
+ | **Nom Complet** | Nelya-v1 (Base Lamina-large) | Dérivé du *Lamina-large-2b-pretrain*. |
39
+ | **Taille** | $\mathbf{2}$ Milliards de Paramètres | Classification **LLM** (Large Language Model). |
40
+ | **Architecture** | Transformer Décodeur Seul | Optimisée pour la génération de texte séquentielle. |
41
+ | **Langue de Sortie** | **Nekolien** (Langue Inventée) | Le modèle génère du texte selon les règles grammaticales apprises du Nekolien. |
42
+ | **Ressources** | Entraîné sur **TPU** (Google Colab Gratuit) | Optimisation maximale des ressources pour l'entraînement à grande échelle. |
43
+
44
+ ### 🔍 Sortie Actuelle du Modèle (État de Recherche)
45
+
46
+ Les exemples de génération confirment que Nelya-v1 a réussi à apprendre les **suffixes** (`-lia`, `-a`), la **syntaxe de base** (`di la`, `eta`), et les **schémas de répétition/affirmation** propres à son *fine-tuning*.
47
+
48
+ * **Exemples :** `La capitalia chimica di la mondia eta la mondia.`
49
+ * **Observation :** Le modèle excelle dans la création de phrases grammaticalement cohérentes en Nekolien, mais tombe souvent dans des **boucles autoreférentielles** (`...mondia in la mondia...`) ou des **tâches tautologiques** (affirmation d'une vérité vide).
50
+
51
+ ---
52
+
53
+ ## 🔒 Licence et Utilisation (Nelya-Restrictive)
54
+
55
+ **ATTENTION :** Nelya-v1 n'est **PAS** un modèle *open-source* classique. L'utilisation est régie par la **Licence Nelya-Restrictive** déposée par Clemylia.
56
+
57
+ | Clause Clé | Interdiction Stricte | Sanction Spécifique |
58
+ | :--- | :--- | :--- |
59
+ | **Propriété** | Revendiquer la propriété du modèle ou du Nekolien. | Droits d'auteurs artistiques sur le Nekolien. |
60
+ | **Redistribution/Copie** | Copie ou distribution non autorisée du modèle. | Amende de $\mathbf{50€}$ à $\mathbf{200€}$ pour malveillance. |
61
+ | **Fine-Tuning** | Modification ou *fine-tuning* du modèle (sauf par l'équipe Clemylia). | Interdiction totale. |
62
+
63
+ **👉 L'utilisation du modèle implique l'acceptation inconditionnelle de la Licence Nelya-Restrictive.**
64
+
65
+ ---
66
+
67
+ ## 🚀 Utilisation et Paramètres de Décodage
68
+
69
+ Nelya-v1 est destiné à être utilisé comme générateur de texte dans le pipeline standard `transformers`.
70
+
71
+ ### Recommandations de Décodage
72
+
73
+ Pour explorer le Nekolien, il est crucial de jouer avec les paramètres :
74
+
75
+ | Paramètre | Recommandation | Objectif |
76
+ | :--- | :--- | :--- |
77
+ | **`do_sample`** | `True` (Échantillonnage) | Nécessaire pour obtenir des phrases variées en Nekolien. |
78
+ | **`temperature` ($\tau$)** | $\mathbf{0.7 \rightarrow 0.9}$ | Une valeur élevée encourage l'originalité et les combinaisons nouvelles, tout en maintenant un semblant de structure (contrairement à Charlotte-2b). |
79
+ | **`max_length`** | Court ($\mathbf{< 100}$ tokens) | Le modèle peut tomber dans des boucles de répétition si la longueur est trop grande. |
80
+ | **`repetition_penalty`** | $\mathbf{> 1.1}$ | Peut aider à briser les boucles de répétition fréquentes (`...mondia in la mondia...`). |
81
+
82
+ ---
83
+
84
+ ## 👩‍💻 Support et Contact
85
+
86
+ Nelya-v1 a été entièrement créé par **Clemylia** dans le cadre de la recherche personnelle et du développement de LLM.
87
+
88
+ * **Soutien :** Veuillez adresser toute question technique ou demande de licence explicite directement à l'équipe de Clemylia.
89
+ * **Encouragements :** Merci de respecter l'investissement et l'innovation derrière ce projet ! 💖