Update README.md
Browse files
README.md
CHANGED
|
@@ -6,4 +6,61 @@ tags:
|
|
| 6 |
- Nelya
|
| 7 |
license: other
|
| 8 |
pipeline_tag: text-generation
|
| 9 |
-
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 6 |
- Nelya
|
| 7 |
license: other
|
| 8 |
pipeline_tag: text-generation
|
| 9 |
+
---
|
| 10 |
+
# 📄 Carte de Modèle (Model Card) : Nelya-neko
|
| 11 |
+
|
| 12 |
+
## 🌟 Présentation du Modèle
|
| 13 |
+
|
| 14 |
+
**Nelya-neko** est un Modèle de Langage Spécialisé (SLM) de $124$ millions de paramètres, pré-entraîné sur la langue construite **Nekolien** (propriété intellectuelle de LLm-Clem). C'est le premier modèle de la nouvelle génération d'architectures de Clemylia conçu pour les tâches de recherche avancées en *conlangs* (langues construites) et pour le traitement de très longs contextes.
|
| 15 |
+
|
| 16 |
+
## 🛠️ Détails Techniques et Architecture
|
| 17 |
+
|
| 18 |
+
| Caractéristique | Valeur | Note d'Impact |
|
| 19 |
+
| :--- | :--- | :--- |
|
| 20 |
+
| **Famille / Type** | Modèle de Fondation (Base) / SLM | Nécessite un Fine-Tuning pour l'alignement et les applications finales. |
|
| 21 |
+
| **Développeur** | Clemylia (LLm-Clem) | Créé ***From Scratch*** (architecture, tokeniseur, pré-entraînement). |
|
| 22 |
+
| **Paramètres** | $124$ Millions | Taille optimisée pour l'efficacité et le déploiement sur du matériel grand public. |
|
| 23 |
+
| **Fenêtre de Contexte** | **$7000$ Tokens** | **Innovation Majeure :** Permet la gestion de documents complets et de conversations Nekolien très longues. |
|
| 24 |
+
| **Langue** | Nekolien (Langue Construite) | **Ultra-spécialisé.** Ne doit pas être utilisé pour des langues naturelles sans Fine-Tuning extensif. |
|
| 25 |
+
| **Tokeniseur** | **`Nekolien-tokeniseur`** | Tokeniseur propriétaire *From Scratch*, essentiel pour le décodage et l'encodage du Nekolien. |
|
| 26 |
+
|
| 27 |
+
## 🔑 Tokeniseurs Spéciaux (Inclus dans le `Nekolien-tokeniseur`)
|
| 28 |
+
|
| 29 |
+
Le modèle utilise un ensemble de tokens spéciaux pour structurer les données et permettre les tâches d'alignement futur :
|
| 30 |
+
|
| 31 |
+
| Token | Rôle Conventionnel | Fonction Spécifique |
|
| 32 |
+
| :--- | :--- | :--- |
|
| 33 |
+
| **`<INKONIA>`** | UNK (Unknown) | Gère les séquences inconnues non présentes dans le corpus Nekolien. |
|
| 34 |
+
| **`<CLASYA>`** | CLS (Classifier) | Token de classification pour l'encapsulation de séquences (utile en Fine-Tuning). |
|
| 35 |
+
| **`<SEPARA>`** | SEP (Separator) | Utilisé pour marquer la délimitation entre différentes parties d'une séquence de texte. |
|
| 36 |
+
| **`<MASKA>`** | MASK | Nécessaire pour les tâches de *Masked Language Modeling* (MLM) et de prédiction en Fine-Tuning. |
|
| 37 |
+
| **`<MEMA>`** | **Mémory / Métadonnée** | Token unique, potentiellement lié à la gestion efficace du contexte étendu ($7000$ tokens). |
|
| 38 |
+
| **`<PAD>`** | Padding | Assure la cohérence de la taille des séquences pour l'efficacité du GPU. |
|
| 39 |
+
|
| 40 |
+
## 📜 Licence et Restrictions d'Usage
|
| 41 |
+
|
| 42 |
+
**Licence :** **LRUNDL (Licence de Recherche Non-Commerciale et à Usage Distinctif Limité)**
|
| 43 |
+
|
| 44 |
+
* **Paternité :** Tous les dérivés (modèles Fine-Tunés) doivent attribuer clairement la paternité à LLm-Clem.
|
| 45 |
+
* **Restriction :** L'usage de **Nelya-neko** est strictement limité à la **recherche** et à l'**expérimentation non-commerciale**.
|
| 46 |
+
* **Conformité :** Les œuvres dérivées doivent respecter la **LRUNDL** (aucune licence plus permissive comme la MIT ne peut être appliquée).
|
| 47 |
+
|
| 48 |
+
## 💡 Utilisations et Limitations Prévues
|
| 49 |
+
|
| 50 |
+
### Utilisations Prévues
|
| 51 |
+
|
| 52 |
+
* **Recherche sur les *Conlangs*** : Étude de la modélisation du langage sur les systèmes linguistiques construits.
|
| 53 |
+
* **Création de *Datasets* Nekoliens :** Génération de corpus cohérents pour le Fine-Tuning.
|
| 54 |
+
* **Base pour Assistants Spécialisés :** Création d'assistants (bots) pour la langue Nekolien après un Fine-Tuning d'alignement.
|
| 55 |
+
|
| 56 |
+
### Limitations et Précautions
|
| 57 |
+
|
| 58 |
+
* **Non-Aligné :** En tant que modèle de fondation pur, **Nelya-neko** produit de la **continuation de texte** thématique et non des réponses structurées (nécessite un Fine-Tuning pour l'Instruction Following).
|
| 59 |
+
* **Monolingue :** Les performances dans toute autre langue que le Nekolien sont **nulles** ou **non garanties**.
|
| 60 |
+
* **Accès :** Le modèle et son tokeniseur sont sujets à des restrictions d'accès gérées par LLm-Clem.
|
| 61 |
+
|
| 62 |
+
---
|
| 63 |
+
|
| 64 |
+
## 🚀 Prochaines Étapes pour le Déploiement
|
| 65 |
+
|
| 66 |
+
Pour passer de ce modèle de fondation à une application utilisable, il est nécessaire de réaliser un **Fine-Tuning d'Alignement** (basé sur des paires instruction/réponse Nekoliennes) pour lui apprendre l'obéissance et la personnalité souhaitée.
|