🐱 Nelya-neko-6b : Native Nekolien Language Model

📌 Présentation Nelya-neko-6b est un modèle de langage de 6 milliards de paramètres, conçu intégralement "from scratch". Contrairement aux modèles traditionnels affinés (fine-tuned), Nelya-neko a été entraîné nativement pour comprendre et générer le Nekolien, une langue construite (conlang) unique développée par Finisha et son équipe. Il s'agit d'une avancée majeure pour la communauté des conlangers, offrant un outil capable de manipuler la syntaxe et le lexique Nekolien avec une fluidité organique. 🚀

🛠 Spécifications Techniques

• Architecture : Entièrement créée de zéro (No base model).
• Taille : 6 Milliards de paramètres.
• Fenêtre de contexte : 7 000 tokens 🧠.
• Langue native : Nekolien 🐾.
• Format des tenseurs : Safetensors (F32).

📖 Exemple de génération (Nekolien)

"Ji eta Nekolien qui scriba Juklok. modellia dona nouvia ab scriba veda ma ab ta dona poa veda Nekolien veda modellia utilisallia..."

Le modèle excelle dans la structure grammaticale spécifique du Nekolien, permettant des interactions riches et des créations textuelles fluides dans cette langue.

🚀 Utilisation

Pour utiliser ce modèle avec la bibliothèque transformers :

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Conlanger-LLM-CLEM/Nelya-neko-6b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Exemple d'inférence
inputs = tokenizer("Ji eta Nekolien", return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0]))

🤝 Équipe et Vision

Ce projet est porté par Finisha et l'équipe derrière le langage Nekolien. L'objectif est de démontrer qu'une architecture native peut surpasser l'adaptation de modèles existants pour des langues hautement spécialisées.

• Créatrice : Finisha (19 ans)
• Licence : Autre (voir dossier du modèle)

✨ Note de l'auteur

Le Nekolien n'est pas qu'une langue, c'est un écosystème. Nelya-neko-6b en est le premier pilier technologique.

Conseil pour les utilisateurs : Utilisez Kaggle pour l'inférence, tout en quantifiant en 4-bit lors de l'utilisation. vous pouvez utiliser leur GPU T4 x 2 pour une utilisation plus fluide. n'essayez pas d'utiliser Nelya-neko-6b sur votre simple pc personnel ou un Google colab gratuit, ce LLM de 6b est beaucoup trop lourd et profond (6 milliards de paramètres, 7000 de fenêtre de contexte et 832 layers), préférez kaggle, voir des instances de A100. Pour le fine-tuning sur Nelya-neko-6b, préférez Lora (adaptateurs). Cela vous permet de ne personnalisé seulement les partie requises de ses poids (cerveau), Faire du fine-tuning complet sur un 6b de cette envergure peut être extrêmement complexe, coûteux voir impossible.

Autre information Importante : les Nelya-neko (Que ce soit le 6b ici présent, le 1b ou même le Mini a 124M), sont des LLM de conlangs. Si vous souhaitez faire du fine-tuning, veuillez ne pas utiliser de données en langage naturel (français, anglais ou autre..), le modèle ne les comprendra pas, et vous vous retrouverez avec un modèle dérivé confus et incohérent. Il est absolument requis d'utiliser des données Nekolienne pour les LLM Nelya-neko. Vous pouvez me contacter à l'email : musicclem15@gmail.com si vous ne savez pas comment écrire vos données et si vous ne connaissez pas Suffisamment cette conlangs.

✨ Exemple de code d'utilisation 🩷

!pip install -U transformers bitsandbytes accelerate

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
import torch

# 1. Configurer la quantification 4-bit proprement
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16, # Optionnel mais conseillé pour la rapidité
    bnb_4bit_quant_type="nf4",            # Meilleure précision pour les modèles de langue
    bnb_4bit_use_double_quant=True
)

# 2. Charger le tokenizer
tokenizer = AutoTokenizer.from_pretrained("Conlanger-LLM-CLEM/Nelya-neko-6b")

# 3. Charger le modèle avec la config de quantification
# Utilise device_map="auto" pour que accelerate gère la mémoire sur Kaggle ou ailleurs
model = AutoModelForCausalLM.from_pretrained(
    "Conlanger-LLM-CLEM/Nelya-neko-6b", 
    quantization_config=bnb_config,
    device_map="auto"
)

# 4. Génération
input_text = "Ti eta "
input_ids = tokenizer(input_text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **input_ids, 
    max_new_tokens=50, 
    do_sample=True, 
    temperature=0.7
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))
print('fin')