|
|
--- |
|
|
license: mit |
|
|
datasets: |
|
|
- Clem27sey/Nacid |
|
|
language: |
|
|
- fr |
|
|
pipeline_tag: text-generation |
|
|
tags: |
|
|
- SLM |
|
|
- LAM-3 |
|
|
- questions/reponses |
|
|
- Slm français |
|
|
- From scratch |
|
|
library_name: transformers |
|
|
--- |
|
|
|
|
|
# 🌸 Lam-3 / SLM Lamina 🌸 |
|
|
|
|
|
 |
|
|
|
|
|
Bienvenue sur la documentation officielle de Lam-3 ! |
|
|
|
|
|
Lam-3 est un SLM de la série lamina, fine-tuné a partir du blank : Clemylia/lamina-suite-pretrain. |
|
|
l'entraînement de Lam-3 a durer 3 heures sur GPU T4, |
|
|
et il fait 0,7 milliards (714 millions) de paramètres. |
|
|
|
|
|
|
|
|
Ce SLM a été entrainer sur la dataset Clem27sey/Nacid, |
|
|
contenant 1358 questions/réponses a ce moment. |
|
|
|
|
|
Lam-3 a été cree from scratch (de zero) par Clemylia, a partir de sa propre base. |
|
|
|
|
|
# ♥️ Informations et Usage ♥️ |
|
|
|
|
|
Lam-3 est programmée pour répondre a des questions (identitaires, et de base) |
|
|
et fournir ses propres réponses, |
|
|
parfois absurde, mais originale, |
|
|
il ne copie colle pas ses données d'entraînement a la lettre, |
|
|
il est créatif. |
|
|
|
|
|
**Si Lam-3 génère du charabia illisible du type : J e s R L M O N A R C H I E E R J ' {¥{`{ }}}**, |
|
|
c'est normal. cela lui arrive parfois, |
|
|
même si ses phrases sont lisibles la plupart du temps, |
|
|
et cela viens sûrement de votre propre paramètrage et code d'inférence. |
|
|
|
|
|
|
|
|
Lam-3 a été cree avec l'architecture transformers. |
|
|
même si il est créé from scratch (a partir de zero). |
|
|
|
|
|
**Non responsabilité** : |
|
|
|
|
|
nous ne sommes pas responsables des absurdité potentielles |
|
|
(le fromage feta et réduit le château de Versailles) ou encore (La Galaxie est la monnaie de la Pologne), |
|
|
|
|
|
ou du moins, nous ne sommes pas responsables des conséquences, si quelq'un est assez bête pour croire le modèle. |
|
|
|
|
|
🦋 **Bonne utilisation**! |
|
|
|
|
|
🛑 : **Lam, sur toutes ses iterations et modèles (Lam-1, Lam-2, Lam-3 , et supérieur etc...), sont des créations de Clemylia, et du studio LES-IA-ETOILES. De ce fait, ce SlM est la propriété de l'organisation qui le crée et le maintient**. |
|
|
|
|
|
exemple de code d'utilisation : |
|
|
|
|
|
``` |
|
|
# Load model directly |
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
tokenizer = AutoTokenizer.from_pretrained("Clemylia/Lam-3") |
|
|
model = AutoModelForCausalLM.from_pretrained("Clemylia/Lam-3") |
|
|
messages = [ |
|
|
{"role": "user", "content": "Qui es-tu ?"}, |
|
|
] |
|
|
inputs = tokenizer.apply_chat_template( |
|
|
messages, |
|
|
add_generation_prompt=True, |
|
|
tokenize=True, |
|
|
return_dict=True, |
|
|
return_tensors="pt", |
|
|
).to(model.device) |
|
|
|
|
|
outputs = model.generate(**inputs, max_new_tokens=150, do_sample=True, temperature=0.7, repetition_penalty=1.2) |
|
|
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) |
|
|
print('fin') |
|
|
``` |
|
|
|
|
|
🎉 **Lam-3 est créatif** : Lam-3 peut inventer des mots et des synthaxes comme tenaire, c'est totalement normal, et est même une fonctionnalité. En tant que SLM il n'est pas conçu pour etre chatgpt. |
|
|
|
|
|
**Les SLM Lam (et par extension tout les modèles lamina), appartiennent a Clemylia et a l'organisation LES-IA-ETOILES.** |
|
|
|
|
|
**Information** : Le droit d'utiliser lam-3 comme base, pour la création de d'autres modèles est autorisé, |
|
|
sous demande. |
|
|
|
|
|
**Lam-3 est un modèle brute de fondation** |
