| --- |
| license: apache-2.0 |
| --- |
| # 4B Model |
|
|
| ## Description |
|
|
| Ce projet contient un modèle de langage de 4 milliards de paramètres basé sur une architecture Transformer. |
| Il est conçu pour des tâches de génération de texte et de raisonnement général. |
|
|
| ## Objectif |
|
|
| - Génération de texte |
| - Résolution de problèmes |
| - Raisonnement logique |
| - Expérimentations en IA |
|
|
| ## Architecture |
|
|
| Modèle Transformer de type decoder-only. |
|
|
| - Embeddings de tokens |
| - Couches d’attention multi-head |
| - Réseaux feed-forward |
| - Connexions résiduelles |
| - Normalisation de couche |
|
|
| ## Entraînement |
|
|
| - Apprentissage auto-régressif (next-token prediction) |
| - Optimiseur type AdamW |
| - Dataset composé de texte général, code et données structurées |
|
|
| ## Utilisation |
|
|
| Exemple (Python) : |
|
|
| ```python |
| from transformers import AutoTokenizer, AutoModelForCausalLM |
| |
| tokenizer = AutoTokenizer.from_pretrained("model-name") |
| model = AutoModelForCausalLM.from_pretrained("model-name") |
| |
| prompt = "Bonjour, explique-moi les matrices." |
| inputs = tokenizer(prompt, return_tensors="pt") |
| |
| output = model.generate(**inputs, max_new_tokens=100) |
| print(tokenizer.decode(output[0])) |
