Add Readme

README.md

@@ -1,3 +1,19 @@
+---
+language: fr
+license: mit
+tags:
+  - gpt
+  - text-generation
+  - french
+  - children-stories
+  - character-level
+  - toy-model
+datasets:
+  - iproskurina/TinyStories-French
+model-index:
+  - name: SLM-Tiny-Stories
+    results: []
+---
 # 🧒 SLM-Tiny-Stories — Générateur d’histoires pour enfants
 
 Un petit modèle de langage (SLM) en français entraîné sur le dataset [TinyStories-French](https://huggingface.co/datasets/iproskurina/TinyStories-French), conçu pour générer de courtes histoires à partir d’un contexte vide ou d’un prompt initial.
@@ -15,7 +31,7 @@ Un petit modèle de langage (SLM) en français entraîné sur le dataset [TinySt
 ---
 
 ## 📦 Structure du projet
-
+```
 /
 ├── train.py # Script principal d'entraînement
 ├── generate.py # Script pour générer une histoire
@@ -24,7 +40,7 @@ Un petit modèle de langage (SLM) en français entraîné sur le dataset [TinySt
 ├── dataloader.py # Dataset TinyLLMDataset
 ├── model.py # Architecture MiniGPT
 └── checkpoints/ # Dossier des checkpoints sauvegardés
-
+```
 
 ---
 
@@ -49,17 +65,18 @@ python train.py
 ---
 
 ### 3. Les hypers paramètres
-
+```
 block_size = 128
 batch_size = 32
 learning_rate = 1e-3
 embed_dim = 128
 n_heads = 16
 n_layers = 16
-
+```
 
 ---
 
 ### 4. Exemple de génération
-
-Êtes-vous prêts?" Les enfants dirent, "Oui, maîtresse. Nous sommes prêts." Ils suivirent la maîtresse jusqu'à la première cage. Ils virent un grand lion. Il avait une crinière et des dents acérées. Il rugissait fort. Les enfants avaient peur. Ils se cachèrent derrière la maîtresse. La maîtresse dit, "Ne vous inquiétez pas, les enfants. Le lion ne peut pas vous faire de mal. Il est derrière les barreaux. Il vous dit juste bonjour. Pouvez-vous dire bonjour au lion?" Lily était courageuse. Elle s'avança et dit, "Bonjour, lion. Tu es très grand et fort. Mais je n'ai pas peur de toi. J'ai un chien à la maison. C'est mon ami. Il aboie et remue la queue. As-tu un ami, lion?" Le lion regarda Lily
+```
+Êtes-vous prêts?" Les enfants dirent, "Oui, maîtresse. Nous sommes prêts." Ils suivirent la maîtresse jusqu'à la première cage. Ils virent un grand lion. Il avait une crinière et des dents acérées. Il rugissait fort. Les enfants avaient peur. Ils se cachèrent derrière la maîtresse. La maîtresse dit, "Ne vous inquiétez pas, les enfants. Le lion ne peut pas vous faire de mal. Il est derrière les barreaux. Il vous dit juste bonjour. Pouvez-vous dire bonjour au lion?" Lily était courageuse. Elle s'avança et dit, "Bonjour, lion. Tu es très grand et fort. Mais je n'ai pas peur de toi. J'ai un chien à la maison. C'est mon ami. Il aboie et remue la queue. As-tu un ami, lion?" Le lion regarda Lily
+```