NanoConte-51M
NanoConte-51M est un petit modèle de langage causal de type GPT (~51,2 millions de paramètres) entraîné de zéro en français pour générer des histoires courtes pour enfants, dans l'esprit de TinyStories.
Caractéristiques du modèle
| Paramètre | Valeur |
|---|---|
| Architecture | GPT causal (Pre-LayerNorm, GELU, embeddings liés) |
| Nombre de paramètres | 51 216 384 (~51,2 M, dont ~25,7 M dans la table d'embeddings) |
Couches (N_LAYER) |
8 |
Dimension d'embedding (N_EMBD) |
512 |
Têtes d'attention (N_HEAD) |
8 |
Fenêtre de contexte (BLOCK_SIZE) |
512 tokens |
| Tokenizer | MaxLSB/LeCarnet-21M (50 262 tokens) |
| Format du checkpoint | PyTorch state_dict (float32, ~205 Mo) |
Entraînement
- Jeu de données :
MaxLSB/LeCarnet(splittrain) - Époques : 1 époque
- Optimiseur : AdamW (
lr = 6e-4,betas = (0.9, 0.95),weight_decay = 0.1, gradient clipping à1.0) - Scheduler : warmup linéaire sur 1 000 pas, puis décroissance cosinus jusqu'à 10 % du learning rate maximal
- Taille de batch : 16 séquences × 512 tokens = 8 192 tokens / pas
- Précision :
bfloat16(torch.autocast) sur GPU
Utilisation
Le fichier model-51M.pt contient le state_dict PyTorch du modèle défini dans train.py.
import torch
from huggingface_hub import hf_hub_download
from train import GPT
ckpt_path = hf_hub_download(repo_id="AmauryLC/NanoConte-51M", filename="model-51M.pt")
model = GPT()
model.load_state_dict(torch.load(ckpt_path, map_location="cpu", weights_only=True))
model.eval()
print(model.generate("Il était une fois", max_tokens=200, temperature=0.8))
Exemple de génération
Prompt :
Il était une foisIl était une fois un petit lapin nommé Lulu. Lulu adorait jouer dans la forêt. Un jour, il trouva une planche en bois. Il décida de l'utiliser pour construire un pont. Mais il était confus parce qu'il ne savait pas comment utiliser la planche correctement.
Soudain, une petite voix lui dit : "Ne t'inquiète pas, Lulu. Je ne vais pas te bercer, je suis juste un peu triste." C'était une petite souris nommée Mimi. Mimi expliqua à Lulu que la planche était magique et qu'elle pouvait le transformer en bateau. Lulu fut surpris et heureux. Ensemble, ils construisirent le pont et devinrent les meilleurs amis.
Limites
- Modèle expérimental de petite taille, spécialisé uniquement dans la génération de courtes histoires simples en français.
- Non adapté aux tâches factuelles, de raisonnement ou d'instruction-following.