NanoConte-51M-3ep
NanoConte-51M-3ep est un petit modèle de langage causal de type GPT (~51,2 millions de paramètres) entraîné de zéro en français sur 3 époques pour générer des histoires courtes pour enfants, dans l'esprit de TinyStories.
Il s'agit de la version entraînée sur 3 époques de AmauryLC/NanoConte-51M (entraîné sur 1 époque).
Caractéristiques du modèle
| Paramètre | Valeur |
|---|---|
| Architecture | GPT causal (Pre-LayerNorm, GELU, embeddings liés) |
| Nombre de paramètres | 51 216 384 (~51,2 M, dont ~25,7 M dans la table d'embeddings) |
Couches (N_LAYER) |
8 |
Dimension d'embedding (N_EMBD) |
512 |
Têtes d'attention (N_HEAD) |
8 |
Fenêtre de contexte (BLOCK_SIZE) |
512 tokens |
| Tokenizer | MaxLSB/LeCarnet-21M (50 262 tokens) |
| Format du checkpoint | PyTorch state_dict (float32, ~205 Mo) |
Entraînement
- Jeu de données :
MaxLSB/LeCarnet(splittrain) - Époques : 3 époques
- Optimiseur : AdamW (
lr = 6e-4,betas = (0.9, 0.95),weight_decay = 0.1, gradient clipping à1.0) - Scheduler : warmup linéaire sur 1 000 pas, puis décroissance cosinus jusqu'à 10 % du learning rate maximal
- Taille de batch : 16 séquences × 512 tokens = 8 192 tokens / pas
- Précision :
bfloat16(torch.autocast) sur GPU
Utilisation
Le fichier model-51M-3ep.pt contient le state_dict PyTorch du modèle défini dans train.py.
import torch
from huggingface_hub import hf_hub_download
from train import GPT
ckpt_path = hf_hub_download(repo_id="AmauryLC/NanoConte-51M-3ep", filename="model-51M-3ep.pt")
model = GPT()
model.load_state_dict(torch.load(ckpt_path, map_location="cpu", weights_only=True))
model.eval()
print(model.generate("Il était une fois", max_tokens=200, temperature=0.8))
Exemple de génération
Prompt :
Il était une foisIl était une fois un petit lapin nommé Lulu. Lulu adorait jouer dans la forêt avec ses amis. Un jour, il trouva une belle pomme rouge. Il décida de la peler pour la manger. Mais en pelant la pomme, il se coupa la pelle en deux. Lulu était triste car il ne pouvait plus creuser pour trouver de la nourriture.
Ses amis vinrent le voir et lui dirent que ce n'était pas grave. Ils lui rappelèrent qu'il était important de demander de l'aide quand on en a besoin. Ils lui donnèrent des feuilles à manger, des carottes et même une nouvelle pelle, pour ne plus se blesser. Lulu comprit alors que l'amitié est plus importante que tout.
Limites
- Modèle expérimental de petite taille, spécialisé uniquement dans la génération de courtes histoires simples en français.
- Non adapté aux tâches factuelles, de raisonnement ou d'instruction-following.