NanoConte-51M-3ep

NanoConte-51M-3ep est un petit modèle de langage causal de type GPT (~51,2 millions de paramètres) entraîné de zéro en français sur 3 époques pour générer des histoires courtes pour enfants, dans l'esprit de TinyStories.

Il s'agit de la version entraînée sur 3 époques de AmauryLC/NanoConte-51M (entraîné sur 1 époque).

Caractéristiques du modèle

Paramètre Valeur
Architecture GPT causal (Pre-LayerNorm, GELU, embeddings liés)
Nombre de paramètres 51 216 384 (~51,2 M, dont ~25,7 M dans la table d'embeddings)
Couches (N_LAYER) 8
Dimension d'embedding (N_EMBD) 512
Têtes d'attention (N_HEAD) 8
Fenêtre de contexte (BLOCK_SIZE) 512 tokens
Tokenizer MaxLSB/LeCarnet-21M (50 262 tokens)
Format du checkpoint PyTorch state_dict (float32, ~205 Mo)

Entraînement

  • Jeu de données : MaxLSB/LeCarnet (split train)
  • Époques : 3 époques
  • Optimiseur : AdamW (lr = 6e-4, betas = (0.9, 0.95), weight_decay = 0.1, gradient clipping à 1.0)
  • Scheduler : warmup linéaire sur 1 000 pas, puis décroissance cosinus jusqu'à 10 % du learning rate maximal
  • Taille de batch : 16 séquences × 512 tokens = 8 192 tokens / pas
  • Précision : bfloat16 (torch.autocast) sur GPU

Utilisation

Le fichier model-51M-3ep.pt contient le state_dict PyTorch du modèle défini dans train.py.

import torch
from huggingface_hub import hf_hub_download
from train import GPT

ckpt_path = hf_hub_download(repo_id="AmauryLC/NanoConte-51M-3ep", filename="model-51M-3ep.pt")

model = GPT()
model.load_state_dict(torch.load(ckpt_path, map_location="cpu", weights_only=True))
model.eval()

print(model.generate("Il était une fois", max_tokens=200, temperature=0.8))

Exemple de génération

Prompt : Il était une fois

Il était une fois un petit lapin nommé Lulu. Lulu adorait jouer dans la forêt avec ses amis. Un jour, il trouva une belle pomme rouge. Il décida de la peler pour la manger. Mais en pelant la pomme, il se coupa la pelle en deux. Lulu était triste car il ne pouvait plus creuser pour trouver de la nourriture.

Ses amis vinrent le voir et lui dirent que ce n'était pas grave. Ils lui rappelèrent qu'il était important de demander de l'aide quand on en a besoin. Ils lui donnèrent des feuilles à manger, des carottes et même une nouvelle pelle, pour ne plus se blesser. Lulu comprit alors que l'amitié est plus importante que tout.

Limites

  • Modèle expérimental de petite taille, spécialisé uniquement dans la génération de courtes histoires simples en français.
  • Non adapté aux tâches factuelles, de raisonnement ou d'instruction-following.
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Dataset used to train AmauryLC/NanoConte-51M-3ep