NanoConte-91M-5ep

NanoConte-91M-5ep est un modèle de langage causal de type GPT (~91,6 millions de paramètres) entraîné de zéro en français sur 5 époques pour générer des histoires courtes pour enfants, dans l'esprit de TinyStories.

Famille NanoConte

Modèle Paramètres Couches / Dim / Têtes Époques
AmauryLC/NanoConte-51M 51,2 M 8 / 512 / 8 1
AmauryLC/NanoConte-51M-3ep 51,2 M 8 / 512 / 8 3
AmauryLC/NanoConte-91M-5ep (ce modèle) 91,6 M 12 / 640 / 10 5

Caractéristiques du modèle

Paramètre Valeur
Architecture GPT causal (Pre-LayerNorm, GELU, embeddings liés)
Nombre de paramètres 91 578 880 (~91,6 M, dont ~32,2 M dans la table d'embeddings)
Couches (N_LAYER) 12
Dimension d'embedding (N_EMBD) 640
Têtes d'attention (N_HEAD) 10
Fenêtre de contexte (BLOCK_SIZE) 512 tokens
Tokenizer MaxLSB/LeCarnet-21M (50 262 tokens)
Format du checkpoint PyTorch state_dict (float32, ~366 Mo)

Entraînement

  • Jeu de données : MaxLSB/LeCarnet (split train)
  • Époques : 5 époques
  • Optimiseur : AdamW (lr = 6e-4, betas = (0.9, 0.95), weight_decay = 0.1, gradient clipping à 1.0)
  • Scheduler : warmup linéaire sur 1 000 pas, puis décroissance cosinus jusqu'à 10 % du learning rate maximal
  • Taille de batch : 16 séquences × 512 tokens = 8 192 tokens / pas
  • Précision : bfloat16 (torch.autocast) sur GPU

Utilisation

Le fichier model-91M-5epoque.pt contient le state_dict PyTorch du modèle défini dans train.py.

import torch
from huggingface_hub import hf_hub_download
from train import GPT

ckpt_path = hf_hub_download(repo_id="AmauryLC/NanoConte-91M-5ep", filename="model-91M-5epoque.pt")

model = GPT()
model.load_state_dict(torch.load(ckpt_path, map_location="cpu", weights_only=True))
model.eval()

print(model.generate("Il était une fois", max_tokens=220, temperature=0.8))

Exemples de générations

Exemples générés directement avec temperature=0.8 :

Exemple 1 — Conte classique

Prompt : Il était une fois

Il était une fois un petit lapin nommé Lulu. Lulu aimait beaucoup jouer dans la forêt avec ses amis. Un jour, il décida de faire une farce à son ami le hérisson. Lulu prit une pomme et la pela en forme de cœur. Il voulait fabriquer une belle écharpe avec cette pomme.

Lulu travailla très dur pour fabriquer l'écharpe. Il était têtu et voulait que tout soit parfait. Mais quand il eut fini, il se rendit compte que l'écharpe était trop grande pour lui. Lulu essaya de la porter, mais elle tombait tout le temps. Ses amis virent Lulu avec son écharpe trop grande et se moquèrent de lui. Lulu se sentit très triste et seul. Il jeta l'écharpe et retourna chez lui, le cœur lourd.

Exemple 2 — Dialogue et saison

Prompt : Un matin d'hiver, un petit chat

Un matin d'hiver, un petit chat nommé Minou se réveilla en frissonnant. Il faisait très froid dehors, et tout était gelé. Minou n'avait jamais vu de neige avant et il était très excité. Il se demandait s'il pouvait jouer avec la neige.

Minou décida d'aller voir son ami le lapin, qui vivait dans le jardin. « Bonjour, Lapin ! » dit Minou. « Il a neigé cette nuit ! Je ne sais pas quoi faire. » Le lapin sourit et répondit : « Ne t'inquiète pas, Minou. La neige, c'est comme de la neige fraîche. Elle tombe doucement sur le sol et me rend heureux. Mais ne t'inquiète pas, elle ne reste pas longtemps. »

Minou se sentit rassuré. « Merci, Lapin. Je vais jouer dans la neige quand il fera chaud à nouveau ! » Et ainsi, Minou passa une belle journée à jouer dans la neige, en attendant avec impatience le retour du printemps.

Exemple 3 — Univers fantastique et morale

Prompt : Dans un château caché au sommet de la montagne,

Dans un château caché au sommet de la montagne, vivait un petit dragon nommé Flamme. Flamme aimait jouer avec les habitants du château, mais parfois, il aimait aussi faire des bêtises.

Un jour, Flamme décida de voler la couronne du roi. Il pensait que cela le rendrait encore plus fort et courageux. Mais quand il essaya de sauter par-dessus, il se sentit tout barbouillé et tomba du ciel. Tout le monde accourut pour l'aider. Le roi, très sage, expliqua à Flamme que le vrai courage ne vient pas de la couronne, mais de la gentillesse et de l'amitié. Flamme comprit alors que faire des bêtises n'était pas la bonne chose à faire. Il rendit la couronne au roi et promit de ne plus jamais voler. Depuis ce jour, Flamme devint un dragon aimé et respecté par tous.

Exemple 4 — Aventure et mystère

Prompt : Léo trouva une mystérieuse clé dorée dans le jardin.

Léo trouva une mystérieuse clé dorée dans le jardin. Il la ramassa et la montra à sa maman. "Maman, regarde ce que j'ai trouvé !" dit Léo. Sa maman sourit et lui dit : "C'est une clé magique, Léo. Elle ouvre une porte secrète dans notre jardin."

Léo et sa maman décidèrent de suivre la clé. Ils trouvèrent la porte secrète derrière un buisson. Léo ouvrit la porte et découvrit un monde magique plein de fleurs colorées et de papillons. C'était un endroit merveilleux que Léo n'avait jamais vu auparavant. Il savait que cette aventure était le début de quelque chose de très spécial.

Limites

  • Modèle expérimental de petite taille, spécialisé uniquement dans la génération de courtes histoires simples en français.
  • Non adapté aux tâches factuelles, de raisonnement ou d'instruction-following.
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Dataset used to train AmauryLC/NanoConte-91M-5ep