---
license: apache-2.0
---

# Train From Scratch avec Flash Attention 

Précision Supporté = FP32 , FP16 , BF16 

Attention Supporté : Torch-Attention , Sage-Attention ,  Flash-Attention-2 ,  Flash-Attention-3

Bon train ! Que la loss tombe bien ! 

README.md en cours d'ecriture ...