| license: apache-2.0 | |
| # Train From Scratch avec Flash Attention | |
| Précision Supporté = FP32 , FP16 , BF16 | |
| Attention Supporté : Torch-Attention , Sage-Attention , Flash-Attention-2 , Flash-Attention-3 | |
| Bon train ! Que la loss tombe bien ! | |
| README.md en cours d'ecriture ... |