File size: 287 Bytes
b34d2e6 4b3c5da 4ffb07d 4b3c5da 9e793ab b741247 0189c76 | 1 2 3 4 5 6 7 8 9 10 11 12 13 | ---
license: apache-2.0
---
# Train From Scratch avec Flash Attention
Précision Supporté = FP32 , FP16 , BF16
Attention Supporté : Torch-Attention , Sage-Attention , Flash-Attention-2 , Flash-Attention-3
Bon train ! Que la loss tombe bien !
README.md en cours d'ecriture ... |