Update requirements.txt
Browse files- requirements.txt +6 -11
requirements.txt
CHANGED
|
@@ -1,10 +1,10 @@
|
|
| 1 |
###############################################################################
|
| 2 |
-
#
|
| 3 |
###############################################################################
|
| 4 |
-
--extra-index-url https://download.pytorch.org/whl/
|
| 5 |
|
| 6 |
-
torch==2.1.0+
|
| 7 |
-
torchvision==0.16.0+
|
| 8 |
|
| 9 |
###############################################################################
|
| 10 |
# Transformers / training utils
|
|
@@ -39,10 +39,5 @@ huggingface_hub
|
|
| 39 |
sentencepiece
|
| 40 |
safetensors
|
| 41 |
|
| 42 |
-
#
|
| 43 |
-
|
| 44 |
-
# • CUDA 12.2 (binary still works under CUDA ≥12.1 drivers*)
|
| 45 |
-
# • PyTorch 2.1
|
| 46 |
-
# • Python 3.10 (cp310)
|
| 47 |
-
###############################################################################
|
| 48 |
-
https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.8/flash_attn-2.5.8+cu122torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
|
|
|
|
| 1 |
###############################################################################
|
| 2 |
+
# CUDA 12.2 + PyTorch 2.1 #
|
| 3 |
###############################################################################
|
| 4 |
+
--extra-index-url https://download.pytorch.org/whl/cu122
|
| 5 |
|
| 6 |
+
torch==2.1.0+cu122
|
| 7 |
+
torchvision==0.16.0+cu122
|
| 8 |
|
| 9 |
###############################################################################
|
| 10 |
# Transformers / training utils
|
|
|
|
| 39 |
sentencepiece
|
| 40 |
safetensors
|
| 41 |
|
| 42 |
+
# Flash-Attention 2.5.8 compiled for CU12.2, Torch 2.1, Python 3.10
|
| 43 |
+
https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.8/flash_attn-2.5.8+cu122torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl :contentReference[oaicite:0]{index=0}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|