Update README.md
Browse files
README.md
CHANGED
|
@@ -162,7 +162,7 @@ special_tokens:
|
|
| 162 |
|
| 163 |
- Một số phương pháp team thử nhưng chưa thành công / chưa kịp exp:
|
| 164 |
+ Crawl được hơn 10k dữ liệu multiple choices + answer từ tracnghiem.net -> sinh synthetic thinking -> Training -> kết quả thấp đi trên VMLU nên quyết định bỏ.
|
| 165 |
-
+ Dựa trên 2M SFT, team có phân loại, filter trên
|
| 166 |
|
| 167 |
## 2. Training & Evaluation
|
| 168 |
|
|
@@ -181,7 +181,7 @@ special_tokens:
|
|
| 181 |
|
| 182 |
- Training
|
| 183 |
|
| 184 |
-
+ LoRA/
|
| 185 |
+ Packing dữ liệu, Ligerkernel, Flex attention giảm mem và tăng tốc độ training để exp được nhiều
|
| 186 |
+ Optimize lr: 2e-5 - 2e-6
|
| 187 |
+ Total exp ~40-50exp
|
|
|
|
| 162 |
|
| 163 |
- Một số phương pháp team thử nhưng chưa thành công / chưa kịp exp:
|
| 164 |
+ Crawl được hơn 10k dữ liệu multiple choices + answer từ tracnghiem.net -> sinh synthetic thinking -> Training -> kết quả thấp đi trên VMLU nên quyết định bỏ.
|
| 165 |
+
+ Dựa trên 2M SFT, team có phân loại, filter trên random 100k để phân loại thành 12 task chính , nhưng chưa kịp mixing để training
|
| 166 |
|
| 167 |
## 2. Training & Evaluation
|
| 168 |
|
|
|
|
| 181 |
|
| 182 |
- Training
|
| 183 |
|
| 184 |
+
+ LoRA/FFT: Mặc dù lượng dữ liệu nhỏ nhưng kết quả loss + eval cho thấy FFT vẫn cho hiệu suất tốt hơn
|
| 185 |
+ Packing dữ liệu, Ligerkernel, Flex attention giảm mem và tăng tốc độ training để exp được nhiều
|
| 186 |
+ Optimize lr: 2e-5 - 2e-6
|
| 187 |
+ Total exp ~40-50exp
|