Text Generation
Transformers
Safetensors
qwen3
conversational
text-generation-inference
rin2401 commited on
Commit
8653245
·
verified ·
1 Parent(s): f227ac5

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -162,7 +162,7 @@ special_tokens:
162
 
163
  - Một số phương pháp team thử nhưng chưa thành công / chưa kịp exp:
164
  + Crawl được hơn 10k dữ liệu multiple choices + answer từ tracnghiem.net -> sinh synthetic thinking -> Training -> kết quả thấp đi trên VMLU nên quyết định bỏ.
165
- + Dựa trên 2M SFT, team có phân loại, filter trên radnom 100k để phân loại thành 12 task chính , nhưng chưa kịp mixing để training
166
 
167
  ## 2. Training & Evaluation
168
 
@@ -181,7 +181,7 @@ special_tokens:
181
 
182
  - Training
183
 
184
- + LoRA/FT: Mặc dù lượng dữ liệu nhỏ nhưng kết quả loss + eval cho thấy FT vẫn cho hiệu suất tốt hơn
185
  + Packing dữ liệu, Ligerkernel, Flex attention giảm mem và tăng tốc độ training để exp được nhiều
186
  + Optimize lr: 2e-5 - 2e-6
187
  + Total exp ~40-50exp
 
162
 
163
  - Một số phương pháp team thử nhưng chưa thành công / chưa kịp exp:
164
  + Crawl được hơn 10k dữ liệu multiple choices + answer từ tracnghiem.net -> sinh synthetic thinking -> Training -> kết quả thấp đi trên VMLU nên quyết định bỏ.
165
+ + Dựa trên 2M SFT, team có phân loại, filter trên random 100k để phân loại thành 12 task chính , nhưng chưa kịp mixing để training
166
 
167
  ## 2. Training & Evaluation
168
 
 
181
 
182
  - Training
183
 
184
+ + LoRA/FFT: Mặc dù lượng dữ liệu nhỏ nhưng kết quả loss + eval cho thấy FFT vẫn cho hiệu suất tốt hơn
185
  + Packing dữ liệu, Ligerkernel, Flex attention giảm mem và tăng tốc độ training để exp được nhiều
186
  + Optimize lr: 2e-5 - 2e-6
187
  + Total exp ~40-50exp