bkai-foundation-models

/

vietnamese-bi-encoder

like 72

Follow

BKAI-HUST Foundation Models Lab 109

Mình đang muốn làm một model tương tự nhưng với dữ liệu news/wiki. Mình đã thử dùng một số phương pháp sau:

• Chỉ sử dụng positives làm in-batch-negative: score tăng đến một ngưỡng rồi không tăng nữa, dù có thêm nhiều dữ liệu vào
• in-batch-negative thêm hard-negative được mining bằng BM25, mình có thử lấy random 1 bài trong các top (1-10), (20-30), (40-60) làm hard-negative nhưng mà kết quả lại tụt thảm so với chỉ dùng in-batch-negative.

Mình muốn tham khảo cách làm của nhóm. Cám ơn nhóm đã tạo ra một pre-train rất hữu ích !