Về việc sử dụng negative sample
#2
by anhnct - opened
Bạn cho mình hỏi việc sử dụng negative sample ở đây chỉ dùng inbatch negative, hay có sử dụng thêm hard negative không vậy
Bọn mình có sử dụng thêm hard negatives nữa nhé bạn.
Mình cảm ơn
Mình có thấy cấu hình training của bạn ntn:
MSMACRO: ~ 4GB
SQuAD v2: ~ 30 MB
Legal Text Retrieval Zalo 2021: ~ 200 MB
Cấu hình GPU: 1 card GPU A100 40GB
Thời gian training: ~ 1h / epoch
Không biết cụ thể số lượng sample của từng tập cụ thể là ntn bạn nhỉ