0wovv0/DCT_TRAINST

SentenceTransformer based on 0wovv0/dangvantuan_mlm

This is a sentence-transformers model finetuned from 0wovv0/dangvantuan_mlm on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: 0wovv0/dangvantuan_mlm
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'trường_hợp người lao_động bị tạm giam thì có được tạm dừng việc đóng bảo_hiểm_xã_hội bắt_buộc không ?',
    '" điều 88 . tạm dừng đóng bảo_hiểm_xã_hội bắt_buộc 1 . tạm dừng đóng vào quỹ hưu_trí và tử_tuất được quy_định như sau : a ) trong trường_hợp người sử_dụng lao_động gặp khó_khăn phải tạm dừng sản_xuất , kinh_doanh dẫn đến việc người lao_động và người sử_dụng lao_động không có khả_năng đóng bảo_hiểm_xã_hội thì được tạm dừng đóng vào quỹ hưu_trí và tử_tuất trong thời_gian không quá 12 tháng ; b ) hết thời_hạn tạm dừng đóng quy_định tại điểm a_khoản này , người sử_dụng lao_động và người lao_động tiếp_tục đóng bảo_hiểm_xã_hội và đóng bù cho thời_gian tạm dừng đóng , số tiền đóng bù không phải tính lãi chậm đóng theo quy_định tại khoản 3 điều 122 của luật này . 2 . người lao_động đang tham_gia bảo_hiểm_xã_hội bắt_buộc mà bị tạm giam thì người lao_động và người sử_dụng lao_động được tạm dừng đóng bảo_hiểm_xã_hội . trường_hợp được cơ_quan có thẩm_quyền xác_định người lao_động bị oan , sai thì thực_hiện việc đóng bù bảo_hiểm_xã_hội cho thời_gian bị tạm giam . số tiền đóng bù không phải tính lãi chậm đóng theo quy_định tại khoản 3 điều 122 của luật này . 3 . chính_phủ quy_định chi_tiết điều này và các trường_hợp khác tạm dừng đóng bảo_hiểm_xã_hội bắt_buộc . "',
    'khoản 5 . tạm dừng đóng bảo_hiểm_xã_hội đối_với người lao_động tham_gia bảo_hiểm_xã_hội bắt_buộc quy_định tại khoản 1 và khoản 2 điều 2 nghị_định này mà bị tạm giam được thực_hiện như sau : a ) người lao_động quy_định tại khoản 1 và khoản 2 điều 2 nghị_định này mà bị tạm giam thì người lao_động và người sử_dụng lao_động được tạm dừng đóng bảo_hiểm_xã_hội ; b ) sau thời_gian tạm giam , nếu được cơ_quan có thẩm_quyền xác_định bị oan , sai thì người lao_động và người sử_dụng lao_động thực_hiện việc đóng bù bảo_hiểm_xã_hội cho thời_gian bị tạm giam ; số tiền đóng bù không phải tính lãi chậm đóng theo quy_định tại khoản 3 điều 122 luật bảo_hiểm_xã_hội ; c ) trường_hợp cơ_quan có thẩm_quyền xác_định người lao_động là có tội thì không thực_hiện việc đóng bù bảo_hiểm_xã_hội cho thời_gian bị tạm giam .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 327,007 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 7 tokens mean: 17.16 tokens max: 37 tokens	min: 14 tokens mean: 150.95 tokens max: 256 tokens	min: 22 tokens mean: 151.52 tokens max: 256 tokens

• Samples:

  query	positive	negative
  ngày nghỉ hàng tuần của người lao_động được pháp_luật quy_định như_thế_nào ?	" điều 111 . nghỉ hằng tuần 1 . mỗi tuần , người lao_động được nghỉ ít_nhất 24 giờ liên_tục . trong trường_hợp đặc_biệt do chu_kỳ lao_động không_thể nghỉ hằng tuần thì người sử_dụng lao_động có trách_nhiệm bảo_đảm cho người lao_động được nghỉ_tính bình_quân 01 tháng ít_nhất 04 ngày . 2 . người sử_dụng lao_động có quyền quyết_định sắp_xếp ngày nghỉ hằng tuần vào ngày chủ_nhật hoặc ngày xác_định khác trong tuần nhưng phải ghi vào nội_quy lao_động . 3 . nếu ngày nghỉ hằng tuần_trùng với ngày nghỉ lễ , tết quy_định tại khoản 1 điều 112 của bộ_luật này thì người lao_động được nghỉ bù ngày nghỉ hằng tuần vào ngày làm_việc kế_tiếp . "	khoản 3 . thời_giờ làm_việc , thời_giờ nghỉ_ngơi thực_hiện theo quy_định tại chương vii của bộ_luật lao_động và chương vii nghị_định này , trong đó thời_gian nghỉ_ngơi trong ngày làm_việc bình_thường , ngày nghỉ hằng tuần được thực_hiện như sau : a ) vào ngày làm_việc bình_thường , ngoài thời_giờ làm_việc thỏa_thuận trong hợp_đồng lao_động theo quy_định , người sử_dụng lao_động phải bảo_đảm , tạo điều_kiện cho người lao_động được nghỉ ít_nhất 8 giờ , trong đó có 6 giờ liên_tục trong 24 giờ liên_tục ; b ) người lao_động được nghỉ hằng tuần theo quy_định tại điều 111 của bộ_luật lao_động , trường_hợp người sử_dụng lao_động không_thể bố_trí nghỉ hằng tuần thì phải bảo_đảm cho người lao_động được nghỉ_tính bình_quân 01 tháng ít_nhất 04 ngày .
  đảm_bảo các nguyên_tắc chung như_thế_nào trong việc xếp loại chất_lượng cán_bộ cấp tỉnh ?	nguyên_tắc đánh_giá , xếp loại chất_lượng cán_bộ , công_chức , viên_chức 1 . bảo_đảm khách_quan , công_bằng , chính_xác ; không nể_nang , trù_dập , thiên_vị , hình_thức ; bảo_đảm đúng thẩm_quyền quản_lý , đánh_giá cán_bộ , công_chức , viên_chức . 2 . việc đánh_giá , xếp loại chất_lượng phải căn_cứ vào chức_trách , nhiệm_vụ được giao và kết_quả thực_hiện nhiệm_vụ , thể_hiện thông_qua công_việc , sản_phẩm cụ_thể ; đối_với cán_bộ , công_chức , viên_chức lãnh_đạo , quản_lý phải gắn với kết_quả thực_hiện nhiệm_vụ của cơ_quan , tổ_chức , đơn_vị được giao quản_lý , phụ_trách . 3 . cán_bộ , công_chức , viên_chức có thời_gian công_tác trong năm chưa đủ 06 tháng thì không thực_hiện việc đánh_giá , xếp loại chất_lượng nhưng vẫn phải kiểm_điểm thời_gian công_tác trong năm , trừ trường_hợp nghỉ chế_độ thai_sản . cán_bộ , công_chức , viên_chức nghỉ không tham_gia công_tác theo quy_định của pháp_luật trong năm từ 03 tháng đến dưới 06 tháng thì vẫn thực_hiện đánh_giá nhưng không xếp loại chất_lượng ở ...	nguyên_tắc đánh_giá , xếp loại chất_lượng công_chức , viên_chức và người lao_động 1 . bảo_đảm khách_quan , công_bằng , chính_xác ; không nể_nang , trù_dập , thiên_vị , hình_thức ; bảo_đảm đúng thẩm_quyền quản_lý đánh_giá công_chức , viên_chức và người lao_động ; đúng quy_định của pháp_luật và của ngành ; xem_xét toàn_diện ; bảo_đảm tất_cả các tiêu_chí đánh_giá phải có điểm , không bị điểm_liệt ( 0 điểm ) .
  công_ty không trả tiền_lương đầy_đủ cho người lao_động sẽ bị xử_lý như_thế_nào ?	4 . phạt tiền đối_với người sử_dụng lao_động khi có hành_vi không trả hoặc trả không đủ cùng lúc với kỳ trả lương một khoản tiền cho người lao_động tương_đương với mức người sử_dụng lao_động đóng bảo_hiểm_xã_hội bắt_buộc , bảo_hiểm_y_tế , bảo_hiểm thất_nghiệp cho người lao_động không thuộc đối_tượng tham_gia bảo_hiểm_xã_hội bắt_buộc , bảo_hiểm_y_tế , bảo_hiểm thất_nghiệp theo quy_định của pháp_luật theo một trong các mức sau đây : a ) từ 3.000.000 đồng đến 5.000.000 đồng đối_với vi_phạm từ 01 người đến 10 người lao_động ; b ) từ 5.000.000 đồng đến 8.000.000 đồng đối_với vi_phạm từ 11 người đến 50 người lao_động ; c ) từ 8.000.000 đồng đến 12.000.000 đồng đối_với vi_phạm từ 51 người đến 100 người lao_động ; d ) từ 12.000.000 đồng đến 15.000.000 đồng đối_với vi_phạm từ 101 người đến 300 người lao_động ; đ ) từ 15.000.000 đồng đến 20.000.000 đồng đối_với vi_phạm từ 301 người lao_động trở lên .	khoản 2 . phạt tiền đối_với người sử_dụng lao_động có một trong các hành_vi : trả lương không đúng hạn theo quy_định của pháp_luật ; không trả hoặc trả không đủ tiền_lương cho người lao_động theo thỏa_thuận trong hợp_đồng lao_động ; không trả hoặc trả không đủ tiền_lương làm thêm giờ ; không trả hoặc trả không đủ tiền_lương làm_việc vào ban_đêm ; không trả hoặc trả không đủ tiền_lương ngừng việc cho người lao_động theo quy_định của pháp_luật ; hạn_chế hoặc can_thiệp vào quyền tự_quyết chi_tiêu lương của người lao_động ; ép_buộc người lao_động chi_tiêu lương vào việc mua hàng hóa , sử_dụng dịch_vụ của người sử_dụng lao_động hoặc của đơn_vị khác mà người sử_dụng lao_động chỉ_định ; khấu_trừ tiền_lương của người lao_động không đúng quy_định của pháp_luật ; không trả hoặc trả không đủ tiền_lương theo quy_định cho người lao_động khi tạm_thời chuyển người lao_động sang làm công_việc khác so với hợp_đồng lao_động hoặc trong thời_gian đình_công ; không trả hoặc trả không đủ tiền_lương của ngườ...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 327,007 evaluation samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 17.13 tokens max: 35 tokens	min: 14 tokens mean: 151.92 tokens max: 256 tokens	min: 15 tokens mean: 151.96 tokens max: 256 tokens

• Samples:

  query	positive	negative
  hồ_sơ của đảng_viên chính_thức sẽ gồm những tài_liệu gì ?	viên dự_bị của đảng_viên được phân_công giúp_đỡ . + tổng_hợp ý_kiến nhận_xét của đoàn_thể chính_trị - xã_hội nơi làm_việc và chi_ủy ( hoặc chi_bộ ) nơi cư_trú đối_với đảng_viên dự_bị . + nghị_quyết xét , đề_nghị công_nhận đảng_viên chính_thức của chi_bộ . + báo_cáo thẩm_định của đảng_ủy bộ_phận ( nếu có ) . + nghị_quyết xét , đề_nghị công_nhận đảng_viên chính_thức của đảng_ủy cơ_sở . + quyết_định công_nhận đảng_viên chính_thức của cấp ủy có thẩm_quyền . + các bản bổ_sung hồ_sơ đảng_viên hằng năm . + các bản thẩm_tra , kết_luận về lý_lịch đảng_viên ( nếu có ) . + các quyết_định của cấp có thẩm_quyền về điều_động , bổ_nhiệm , nghỉ hưu , nghỉ mất_sức , chuyển ngành , phục_viên , xuất_ngũ , kỷ_luật , khen_thưởng ; bản_sao các văn_bản chứng_chỉ về chuyên_môn , lý_luận chính_trị , ngoại_ngữ , tin_học ... + hệ_thống giấy giới_thiệu sinh_hoạt đảng từ khi vào đảng . + các bản tự kiểm_điểm hằng năm ( của 3 năm gần nhất ) và khi chuyển sinh_hoạt_đảng của đảng_viên . - ngoài những tài_liệu trên , ...	1 . quản_lý hồ_sơ đảng_viên 1.1 - hồ_sơ đảng_viên ... b ) sau khi chi_bộ xét , đồng_ý kết_nạp vào đảng ( 1 ) nghị_quyết xét , đề_nghị kết_nạp đảng_viên của chi_bộ ; ( 2 ) báo_cáo thẩm_định của đảng_ủy bộ_phận ( nếu có ) ; ( 3 ) nghị_quyết xét , đề_nghị kết_nạp đảng_viên của đảng_ủy cơ_sở ; ( 4 ) quyết_định kết_nạp đảng_viên của cấp ủy có thẩm_quyền ; ( 5 ) lý_lịch đảng_viên ; ( 6 ) phiếu đảng_viên . c ) khi đảng_viên đã được công_nhận chính_thức có thêm các tài_liệu sau : ( 1 ) giấy chứng_nhận học lớp bồi_dưỡng đảng_viên mới ; ( 2 ) bản tự kiểm_điểm của đảng_viên dự_bị ; ( 3 ) bản nhận_xét đảng_viên dự_bị của đảng_viên chính_thức được phân_công giúp_đỡ ; ( 4 ) tổng_hợp ý_kiến nhận_xét của đoàn_thể chính_trị - xã_hội nơi đảng_viên dự_bị sinh_hoạt và chi_ủy ( hoặc chi_bộ ) nơi cư_trú đối_với đảng_viên dự_bị ; ( 5 ) nghị_quyết xét , đề_nghị công_nhận đảng_viên chính_thức của chi_bộ ; ( 6 ) báo_cáo thẩm_định của đảng_ủy bộ_phận ( nếu có ) ; ( 7 ) nghị_quyết xét , đề_nghị công_nhận đảng_viê...
  công_ty mẹ tổng_công_ty viễn_thông mobifone có được sử_dụng tài_sản do mobifone đang đi thuê hoạt_động để đầu_tư ra ngoài mobifone không ?	đầu_tư ra ngoài doanh_nghiệp ... 3 . các trường_hợp không được đầu_tư ra ngoài doanh_nghiệp : a ) góp vốn , mua cổ_phần , mua toàn_bộ doanh_nghiệp khác mà người_quản_lý , người đại_diện tại doanh_nghiệp đó là vợ hoặc chồng , cha đẻ , cha nuôi , mẹ đẻ , mẹ nuôi , con_đẻ , con_nuôi , anh ruột , chị ruột , em ruột , anh rể , em rể , chị dâu , em dâu của chủ_tịch và thành_viên hội_đồng thành_viên , chủ_tịch công_ty , kiểm_soát_viên , tổng_giám_đốc hoặc giám_đốc , phó tổng_giám_đốc hoặc phó giám_đốc , kế_toán_trưởng của doanh_nghiệp ; b ) góp vốn cùng công_ty con để thành_lập công_ty cổ_phần , công_ty trách_nhiệm hữu_hạn hoặc thực_hiện hợp_đồng hợp_tác kinh_doanh . 4 . thẩm_quyền quyết_định đầu_tư vốn ra ngoài doanh_nghiệp : a ) hội_đồng thành_viên hoặc chủ_tịch công_ty quyết_định từng dự_án đầu_tư ra ngoài doanh_nghiệp với giá_trị không quá 50 % vốn chủ_sở_hữu được ghi trên báo_cáo tài_chính quý hoặc báo_cáo tài_chính năm của doanh_nghiệp tại thời_điểm gần nhất với thời_điểm quyết_định dự_...	đầu_tư ra ngoài mobifone 1 . mobifone được quyền sử_dụng tài_sản , tiền vốn thuộc quyền quản_lý , sử_dụng của mobifone để đầu_tư ra ngoài doanh_nghiệp theo quy_định tại điều 28 , điều 29 luật quản_lý , sử_dụng vốn nhà_nước đầu_tư vào sản_xuất , kinh_doanh tại doanh_nghiệp : a ) mobifone được quyền sử_dụng vốn của mobifone để đầu_tư ra ngoài mobifone thuộc các ngành_nghề kinh_doanh chính được quy_định trong điều_lệ tổ_chức hoạt_động của mobifone . việc đầu_tư vốn ra ngoài mobifone phải tuân_thủ các quy_định của pháp_luật , không ảnh_hưởng đến hoạt_động sản_xuất kinh_doanh của mobifone , đảm_bảo có hiệu_quả , bảo_toàn và phát_triển vốn đầu_tư . b ) mobifone không được sử_dụng tài_sản , tiền vốn , quyền sử_dụng đất giao hoặc thuê để góp vốn hoặc đầu_tư vào lĩnh_vực bất_động_sản , không được góp vốn , mua cổ_phần tại ngân_hàng , công_ty bảo_hiểm , công_ty chứng_khoán , quỹ đầu_tư mạo_hiểm , quỹ đầu_tư chứng_khoán , công_ty đầu_tư chứng_khoán và công_ty quản_lý quỹ đầu_tư chứng_khoán , trừ ...
  việc lập báo_cáo tài_chính tổng_hợp là nhằm mục_đích gì ?	mục_đích của việc lập báo_cáo tài_chính tổng_hợp 1 . báo_cáo tài_chính tổng_hợp cung_cấp thông_tin kinh_tế , tài_chính cho người sử_dụng xem_xét , đánh_giá tình_hình tài_chính , kết_quả hoạt_động , khả_năng tạo tiền của đơn_vị kế_toán cấp trên trong kỳ kế_toán , làm cơ_sở cho việc đưa ra các quyết_định về quản_lý , điều_hành đầu_tư và quyết_định khác của các cấp lãnh_đạo và những người có liên_quan , đồng_thời nâng cao trách_nhiệm giải_trình của các đơn_vị kế_toán cấp trên về việc tiếp_nhận và sử_dụng các nguồn_lực của nhà_nước theo quy_định của pháp_luật . 2 . báo_cáo tài_chính tổng_hợp của đơn_vị dự_toán cấp 1 còn cung_cấp thông_tin để lập báo_cáo tài_chính nhà_nước theo quy_định tại khoản 1 điều 16 , khoản 1 điều 17 , khoản 1 điều 18 nghị_định số 25/2017 / nđ-cp về báo_cáo tài_chính nhà_nước .	nguyên_tắc lập báo_cáo tài_chính tổng_hợp 1 . báo_cáo tài_chính tổng_hợp được lập sau khi kết_thúc kỳ_kế_toán năm ( vào thời_điểm 31/12 hàng năm ) . báo_cáo của các đơn_vị kế_toán cấp dưới được sử_dụng làm căn_cứ lập báo_cáo tài_chính tổng_hợp phải được lập cho cùng một kỳ báo_cáo với báo_cáo tài_chính tổng_hợp , trường_hợp ngày kết_thúc kỳ kế_toán khác ngày 31/12 thì đơn_vị kế_toán cấp dưới phải lập và gửi các báo_cáo cho mục_đích tổng_hợp báo_cáo theo quy_định của thông_tư này . 2 . báo_cáo tài_chính tổng_hợp của đơn_vị kế_toán cấp trên phải được tổng_hợp đầy_đủ , bao_gồm thông_tin tài_chính của tất_cả đơn_vị kế_toán cấp dưới trực_thuộc theo quy_định ; trong đó các chỉ_tiêu tài_sản , nợ phải trả , tài_sản thuần , doanh_thu , chi_phí và các luồng tiền của đơn_vị kế_toán cấp trên được trình_bày trên các biểu_mẫu báo_cáo tương_ứng giống như là các báo_cáo của một đơn_vị kế_toán độc_lập .

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 64
• learning_rate: 1e-05
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0122	100	1.5662
0.0245	200	1.2925
0.0367	300	1.027
0.0489	400	0.9533
0.0612	500	0.8946
0.0734	600	0.8418
0.0856	700	0.7786
0.0978	800	0.7507
0.1101	900	0.7092
0.1223	1000	0.6739
0.1345	1100	0.6038
0.1468	1200	0.5831
0.1590	1300	0.5801
0.1712	1400	0.553
0.1835	1500	0.5855
0.1957	1600	0.5655
0.2079	1700	0.5318
0.2202	1800	0.5211
0.2324	1900	0.5165
0.2446	2000	0.5265
0.2568	2100	0.5167
0.2691	2200	0.5137
0.2813	2300	0.4826
0.2935	2400	0.4738
0.3058	2500	0.4642
0.3180	2600	0.4537
0.3302	2700	0.4908
0.3425	2800	0.4665
0.3547	2900	0.4559
0.3669	3000	0.4762
0.3792	3100	0.4491
0.3914	3200	0.4532
0.4036	3300	0.4619
0.4159	3400	0.4427
0.4281	3500	0.4431
0.4403	3600	0.416
0.4525	3700	0.4117
0.4648	3800	0.434
0.4770	3900	0.4215
0.4892	4000	0.4547
0.5015	4100	0.4006
0.5137	4200	0.4325
0.5259	4300	0.4233
0.5382	4400	0.4182
0.5504	4500	0.4307
0.5626	4600	0.4071
0.5749	4700	0.4133
0.5871	4800	0.4034
0.5993	4900	0.4098
0.6115	5000	0.415
0.6238	5100	0.3882
0.6360	5200	0.4047
0.6482	5300	0.404
0.6605	5400	0.3768
0.6727	5500	0.3928
0.6849	5600	0.4018
0.6972	5700	0.3754
0.7094	5800	0.409
0.7216	5900	0.3909
0.7339	6000	0.3706
0.7461	6100	0.3818
0.7583	6200	0.3842
0.7705	6300	0.3782
0.7828	6400	0.3707
0.7950	6500	0.3708
0.8072	6600	0.3593
0.8195	6700	0.365
0.8317	6800	0.3743
0.8439	6900	0.3891
0.8562	7000	0.3746
0.8684	7100	0.3504
0.8806	7200	0.3879
0.8929	7300	0.3763
0.9051	7400	0.3721
0.9173	7500	0.3678
0.9295	7600	0.3799
0.9418	7700	0.3683
0.9540	7800	0.3617
0.9662	7900	0.3764
0.9785	8000	0.3474
0.9907	8100	0.3474
1.0029	8200	0.3736
1.0152	8300	0.3475
1.0274	8400	0.3667
1.0396	8500	0.3549
1.0519	8600	0.3548
1.0641	8700	0.3622
1.0763	8800	0.342
1.0886	8900	0.3635
1.1008	9000	0.348
1.1130	9100	0.3207
1.1252	9200	0.3428
1.1375	9300	0.3126
1.1497	9400	0.3193
1.1619	9500	0.331
1.1742	9600	0.3263
1.1864	9700	0.335
1.1986	9800	0.3358
1.2109	9900	0.3136
1.2231	10000	0.3022
1.2353	10100	0.3102
1.2476	10200	0.3157
1.2598	10300	0.3149
1.2720	10400	0.3039
1.2842	10500	0.3057
1.2965	10600	0.2928
1.3087	10700	0.2927
1.3209	10800	0.2943
1.3332	10900	0.3186
1.3454	11000	0.3002
1.3576	11100	0.2948
1.3699	11200	0.2931
1.3821	11300	0.2893
1.3943	11400	0.2912
1.4066	11500	0.2988
1.4188	11600	0.2792
1.4310	11700	0.2789
1.4432	11800	0.3025
1.4555	11900	0.2746
1.4677	12000	0.3024
1.4799	12100	0.2912
1.4922	12200	0.3126
1.5044	12300	0.2675
1.5166	12400	0.2918
1.5289	12500	0.2742
1.5411	12600	0.2978
1.5533	12700	0.2821
1.5656	12800	0.2793
1.5778	12900	0.2739
1.5900	13000	0.2812
1.6023	13100	0.2726
1.6145	13200	0.2905
1.6267	13300	0.2687
1.6389	13400	0.2802
1.6512	13500	0.2803
1.6634	13600	0.2708
1.6756	13700	0.282
1.6879	13800	0.297
1.7001	13900	0.2738
1.7123	14000	0.2833
1.7246	14100	0.2726
1.7368	14200	0.2605
1.7490	14300	0.2754
1.7613	14400	0.2839
1.7735	14500	0.2779
1.7857	14600	0.2615
1.7979	14700	0.2694
1.8102	14800	0.2517
1.8224	14900	0.2741
1.8346	15000	0.2727
1.8469	15100	0.2702
1.8591	15200	0.2589
1.8713	15300	0.2815
1.8836	15400	0.2728
1.8958	15500	0.2824
1.9080	15600	0.2716
1.9203	15700	0.2741
1.9325	15800	0.2825
1.9447	15900	0.2725
1.9569	16000	0.2644
1.9692	16100	0.2785
1.9814	16200	0.25
1.9936	16300	0.2717
2.0059	16400	0.277
2.0181	16500	0.2599
2.0303	16600	0.2731
2.0426	16700	0.2774
2.0548	16800	0.2697
2.0670	16900	0.2635
2.0793	17000	0.2733
2.0915	17100	0.272
2.1037	17200	0.2605
2.1159	17300	0.2459
2.1282	17400	0.2608
2.1404	17500	0.2385
2.1526	17600	0.2446
2.1649	17700	0.2541
2.1771	17800	0.2524
2.1893	17900	0.2627
2.2016	18000	0.238
2.2138	18100	0.2576
2.2260	18200	0.229
2.2383	18300	0.2347
2.2505	18400	0.2497
2.2627	18500	0.2456
2.2750	18600	0.2369
2.2872	18700	0.2441
2.2994	18800	0.2292
2.3116	18900	0.2341
2.3239	19000	0.2409
2.3361	19100	0.2563
2.3483	19200	0.2296
2.3606	19300	0.2335
2.3728	19400	0.2275
2.3850	19500	0.2343
2.3973	19600	0.2463
2.4095	19700	0.2298
2.4217	19800	0.2297
2.4340	19900	0.2196
2.4462	20000	0.2486
2.4584	20100	0.2171
2.4706	20200	0.238
2.4829	20300	0.2301
2.4951	20400	0.2409
2.5073	20500	0.2312
2.5196	20600	0.2256
2.5318	20700	0.2269
2.5440	20800	0.2333
2.5563	20900	0.2351
2.5685	21000	0.2333
2.5807	21100	0.2223
2.5930	21200	0.2341
2.6052	21300	0.2293
2.6174	21400	0.2356
2.6296	21500	0.2184
2.6419	21600	0.2264
2.6541	21700	0.2331
2.6663	21800	0.2202
2.6786	21900	0.2315
2.6908	22000	0.2427
2.7030	22100	0.2227
2.7153	22200	0.2401
2.7275	22300	0.2248
2.7397	22400	0.2204
2.7520	22500	0.2314
2.7642	22600	0.2391
2.7764	22700	0.2355
2.7886	22800	0.216
2.8009	22900	0.2356
2.8131	23000	0.2155
2.8253	23100	0.227
2.8376	23200	0.2322
2.8498	23300	0.228
2.8620	23400	0.2205
2.8743	23500	0.2422
2.8865	23600	0.2349
2.8987	23700	0.2481
2.9110	23800	0.2194
2.9232	23900	0.2422
2.9354	24000	0.2424
2.9477	24100	0.2309
2.9599	24200	0.2356
2.9721	24300	0.2378
2.9843	24400	0.2183
2.9966	24500	0.2344

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.3.1
• Transformers: 4.45.1
• PyTorch: 2.4.0
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}