anhtuansh/ModernBERT-base-test

SentenceTransformer based on answerdotai/ModernBERT-base

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: answerdotai/ModernBERT-base
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("anhtuansh/ModernBERT-base-test")
# Run inference
sentences = [
    'thống_đốc ngân_hàng nhà_nước có vai_trò gì trong việc quyết_định loại tiền_tệ được sử_dụng trong hệ_thống thanh_toán điện_tử liên ngân_hàng quốc_gia ?',
    'điều 1 . phạm_vi điều_chỉnh và đối_tượng áp_dụng \n 1 . phạm_vi điều_chỉnh : thông_tư này quy_định việc quản_lý , vận_hành và sử_dụng hệ_thống thanh_toán điện_tử liên ngân_hàng quốc_gia ( sau đây viết tắt là hệ_thống ttlnh ) để thực_hiện việc thanh_toán và quyết_toán giữa các đơn_vị tham_gia hệ_thống thanh_toán này bằng đồng việt_nam ( vnd ) , đô_la mỹ ( usd ) , đồng_tiền chung châu_âu ( eur ) và các loại ngoại_tệ khác do thống_đốc ngân_hàng nhà_nước quyết_định trong từng thời_kỳ . \n 2 . đối_tượng áp_dụng : là thành_viên , đơn_vị thành_viên , thành_viên gián_tiếp của hệ_thống ttlnh , đơn_vị vận_hành hệ_thống ttlnh , tổ_chức chủ_trì hệ_thống bù_trừ có kết_nối đến hệ_thống ttlnh , các đơn_vị liên_quan của ngân_hàng nhà_nước .',
    'điều 3 . trách_nhiệm của nhà_nước . . 1 - nhà_nước chăm_lo bảo_vệ và tăng_cường sức_khoẻ nhân_dân ; đưa công_tác bảo_vệ sức_khoẻ nhân_dân vào kế_hoạch phát_triển kinh_tế - xã_hội và ngân_sách nhà_nước ; quyết_định những chế_độ chính_sách , biện_pháp để bảo_vệ và tăng_cường sức_khoẻ nhân_dân . 2 - bộ y_tế có trách_nhiệm quản_lý , hoàn_thiện , nâng cao chất_lượng và phát_triển hệ_thống phòng_bệnh , chống dịch , khám bệnh , chữa bệnh , sản_xuất , lưu_thông thuốc và thiết_bị y_tế , kiểm_tra việc thực_hiện các quy_định về chuyên_môn nghiệp_vụ y , dược . 3 - hội_đồng nhân_dân các cấp dành tỷ_lệ ngân_sách thích_đáng cho công_tác bảo_vệ sức_khoẻ nhân_dân ở địa_phương ; thường_xuyên giám_sát , kiểm_tra việc tuân theo pháp_luật về bảo_vệ sức_khoẻ nhân_dân của uỷ_ban nhân_dân cùng cấp , của các cơ_quan , các tổ_chức xã_hội , cơ_sở sản_xuất , kinh_doanh của nhà_nước , tập_thể , tư_nhân và mọi công_dân trong địa_phương .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: public_administrative
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.8

Training Details

Training Dataset

Unnamed Dataset

• Size: 450 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 450 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 40 tokens mean: 84.83 tokens max: 167 tokens	min: 260 tokens mean: 563.37 tokens max: 904 tokens	min: 320 tokens mean: 562.85 tokens max: 853 tokens

• Samples:

  query	positive	negative
  ngân_hàng nhà_nước quy_định thế_nào về việc tạm ngừng dịch_vụ gửi lệnh thanh_toán trên hệ_thống thanh_toán điện_tử liên ngân_hàng quốc_gia do lỗi kỹ_thuật ?	khoản 3 . thống_đốc ngân_hàng nhà_nước quyết_định tạm ngừng dịch_vụ gửi lệnh thanh_toán trên hệ_thống ttlnh của thành_viên , đơn_vị thành_viên trong trường_hợp_thành_viên , đơn_vị thành_viên để xảy ra sự_cố kỹ_thuật làm gián_đoạn hệ_thống ttlnh tại đơn_vị , cụ_thể : a ) gián_đoạn quá 04 lần trong 01 tháng thì bị tạm ngừng dịch_vụ gửi lệnh thanh_toán trong vòng 05 ngày làm_việc kể từ ngày vi_phạm ; b ) gián_đoạn quá 11 lần trong 01 quý thì bị tạm ngừng dịch_vụ gửi lệnh thanh_toán trong vòng 10 ngày làm_việc kể 10 ngày vi_phạm ; c ) gián_đoạn quá 19 lần trong 01 năm thì bị tạm ngừng dịch_vụ gửi lệnh thanh_toán trong vòng 01 tháng kể từ ngày vi_phạm .	6 . cây có chứa_chất ma_túy là cây thuốc_phiện , cây côca , cây cần_sa và các loại cây khác có chứa_chất ma_túy do chính_phủ quy_định . 7 . phòng , chống ma_túy là phòng_ngừa , ngăn_chặn , đấu_tranh chống tội_phạm và tệ_nạn ma_túy ; kiểm_soát các hoạt_động hợp_pháp liên_quan đến ma_túy . 8 . tệ_nạn ma_túy là việc sử_dụng trái_phép chất ma_túy , nghiện ma_túy và các hành_vi vi_phạm_pháp_luật về ma_túy mà chưa đến mức hoặc không bị truy_cứu trách_nhiệm hình_sự . 9 . kiểm_soát các hoạt_động hợp_pháp liên_quan đến ma_túy là việc cho phép , theo_dõi , kiểm_tra , giám_sát các hoạt_động hợp_pháp liên_quan đến ma_túy và phòng_ngừa , ngăn_chặn việc lợi_dụng các hoạt_động đó vào mục_đích khác .
  pháp_luật quy_định như thế_nào về hạch_toán đối_với lệnh thanh_toán bị sai thừa ?	khoản 3 . đối_với lệnh thanh_toán bị sai thừa : a ) phát_hiện trước khi trả tiền cho khách_hàng : nếu đơn_vị nhận lệnh chưa nhận được lệnh thanh_toán bị sai thừa nhưng đã nhận được yêu_cầu hoàn_trả của đơn_vị khởi tạo lệnh về chuyển tiền thừa thì đơn_vị nhận lệnh phải ghi sổ theo_dõi lệnh thanh_toán bị sai_sót để có biện_pháp xử_lý kịp_thời . khi nhận được lệnh thanh_toán bị sai thừa , đơn_vị nhận lệnh kiểm_soát , đối_chiếu với nội_dung yêu_cầu hoàn_trả nhận được , nếu đúng thì hạch_toán theo quy_định của pháp_luật hiện_hành . - đối_với lệnh thanh_toán có bị sai thừa : khi nhận được yêu_cầu hoàn_trả đối_với số tiền thừa thì lập lệnh thanh_toán có đi hoàn_trả đơn_vị khởi tạo lệnh số tiền thừa ; - đối_với lệnh thanh_toán nợ bị sai thừa : theo_dõi và xử_lý lệnh_hủy lệnh thanh_toán nợ đối_với số tiền thừa của đơn_vị khởi tạo lệnh ;	điều 45 . tín_hiệu của phương_tiện 1 . tín_hiệu của phương_tiện dùng để thông_báo tình_trạng hoạt_động của phương_tiện , bao_gồm : a ) âm hiệu là tín_hiệu âm_thanh phát ra từ còi , chuông , kẻng hoặc từ các vật khác ; b ) đèn_hiệu là tín_hiệu ánh_sáng được sử_dụng từ lúc mặt_trời lặn đến lúc mặt_trời mọc hoặc trong trường_hợp tầm nhìn bị hạn_chế ; c ) dấu_hiệu là những vật_thể có hình_dáng , màu_sắc , kích_thước được sử_dụng trong các trường_hợp do luật này quy_định ; d ) cờ hiệu là loại cờ có hình_dáng , màu_sắc , kích_thước được sử_dụng trong các trường_hợp do luật này quy_định . 2 . bộ_trưởng bộ giao_thông vận_tải quy_định tiêu_chuẩn kỹ_thuật của âm hiệu , đèn_hiệu , dấu_hiệu và cờ hiệu .
  những thông_tin nào cần phải có trong báo_cáo sự_cố y_khoa ?	riêng đối_với sự_cố y_khoa nghiêm_trọng quy_định tại điểm b khoản 1 điều 5 phải báo_cáo trước bằng điện_thoại trong thời_hạn 01 giờ , kể từ khi phát_hiện sự_cố . 3 . báo_cáo và ghi_nhận sự_cố y_khoa tại cơ_sở khám bệnh , chữa bệnh a ) báo_cáo sự_cố y_khoa - báo_cáo tự_nguyện : người trực_tiếp gây ra sự_cố y_khoa hoặc người phát_hiện sự_cố y_khoa báo_cáo cho bộ_phận tiếp_nhận và quản_lý_sự_cố y_khoa của cơ_sở khám bệnh , chữa bệnh . nội_dung báo_cáo tối_thiểu cần có : địa_điểm , thời_điểm xảy ra và mô_tả , đánh_giá sơ_bộ về sự_cố , tình_trạng của người bị ảnh_hưởng , biện_pháp xử_lý ban_đầu theo mẫu báo_cáo sự_cố y_khoa quy_định tại phụ_lục iii ban_hành kèm theo thông_tư này . - báo_cáo bắt_buộc : người trực_tiếp gây ra sự_cố y_khoa hoặc người phát_hiện sự_cố y_khoa phải báo_cáo cho trưởng khoa , bộ_phận tiếp_nhận và quản_lý_sự_cố y_khoa . trưởng khoa chịu trách_nhiệm báo_cáo cho lãnh_đạo cơ_sở khám bệnh , chữa bệnh .	điều 14 . ban chỉ_đạo thống_kê hình_sự liên_ngành 1 . ban chỉ_đạo thống_kê hình_sự liên_ngành trung_ương gồm có : đại_diện lãnh_đạo viện kiểm_sát_nhân_dân tối_cao là trưởng ban , đại_diện lãnh_đạo toà_án nhân_dân tối_cao , đại_diện lãnh_đạo bộ công_an và đại_diện lãnh_đạo bộ quốc_phòng là thành_viên . 2 . ban chỉ_đạo thống_kê hình_sự liên_ngành cấp cao gồm có : đại_diện lãnh_đạo viện kiểm_sát_nhân_dân cấp cao là trưởng ban , đại_diện lãnh_đạo toà_án nhân_dân cấp cao là thành_viên . 3 . ban chỉ_đạo thống_kê hình_sự liên_ngành cấp tỉnh gồm có : đại_diện lãnh_đạo viện kiểm_sát_nhân_dân cấp tỉnh là trưởng ban , đại_diện lãnh_đạo toà_án nhân_dân cấp tỉnh , đại_diện lãnh_đạo công_an cấp tỉnh là thành_viên . 4 . ban chỉ_đạo thống_kê hình_sự liên_ngành cấp huyện gồm có : đại_diện lãnh_đạo viện kiểm_sát_nhân_dân cấp huyện là trưởng ban , đại_diện lãnh_đạo toà_án nhân_dân cấp huyện , đại_diện lãnh_đạo công_an cấp huyện là thành_viên .

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 50 evaluation samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 50 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 50 tokens mean: 85.42 tokens max: 160 tokens	min: 272 tokens mean: 591.1 tokens max: 819 tokens	min: 309 tokens mean: 584.06 tokens max: 853 tokens

• Samples:

  query	positive	negative
  bộ y_tế quy_định thế_nào về các dị_dạng , dị_tật bẩm_sinh ở tai đối_với người hoạt_động kháng_chiến và con_đẻ của họ ?	các dị_dạng , dị_tật bẩm_sinh ở tai 14 dị_tật thiếu tai ngoài bẩm_sinh - tật không tai ( congenital absence of ( ear ) auricle ) 15 thiếu , teo hoặc chít hẹp bẩm_sinh ống tai ngoài ( congenital absence , atresia and stricture of auditory canal ( external ) ) 16 dị_tật thừa ở vành_tai ( biến_dạng vành_tai - accessory auricle ) : - gờ bình tai phụ ( accessory tragus ) - tật_thừa tai ( polyotia ) - thịt thừa trước tai ( preauricular appendage or tag ) - thừa : tai ; dái_tai ( supernumerary : ear , lobule ) 17 dị_tật tai bé ( dị_tật tai nhỏ - microtia ) iv.	khoản 4 . sửa_đổi , bổ_sung khoản 3 điều 8 như sau : “ 3 . căn_cứ quy_định tại khoản 2 điều này , tổng_cục_trưởng tổng_cục quản_lý đất_đai xem_xét , quyết_định thu_hồi chứng_chỉ_định_giá đất theo mẫu quy_định tại phụ_lục số 06 ban_hành kèm theo thông_tư này . quyết_định thu_hồi chứng_chỉ_định_giá đất được gửi tới người bị thu_hồi , cơ_quan công_tác của người bị thu_hồi , đồng_thời đăng trên cổng thông_tin điện_tử của bộ tài_nguyên và môi_trường , cổng thông_tin điện_tử của tổng_cục quản_lý đất_đai . ”
  luật bảo_vệ sức_khỏe nhân_dân quy_định thế_nào về phát_triển y_học cổ_truyền dân_tộc và ứng_dụng tiến_bộ khoa_học kỹ_thuật của y_học thế_giới ?	điều 2 . nguyên_tắc chỉ_đạo công_tác bảo_vệ sức_khoẻ . . 1 - đẩy_mạnh tuyên_truyền , giáo_dục vệ_sinh trong nhân_dân ; tiến_hành các biện_pháp dự_phòng , cải_tạo và làm sạch môi_trường sống ; bảo_đảm tiêu_chuẩn vệ_sinh lao_động , vệ_sinh lương_thực , thực_phẩm và nước uống theo quy_định của hội_đồng_bộ trngưở . 2 - mở_rộng mạng_lưới nhà_nghỉ , nhà điều_dưỡng , cơ_sở tập_luyện thể_dục thể_thao ; kết_hợp lao_động , học_tập với nghỉ_ngơi và giải_trí ; phát_triển thể_dục thể_thao quần_chúng để duy_trì và phục_hồi khả_năng lao_động . 3 - hoàn_thiện , nâng cao chất_lượng và phát_triển mạng_lưới phòng , chống dịch , khám bệnh , chữa bệnh ; kết_hợp phát_triển hệ_thống y_tế nhà_nước với y_tế tập_thể và y_tế tư_nhân . 4 - xây_dựng nền y_học việt_nam kế_thừa và phát_triển nền y_học , dược_học cổ_truyền dân_tộc ; kết_hợp y_học , dược_học hiện_đại với y_học , dược_học cổ_truyền dân_tộc , nghiên_cứu và ứng_dụng những tiến_bộ khoa_học kỹ_thuật của y_học thế_giới vào thực_tiễn việt_nam , xây_dựng các ...	điều 25 . xử_lý kết_quả_quyết_toán ròng từ các hệ_thống khác 1 . hệ_thống ttlnh được phép tiếp_nhận và xử_lý kết_quả_quyết_toán ròng từ hệ_thống bù_trừ tự_động ( ach ) , hệ_thống bù_trừ thẻ và các hệ_thống thanh_toán bù_trừ khác . 2 . việc xử_lý kết_quả_quyết_toán ròng được thực_hiện bằng phương_thức xử_lý theo lô trên cơ_sở đủ số_dư tài_khoản thanh_toán của các thành_viên tham_gia quyết_toán . trong trường_hợp tài_khoản thanh_toán của thành_viên không đủ số_dư , xử_lý như sau : a ) thành_viên thực_hiện thấu chi trong hạn_mức được cấp theo quy_định về việc thấu chi thấu chi và cho vay qua đêm trong ttlnh của ngân_hàng nhà_nước để xử_lý kết_quả_quyết_toán ròng ; b ) khi thành_viên sử_dụng hết hạn_mức thấu chi được ngân_hàng nhà_nước cấp mà vẫn không đủ vốn quyết_toán thì kết_quả_quyết_toán ròng đó được chuyển vào hàng đợi quyết_toán . khi đủ số_dư trên tài_khoản thanh_toán thì kết_quả_quyết_toán ròng được xử_lý tiếp ;
  bộ lao_động - thương_binh và xã_hội quy_định thế_nào về trách_nhiệm của cơ_sở cung_cấp dịch_vụ công_tác xã_hội trong giáo_dục ý_thức tuân_thủ các quy_định về tiêu_chuẩn đạo_đức nghề_nghiệp ?	điều 8 . trách_nhiệm của cơ_sở cung_cấp dịch_vụ công_tác xã_hội 1 . thường_xuyên tổ_chức giáo_dục ý_thức tuân_thủ các quy_định về tiêu_chuẩn đạo_đức nghề_nghiệp đối_với người làm công_tác xã_hội thuộc phạm_vi quản_lý . 2 . phối_hợp với các cơ_sở đào_tạo , cơ_sở giáo_dục nghề_nghiệp để đào_tạo , bồi_dưỡng , nâng cao năng_lực chuyên_môn và đạo_đức nghề_nghiệp đối_với người làm công_tác xã_hội . 3 . công_bố công_khai tiêu_chuẩn đạo_đức nghề công_tác xã_hội để người làm công_tác xã_hội biết và nghiêm_túc thực_hiện . 4 . tạo điều_kiện thuận_lợi và hỗ_trợ để người làm công_tác xã_hội thực_hiện tốt các tiêu_chuẩn đạo_đức nghề_nghiệp trong quá_trình thực_hành công_tác xã_hội . 5 . tiếp_nhận , giải_quyết các khiếu_nại , tố_cáo của đối_tượng liên_quan đến việc thực_hiện đạo_đức nghề_nghiệp của người làm công_tác xã_hội theo thẩm_quyền ; xử_lý nghiêm các hành_vi vi_phạm đạo_đức nghề_nghiệp thuộc phạm_vi quản_lý theo quy_định của pháp_luật . 6 . thường_xuyên kiểm_tra , đánh_giá kết_quả...	g ) tỷ_lệ người lái_xe vi_phạm_quy_định về thời_gian lái_xe liên_tục , thời_gian làm_việc của lái_xe trong ngày trên số ngày xe hoạt_động ; h ) số lần và thời_gian không truyền dữ_liệu trong tháng của từng đơn_vị kinh_doanh vận_tải , sở giao_thông vận_tải ; i ) tổng_hợp tình_hình vi_phạm theo từng tuyến đường và theo các thời_điểm khác nhau . 2 . sở giao_thông vận_tải thực_hiện việc khai_thác , quản_lý dữ_liệu về biển số xe , trọng_tải xe ( số_lượng hành_khách hoặc khối_lượng hàng chuyên_chở cho phép tham_gia giao_thông ) , tên đơn_vị kinh_doanh vận_tải và các dữ_liệu vi_phạm về hành_trình , tốc_độ xe chạy , thời_gian lái_xe liên_tục , thời_gian làm_việc của lái_xe trong ngày của từng đơn_vị kinh_doanh vận_tải thuộc sở trực_tiếp_quản_lý thông_qua tài_khoản đăng_nhập và mật_khẩu được cung_cấp để truy_cập vào hệ_thống thông_tin của tổng_cục đường_bộ việt_nam . 3 . bến_xe_khách , bến_xe hàng được cung_cấp tài_khoản đăng_nhập vào cơ_sở dữ_liệu của tổng_cục đường_bộ việt_nam để phục...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 2
• per_device_eval_batch_size: 2
• learning_rate: 8e-05
• num_train_epochs: 1
• warmup_ratio: 0.05
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 2
• per_device_eval_batch_size: 2
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 8e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	public_administrative_cosine_accuracy
0	0	0.56
1.0	225	0.8

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.49.0.dev0
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}