Add new SentenceTransformer model

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,575 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:450
+- loss:CachedMultipleNegativesRankingLoss
+base_model: answerdotai/ModernBERT-base
+widget:
+- source_sentence: bộ tư_pháp quy_định như thế_nào về trách_nhiệm của các cơ_quan
+    trong việc quản_lý công_chức , viên_chức , người lao_động ?
+  sentences:
+  - "trường_hợp khách_hàng vay mua ngoại_tệ tại tổ_chức tín_dụng , chi_nhánh ngân_hàng\
+    \ nước_ngoài khác , tổ_chức tín_dụng , chi_nhánh ngân_hàng nước_ngoài bán ngoại_tệ\
+    \ phải chuyển số ngoại_tệ đó cho tổ_chức tín_dụng , chi_nhánh ngân_hàng nước_ngoài\
+    \ cho vay . khách_hàng vay phải bán ngoại_tệ cho tổ_chức tín_dụng , chi_nhánh\
+    \ ngân_hàng nước_ngoài đã bán ngoại_tệ trong trường_hợp nhận được ngoại_tệ từ\
+    \ hoạt_động_sản_xuất , kinh_doanh . \n c ) cho vay trung_hạn và dài_hạn để thanh_toán\
+    \ ra nước_ngoài tiền nhập_khẩu hàng_hóa , dịch_vụ khi khách_hàng vay có đủ ngoại_tệ\
+    \ từ nguồn thu sản_xuất , kinh_doanh để trả nợ vay . quy_định này thực_hiện đến\
+    \ hết ngày 30 tháng 09 năm 2019 ; \n d ) cho vay ngắn_hạn đối_với doanh_nghiệp\
+    \ đầu_mối nhập_khẩu xăng dầu được bộ công_thương giao hạn_mức nhập_khẩu xăng dầu\
+    \ hàng năm để thanh_toán ra nước_ngoài tiền nhập_khẩu xăng dầu khi doanh_nghiệp\
+    \ đầu_mối nhập_khẩu xăng dầu không có hoặc không có đủ nguồn thu ngoại_tệ từ hoạt_động_sản_xuất\
+    \ , kinh_doanh để trả nợ vay ;"
+  - "b ) gửi báo_cáo bộ_trưởng bộ tư_pháp , thứ_trưởng bộ tư_pháp phụ_trách các văn_bản\
+    \ , quyết_định về công_tác cán_bộ ngay sau khi quyết_định theo thẩm_quyền được\
+    \ phân_cấp để quản_lý , theo_dõi ; gửi vụ_trưởng vụ tổ_chức cán_bộ để theo_dõi\
+    \ , lưu hồ_sơ công_chức theo quy_định ; \n c ) tổ_chức thực_hiện có hiệu_quả về\
+    \ phòng , chống tham_nhũng trong việc quản_lý công_chức , viên_chức , người lao_động\
+    \ thuộc tổng_cục thi_hành án dân_sự và các cơ_quan thi_hành án dân_sự . \n 5 .\
+    \ tổ_chức phổ_biến , quán_triệt , bồi_dưỡng , tập_huấn , hướng_dẫn nghiệp_vụ và\
+    \ các văn_bản , quy_định của đảng , nhà_nước và của bộ tư_pháp về công_tác tổ_chức\
+    \ cán_bộ đối_với tổng_cục thi_hành án dân_sự và các cơ_quan thi_hành án dân_sự\
+    \ . \n 6 . phối_hợp với cục thi_hành án bộ quốc_phòng trong việc hoàn_tất thủ_tục\
+    \ trình bộ_trưởng bộ tư_pháp xem_xét bổ_nhiệm , miễn_nhiệm , cách_chức các ngạch\
+    \ chấp_hành viên ; bổ_nhiệm , nâng ngạch , chuyển ngạch các ngạch thẩm_tra viên\
+    \ thi_hành án trong quân_đội theo quy_định của pháp_luật ."
+  - "khoản 1 . khi cấp bằng tốt_nghiệp cho người học , các trường phải lập sổ cấp\
+    \ bằng tốt_nghiệp theo mẫu quy_định , trong đó ghi rõ số_hiệu , số vào sổ cấp\
+    \ bằng tốt_nghiệp . việc lập số_hiệu , số vào sổ cấp bằng tốt_nghiệp được thực_hiện\
+    \ theo quy_định như sau : \n a ) số_hiệu ghi trên phôi bằng tốt_nghiệp được lập\
+    \ liên_tục theo thứ tự số tự_nhiên từ nhỏ đến lớn trong toàn_bộ quá_trình hoạt_động\
+    \ của trường từ khi thực_hiện việc tự in phôi bằng tốt_nghiệp đảm_bảo phân_biệt\
+    \ được số_hiệu của từng loại bằng tốt_nghiệp ; \n b ) số vào sổ cấp bằng tốt_nghiệp\
+    \ được lập liên_tục theo thứ tự số tự_nhiên từ nhỏ đến lớn theo từng năm từ ngày\
+    \ 01 / 01 đến hết ngày 31 / 12 ; đảm_bảo phân_biệt được số vào sổ cấp của từng\
+    \ loại bằng tốt_nghiệp , năm cấp và trường cấp bằng tốt_nghiệp ."
+- source_sentence: bộ thông_tin và truyền_thông quy_định cục viễn_thông phải làm gì
+    để cập_nhật và đăng_tải hợp_đồng theo mẫu của doanh_nghiệp ?
+  sentences:
+  - "4 . đối_với dịch_vụ viễn_thông được quy_định tại điều 3 thông_tư này , cục viễn_thông\
+    \ có trách_nhiệm liên_hệ với cục quản_lý cạnh_tranh - bộ công_thương để cập_nhật\
+    \ và đăng_tải hợp_đồng theo mẫu , điều_kiện giao_dịch chung của các doanh_nghiệp\
+    \ đã đăng_ký và được chấp_thuận theo quy_định tại điều 6 thông_tư này tại cổng\
+    \ thông_tin điện_tử của cục viễn_thông - bộ thông_tin và truyền_thông . \n 5 .\
+    \ đối_với dịch_vụ viễn_thông được quy_định tại điều 4 thông_tư này , cục viễn_thông\
+    \ có trách_nhiệm kiểm_tra , rà_soát các nội_dung tại dự_thảo hợp_đồng theo mẫu\
+    \ , điều_kiện giao_dịch chung . \n a ) trường_hợp dự_thảo hợp_đồng theo mẫu ,\
+    \ điều_kiện giao_dịch chung của doanh_nghiệp đáp_ứng các quy_định tại thông_tư\
+    \ này , cục viễn_thông có trách_nhiệm đăng_tải hợp_đồng theo mẫu , điều_kiện giao_dịch\
+    \ chung về cung_cấp và sử_dụng dịch_vụ viễn_thông của doanh_nghiệp tại cổng thông_tin\
+    \ điện_tử của cục viễn_thông - bộ thông_tin và truyền_thông ."
+  - "điều 21 . thể_lệ quay số mở thưởng \n 1 . công_ty xổ_số điện_toán xây_dựng và\
+    \ công_bố công_khai thể_lệ quay số mở thưởng để người tham_gia dự thưởng biết\
+    \ và theo_dõi , giám_sát . thể_lệ quay số mở thưởng phải có các nội_dung chính\
+    \ sau : \n a ) ngày , giờ và địa_điểm quay số mở thưởng ; \n b ) sản_phẩm xổ_số\
+    \ tự chọn số điện_toán quay số mở thưởng ; \n c ) hình_thức quay số mở thưởng\
+    \ ; \n d ) các giải_thưởng và thứ tự quay số mở thưởng của từng giải_thưởng ;\
+    \ \n đ ) quy_trình quay số mở thưởng ; \n e ) tiêu_chuẩn kỹ_thuật , chủng_loại\
+    \ , nguyên_tắc vận_hành của các thiết_bị quay số tương_ứng với từng hình_thức\
+    \ quay số mở thưởng ; \n g ) danh_sách cá_nhân , đơn_vị giám_sát việc quay số\
+    \ mở thưởng . \n 2 . thể_lệ quay số mở thưởng được xây_dựng cho từng sản_phẩm\
+    \ xổ_số tự chọn số điện_toán được phép phát_hành ."
+  - 'khoản 4 . cục quân_y / bqp định_kỳ tổ_chức tập_huấn toàn quân : cập_nhật , phổ_biến
+    hệ_thống chính_sách , pháp_luật , văn_bản quy_phạm_pháp_luật của bộ quốc_phòng
+    liên_quan đến công_tác y_tế lao_động . nội_dung nghiệp_vụ công_tác và kiến_thức
+    cơ_bản về y_tế lao_động . huấn_luyện cập_nhật kiến_thức về quan_trắc và đánh_giá
+    môi_trường lao_động ; kiến_thức , kỹ_năng , phương_pháp xây_dựng kế_hoạch , phương_án
+    , trang_bị phương_tiện và điều_kiện để thực_hiện công_tác vệ_sinh lao_động . phương_pháp
+    truyền_thông giáo_dục về vệ_sinh lao_động , phòng_chống bệnh nghề_nghiệp . môi_trường
+    làm_việc , các bệnh nghề_nghiệp thường gặp và biện_pháp phòng_chống ; tổ_chức
+    khám phát_hiện , giám_định bệnh nghề_nghiệp ; kỹ_năng sơ_cứu , cấp_cứu , phòng_chống
+    dịch_bệnh ; quản_lý thông_tin về vệ_sinh lao_động , bệnh nghề_nghiệp tại nơi làm_việc
+    ; quản_lý hồ_sơ sức_khỏe người lao_động , hồ_sơ sức_khỏe của người bị bệnh nghề_nghiệp
+    .'
+- source_sentence: cục thi_hành án dân_sự có quyền_hạn gì trong việc quản_lý công_chức
+    , viên_chức thuộc chi_cục thi_hành án dân_sự trực_thuộc ?
+  sentences:
+  - "6 . quyết_định cử công_chức từ trưởng_phòng và tương_đương trở xuống thuộc cục\
+    \ thi_hành án dân_sự và công_chức thuộc chi_cục thi_hành án dân_sự trực_thuộc\
+    \ đi đào_tạo , bồi_dưỡng ở trong nước . \n 7 . nâng bậc lương thường_xuyên , cho\
+    \ hưởng phụ_cấp thâm_niên vượt khung , phụ_cấp thâm_niên nghề đối_với phó_cục_trưởng\
+    \ cục thi_hành án dân_sự . \n 8 . nâng bậc lương thường_xuyên , nâng bậc lương\
+    \ trước thời_hạn , cho hưởng phụ_cấp thâm_niên vượt khung , phụ_cấp thâm_niên\
+    \ nghề , cho thôi_việc , nghỉ_phép , nghỉ công_tác không hưởng lương , nghỉ công_tác\
+    \ hưởng chế_độ hưu_trí , tạm đình_chỉ công_tác , tạm đình_chỉ chức_vụ , kỷ_luật\
+    \ ( trừ hình_thức giáng chức , cách_chức ) đối_với chi_cục_trưởng chi_cục thi_hành\
+    \ án dân_sự trực_thuộc . \n 9 . quyết_định cho công_chức , người lao_động từ trưởng_phòng\
+    \ và tương_đương trở xuống thuộc cục thi_hành án dân_sự và công_chức thuộc chi_cục\
+    \ thi_hành án dân_sự trực_thuộc đi nước_ngoài về việc riêng theo quy_định của\
+    \ pháp_luật ."
+  - "điều 7 . trách_nhiệm của tổng_cục_trưởng tổng_cục thi_hành án dân_sự \n 1 . giúp\
+    \ bộ_trưởng bộ tư_pháp thống_nhất quản_lý công_chức , viên_chức , người lao_động\
+    \ thuộc tổng_cục thi_hành án dân_sự và các cơ_quan thi_hành án dân_sự ; chịu trách_nhiệm\
+    \ trước bộ_trưởng bộ tư_pháp và trước pháp_luật đối_với việc thực_hiện các nhiệm_vụ\
+    \ , quyền_hạn được phân_cấp . giúp bộ_trưởng bộ tư_pháp phối_hợp hoặc phối_hợp\
+    \ với cơ_quan có thẩm_quyền quản_lý cán_bộ , công_chức ở địa_phương trong công_tác\
+    \ quy_hoạch , đào_tạo , bồi_dưỡng , luân_chuyển , bố_trí , điều_động , bổ_nhiệm\
+    \ , khen_thưởng , kỷ_luật và các chính_sách khác đối_với công_chức các cơ_quan\
+    \ thi_hành án dân_sự . \n 2 . chủ_trì phối_hợp với vụ_trưởng vụ tổ_chức cán_bộ\
+    \ bộ tư_pháp : \n a ) xây_dựng kế_hoạch biên_chế của tổng_cục thi_hành án dân_sự\
+    \ và các cơ_quan thi_hành án dân_sự trình bộ_trưởng xem_xét , báo_cáo bộ nội_vụ\
+    \ theo quy_định của pháp_luật ; \n b ) tham_mưu , trình bộ_trưởng xem_xét , quyết_định\
+    \ các nội_dung quản_lý công_chức , viên_chức thuộc thẩm_quyền của bộ_trưởng bộ\
+    \ tư_pháp trừ các nội_dung quản_lý đối_với chức_danh tổng_cục_trưởng tổng_cục\
+    \ thi_hành án dân_sự ;"
+  - "điều 10 . trách_nhiệm tổ_chức thực_hiện \n 1 . các bộ , cơ_quan ngang bộ , ủy_ban\
+    \ nhân_dân các tỉnh , thành_phố trực_thuộc trung_ương và các tổ_chức , cá_nhân\
+    \ có liên_quan chịu trách_nhiệm thi_hành thông_tư này . \n 2 . tổng_cục quản_lý\
+    \ đất_đai chịu trách_nhiệm kiểm_tra , đôn_đốc thực_hiện thông_tư này . \n 3 .\
+    \ sở tài_nguyên và môi_trường có trách_nhiệm giúp ủy_ban nhân_dân các tỉnh , thành_phố\
+    \ trực_thuộc trung_ương tổ_chức thực_hiện thông_tư này ở địa_phương . \n 4 . trong\
+    \ quá_trình thực_hiện , nếu có khó_khăn , vướng_mắc thì các cơ_quan , tổ_chức\
+    \ , cá_nhân phản_ánh kịp_thời về bộ tài_nguyên và môi_trường để xem_xét , giải_quyết\
+    \ ."
+- source_sentence: cục đăng_kiểm việt_nam có trách_nhiệm gì trong việc cấp giấy chứng_nhận
+    lao_động hàng_hải tạm_thời cho tàu_biển ?
+  sentences:
+  - "e ) chi mua tài_liệu , sách_báo . \n g ) chi_trả tiền điện , tiền nước , vệ_sinh\
+    \ văn_phòng . \n h ) chi_hội_nghị , lễ_tân , khánh_tiết , giao_dịch đối_ngoại\
+    \ . \n i ) chi_thuê tư_vấn , chi thuê chuyên_gia trong và ngoài nước . \n k )\
+    \ chi kiểm_toán . \n l ) chi khác : - chi bảo_vệ cơ_quan , chi phòng cháy chữa_cháy\
+    \ , chi an_ninh , quốc_phòng ; - chi công_tác bảo_vệ môi_trường : nếu số chi trong\
+    \ năm lớn và có hiệu_quả trong nhiều năm thì được phân_bổ cho các năm sau theo\
+    \ nguyên_tắc thời_gian phân_bổ không vượt quá số năm thu_nhận được hiệu_quả từ\
+    \ khoản chi công_tác bảo_vệ môi_trường và việc phân_bổ không dẫn đến kết_quả hoạt_động\
+    \ tài_chính của năm được phân_bổ bị lỗ ; - chi khác theo quy_định của pháp_luật\
+    \ . \n 9 . chi cho tài_sản : \n a ) chi khấu_hao_tài_sản cố_định sử_dụng cho hoạt_động_kinh_doanh\
+    \ thực_hiện theo chế_độ quản_lý , sử_dụng và trích khấu_hao_tài_sản cố_định đối_với\
+    \ doanh_nghiệp . \n b ) chi bảo_dưỡng , sửa_chữa tài_sản cố_định ."
+  - "điều 10 . điều_khoản thi_hành \n 1 . thông_tư này có hiệu_lực thi_hành kể từ\
+    \ ngày 01 tháng 9 năm 2019 . \n 2 . chánh văn_phòng , giám_đốc trung_tâm chứng_thực\
+    \ điện_tử quốc_gia , thủ_trưởng tổ_chức cung_cấp dịch_vụ chứng_thực chữ_ký số\
+    \ chuyên_dùng chính_phủ , thủ_trưởng các cơ_quan , đơn_vị thuộc bộ , các tổ_chức\
+    \ và cá_nhân có liên_quan chịu trách_nhiệm thi_hành thông_tư này . \n 3 . trong\
+    \ quá_trình thực_hiện , nếu có khó_khăn , vướng_mắc , các cơ_quan , tổ_chức và\
+    \ cá_nhân phản_ánh kịp_thời về bộ thông_tin và truyền_thông để xem_xét , giải_quyết\
+    \ ."
+  - "d ) nếu kết_quả kiểm_tra trên tàu_biển đáp_ứng các quy_định của công_ước mlc\
+    \ 2006 thì trong thời_hạn 01 ( một ) ngày làm_việc , kể từ khi hoàn_thành việc\
+    \ kiểm_tra , cục đăng_kiểm việt_nam cấp giấy chứng_nhận lao_động hàng_hải tạm_thời\
+    \ theo mẫu quy_định tại phụ_lục vii của thông_tư này và gửi chủ tàu ; \n đ ) nếu\
+    \ kết_quả kiểm_tra trên tàu không đáp_ứng các quy_định của công_ước mlc 2006 thì\
+    \ trong thời_hạn 01 ( một ) ngày làm_việc , kể từ khi hoàn_thành việc kiểm_tra\
+    \ , cục đăng_kiểm việt_nam phải trả_lời chủ tàu bằng văn_bản nêu rõ lý_do không\
+    \ cấp giấy chứng_nhận lao_động hàng_hải tạm_thời ."
+- source_sentence: thống_đốc ngân_hàng nhà_nước có vai_trò gì trong việc quyết_định
+    loại tiền_tệ được sử_dụng trong hệ_thống thanh_toán điện_tử liên ngân_hàng quốc_gia
+    ?
+  sentences:
+  - "điều 6 . thể_lệ tham_gia dự thưởng \n 1 . công_ty xổ_số điện_toán có trách_nhiệm\
+    \ xây_dựng thể_lệ tham_gia dự thưởng đối_với từng sản_phẩm xổ_số tự chọn số điện_toán\
+    \ . thể_lệ tham_gia dự thưởng phải có các nội_dung chủ_yếu sau : \n a ) tên sản_phẩm\
+    \ ; \n b ) tên công_ty phát_hành ; \n c ) đối_tượng tham_gia dự thưởng và điều_kiện\
+    \ được tham_gia dự thưởng ; \n d ) phương_thức tham_gia dự thưởng ; \n đ ) giá_trị\
+    \ cho một ( 01 ) lần tham_gia dự thưởng ; \n e ) phương_thức xác_định kết_quả\
+    \ trúng thưởng ; \n g ) số_lượng giải_thưởng , cơ_cấu giải_thưởng ; \n h ) phương_thức\
+    \ phân_phối sản_phẩm ; \n i ) lịch quay số mở thưởng ; \n k ) điều_kiện lĩnh thưởng\
+    \ đối_với các vé xổ_số tự chọn số điện_toán trúng thưởng ; \n l ) trách_nhiệm\
+    \ , quyền_lợi của người tham_gia dự thưởng ; \n m ) trách_nhiệm , quyền_hạn của\
+    \ công_ty xổ_số điện_toán ; \n n ) những khuyến_cáo đối_với người tham_gia dự\
+    \ thưởng để kiểm_soát mức_độ tham_gia dự thưởng ."
+  - điều 3 . trách_nhiệm của nhà_nước . . 1 - nhà_nước chăm_lo bảo_vệ và tăng_cường
+    sức_khoẻ nhân_dân ; đưa công_tác bảo_vệ sức_khoẻ nhân_dân vào kế_hoạch phát_triển
+    kinh_tế - xã_hội và ngân_sách nhà_nước ; quyết_định những chế_độ chính_sách ,
+    biện_pháp để bảo_vệ và tăng_cường sức_khoẻ nhân_dân . 2 - bộ y_tế có trách_nhiệm
+    quản_lý , hoàn_thiện , nâng cao chất_lượng và phát_triển hệ_thống phòng_bệnh ,
+    chống dịch , khám bệnh , chữa bệnh , sản_xuất , lưu_thông thuốc và thiết_bị y_tế
+    , kiểm_tra việc thực_hiện các quy_định về chuyên_môn nghiệp_vụ y , dược . 3 -
+    hội_đồng nhân_dân các cấp dành tỷ_lệ ngân_sách thích_đáng cho công_tác bảo_vệ
+    sức_khoẻ nhân_dân ở địa_phương ; thường_xuyên giám_sát , kiểm_tra việc tuân theo
+    pháp_luật về bảo_vệ sức_khoẻ nhân_dân của uỷ_ban nhân_dân cùng cấp , của các cơ_quan
+    , các tổ_chức xã_hội , cơ_sở sản_xuất , kinh_doanh của nhà_nước , tập_thể , tư_nhân
+    và mọi công_dân trong địa_phương .
+  - "điều 1 . phạm_vi điều_chỉnh và đối_tượng áp_dụng \n 1 . phạm_vi điều_chỉnh :\
+    \ thông_tư này quy_định việc quản_lý , vận_hành và sử_dụng hệ_thống thanh_toán\
+    \ điện_tử liên ngân_hàng quốc_gia ( sau đây viết tắt là hệ_thống ttlnh ) để thực_hiện\
+    \ việc thanh_toán và quyết_toán giữa các đơn_vị tham_gia hệ_thống thanh_toán này\
+    \ bằng đồng việt_nam ( vnd ) , đô_la mỹ ( usd ) , đồng_tiền chung châu_âu ( eur\
+    \ ) và các loại ngoại_tệ khác do thống_đốc ngân_hàng nhà_nước quyết_định trong\
+    \ từng thời_kỳ . \n 2 . đối_tượng áp_dụng : là thành_viên , đơn_vị thành_viên\
+    \ , thành_viên gián_tiếp của hệ_thống ttlnh , đơn_vị vận_hành hệ_thống ttlnh ,\
+    \ tổ_chức chủ_trì hệ_thống bù_trừ có kết_nối đến hệ_thống ttlnh , các đơn_vị liên_quan\
+    \ của ngân_hàng nhà_nước ."
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy
+model-index:
+- name: SentenceTransformer based on answerdotai/ModernBERT-base
+  results:
+  - task:
+      type: triplet
+      name: Triplet
+    dataset:
+      name: public administrative
+      type: public_administrative
+    metrics:
+    - type: cosine_accuracy
+      value: 0.8
+      name: Cosine Accuracy
+---
+
+# SentenceTransformer based on answerdotai/ModernBERT-base
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [answerdotai/ModernBERT-base](https://huggingface.co/answerdotai/ModernBERT-base). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [answerdotai/ModernBERT-base](https://huggingface.co/answerdotai/ModernBERT-base) <!-- at revision 8949b909ec900327062f0ebf497f51aef5e6f0c8 -->
+- **Maximum Sequence Length:** 8192 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("anhtuansh/ModernBERT-base-test")
+# Run inference
+sentences = [
+    'thống_đốc ngân_hàng nhà_nước có vai_trò gì trong việc quyết_định loại tiền_tệ được sử_dụng trong hệ_thống thanh_toán điện_tử liên ngân_hàng quốc_gia ?',
+    'điều 1 . phạm_vi điều_chỉnh và đối_tượng áp_dụng \n 1 . phạm_vi điều_chỉnh : thông_tư này quy_định việc quản_lý , vận_hành và sử_dụng hệ_thống thanh_toán điện_tử liên ngân_hàng quốc_gia ( sau đây viết tắt là hệ_thống ttlnh ) để thực_hiện việc thanh_toán và quyết_toán giữa các đơn_vị tham_gia hệ_thống thanh_toán này bằng đồng việt_nam ( vnd ) , đô_la mỹ ( usd ) , đồng_tiền chung châu_âu ( eur ) và các loại ngoại_tệ khác do thống_đốc ngân_hàng nhà_nước quyết_định trong từng thời_kỳ . \n 2 . đối_tượng áp_dụng : là thành_viên , đơn_vị thành_viên , thành_viên gián_tiếp của hệ_thống ttlnh , đơn_vị vận_hành hệ_thống ttlnh , tổ_chức chủ_trì hệ_thống bù_trừ có kết_nối đến hệ_thống ttlnh , các đơn_vị liên_quan của ngân_hàng nhà_nước .',
+    'điều 3 . trách_nhiệm của nhà_nước . . 1 - nhà_nước chăm_lo bảo_vệ và tăng_cường sức_khoẻ nhân_dân ; đưa công_tác bảo_vệ sức_khoẻ nhân_dân vào kế_hoạch phát_triển kinh_tế - xã_hội và ngân_sách nhà_nước ; quyết_định những chế_độ chính_sách , biện_pháp để bảo_vệ và tăng_cường sức_khoẻ nhân_dân . 2 - bộ y_tế có trách_nhiệm quản_lý , hoàn_thiện , nâng cao chất_lượng và phát_triển hệ_thống phòng_bệnh , chống dịch , khám bệnh , chữa bệnh , sản_xuất , lưu_thông thuốc và thiết_bị y_tế , kiểm_tra việc thực_hiện các quy_định về chuyên_môn nghiệp_vụ y , dược . 3 - hội_đồng nhân_dân các cấp dành tỷ_lệ ngân_sách thích_đáng cho công_tác bảo_vệ sức_khoẻ nhân_dân ở địa_phương ; thường_xuyên giám_sát , kiểm_tra việc tuân theo pháp_luật về bảo_vệ sức_khoẻ nhân_dân của uỷ_ban nhân_dân cùng cấp , của các cơ_quan , các tổ_chức xã_hội , cơ_sở sản_xuất , kinh_doanh của nhà_nước , tập_thể , tư_nhân và mọi công_dân trong địa_phương .',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Triplet
+
+* Dataset: `public_administrative`
+* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
+
+| Metric              | Value   |
+|:--------------------|:--------|
+| **cosine_accuracy** | **0.8** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+
+* Size: 450 training samples
+* Columns: <code>query</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 450 samples:
+  |         | query                                                                               | positive                                                                              | negative                                                                              |
+  |:--------|:------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                                | string                                                                                |
+  | details | <ul><li>min: 40 tokens</li><li>mean: 84.83 tokens</li><li>max: 167 tokens</li></ul> | <ul><li>min: 260 tokens</li><li>mean: 563.37 tokens</li><li>max: 904 tokens</li></ul> | <ul><li>min: 320 tokens</li><li>mean: 562.85 tokens</li><li>max: 853 tokens</li></ul> |
+* Samples:
+  | query                                                                                                                                                                     | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
+  |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>ngân_hàng nhà_nước quy_định thế_nào về việc tạm ngừng dịch_vụ gửi lệnh thanh_toán trên hệ_thống thanh_toán điện_tử liên ngân_hàng quốc_gia do lỗi kỹ_thuật ?</code> | <code>khoản 3 . thống_đốc ngân_hàng nhà_nước quyết_định tạm ngừng dịch_vụ gửi lệnh thanh_toán trên hệ_thống ttlnh của thành_viên , đơn_vị thành_viên trong trường_hợp_thành_viên , đơn_vị thành_viên để xảy ra sự_cố kỹ_thuật làm gián_đoạn hệ_thống ttlnh tại đơn_vị , cụ_thể : <br> a ) gián_đoạn quá 04 lần trong 01 tháng thì bị tạm ngừng dịch_vụ gửi lệnh thanh_toán trong vòng 05 ngày làm_việc kể từ ngày vi_phạm ; <br> b ) gián_đoạn quá 11 lần trong 01 quý thì bị tạm ngừng dịch_vụ gửi lệnh thanh_toán trong vòng 10 ngày làm_việc kể 10 ngày vi_phạm ; <br> c ) gián_đoạn quá 19 lần trong 01 năm thì bị tạm ngừng dịch_vụ gửi lệnh thanh_toán trong vòng 01 tháng kể từ ngày vi_phạm .</code>                                                                                                                                                                                                                                                                              | <code>6 . cây có chứa_chất ma_túy là cây thuốc_phiện , cây côca , cây cần_sa và các loại cây khác có chứa_chất ma_túy do chính_phủ quy_định . <br> 7 . phòng , chống ma_túy là phòng_ngừa , ngăn_chặn , đấu_tranh chống tội_phạm và tệ_nạn ma_túy ; kiểm_soát các hoạt_động hợp_pháp liên_quan đến ma_túy . <br> 8 . tệ_nạn ma_túy là việc sử_dụng trái_phép chất ma_túy , nghiện ma_túy và các hành_vi vi_phạm_pháp_luật về ma_túy mà chưa đến mức hoặc không bị truy_cứu trách_nhiệm hình_sự . <br> 9 . kiểm_soát các hoạt_động hợp_pháp liên_quan đến ma_túy là việc cho phép , theo_dõi , kiểm_tra , giám_sát các hoạt_động hợp_pháp liên_quan đến ma_túy và phòng_ngừa , ngăn_chặn việc lợi_dụng các hoạt_động đó vào mục_đích khác .</code>                                                                                                                                                                                                                                                           |
+  | <code>pháp_luật quy_định như thế_nào về hạch_toán đối_với lệnh thanh_toán bị sai thừa ?</code>                                                                            | <code>khoản 3 . đối_với lệnh thanh_toán bị sai thừa : <br> a ) phát_hiện trước khi trả tiền cho khách_hàng : nếu đơn_vị nhận lệnh chưa nhận được lệnh thanh_toán bị sai thừa nhưng đã nhận được yêu_cầu hoàn_trả của đơn_vị khởi tạo lệnh về chuyển tiền thừa thì đơn_vị nhận lệnh phải ghi sổ theo_dõi lệnh thanh_toán bị sai_sót để có biện_pháp xử_lý kịp_thời . khi nhận được lệnh thanh_toán bị sai thừa , đơn_vị nhận lệnh kiểm_soát , đối_chiếu với nội_dung yêu_cầu hoàn_trả nhận được , nếu đúng thì hạch_toán theo quy_định của pháp_luật hiện_hành . - đối_với lệnh thanh_toán có bị sai thừa : khi nhận được yêu_cầu hoàn_trả đối_với số tiền thừa thì lập lệnh thanh_toán có đi hoàn_trả đơn_vị khởi tạo lệnh số tiền thừa ; - đối_với lệnh thanh_toán nợ bị sai thừa : theo_dõi và xử_lý lệnh_hủy lệnh thanh_toán nợ đối_với số tiền thừa của đơn_vị khởi tạo lệnh ;</code>                                                                                                 | <code>điều 45 . tín_hiệu của phương_tiện <br> 1 . tín_hiệu của phương_tiện dùng để thông_báo tình_trạng hoạt_động của phương_tiện , bao_gồm : <br> a ) âm hiệu là tín_hiệu âm_thanh phát ra từ còi , chuông , kẻng hoặc từ các vật khác ; <br> b ) đèn_hiệu là tín_hiệu ánh_sáng được sử_dụng từ l��c mặt_trời lặn đến lúc mặt_trời mọc hoặc trong trường_hợp tầm nhìn bị hạn_chế ; <br> c ) dấu_hiệu là những vật_thể có hình_dáng , màu_sắc , kích_thước được sử_dụng trong các trường_hợp do luật này quy_định ; <br> d ) cờ hiệu là loại cờ có hình_dáng , màu_sắc , kích_thước được sử_dụng trong các trường_hợp do luật này quy_định . <br> 2 . bộ_trưởng bộ giao_thông vận_tải quy_định tiêu_chuẩn kỹ_thuật của âm hiệu , đèn_hiệu , dấu_hiệu và cờ hiệu .</code>                                                                                                                                                                                                                                     |
+  | <code>những thông_tin nào cần phải có trong báo_cáo sự_cố y_khoa ?</code>                                                                                                 | <code>riêng đối_với sự_cố y_khoa nghiêm_trọng quy_định tại điểm b khoản 1 điều 5 phải báo_cáo trước bằng điện_thoại trong thời_hạn 01 giờ , kể từ khi phát_hiện sự_cố . <br> 3 . báo_cáo và ghi_nhận sự_cố y_khoa tại cơ_sở khám bệnh , chữa bệnh <br> a ) báo_cáo sự_cố y_khoa - báo_cáo tự_nguyện : người trực_tiếp gây ra sự_cố y_khoa hoặc người phát_hiện sự_cố y_khoa báo_cáo cho bộ_phận tiếp_nhận và quản_lý_sự_cố y_khoa của cơ_sở khám bệnh , chữa bệnh . nội_dung báo_cáo tối_thiểu cần có : địa_điểm , thời_điểm xảy ra và mô_tả , đánh_giá sơ_bộ về sự_cố , tình_trạng của người bị ảnh_hưởng , biện_pháp xử_lý ban_đầu theo mẫu báo_cáo sự_cố y_khoa quy_định tại phụ_lục iii ban_hành kèm theo thông_tư này . - báo_cáo bắt_buộc : người trực_tiếp gây ra sự_cố y_khoa hoặc người phát_hiện sự_cố y_khoa phải báo_cáo cho trưởng khoa , bộ_phận tiếp_nhận và quản_lý_sự_cố y_khoa . trưởng khoa chịu trách_nhiệm báo_cáo cho lãnh_đạo cơ_sở khám bệnh , chữa bệnh .</code> | <code>điều 14 . ban chỉ_đạo thống_kê hình_sự liên_ngành <br> 1 . ban chỉ_đạo thống_kê hình_sự liên_ngành trung_ương gồm có : đại_diện lãnh_đạo viện kiểm_sát_nhân_dân tối_cao là trưởng ban , đại_diện lãnh_đạo toà_án nhân_dân tối_cao , đại_diện lãnh_đạo bộ công_an và đại_diện lãnh_đạo bộ quốc_phòng là thành_viên . <br> 2 . ban chỉ_đạo thống_kê hình_sự liên_ngành cấp cao gồm có : đại_diện lãnh_đạo viện kiểm_sát_nhân_dân cấp cao là trưởng ban , đại_diện lãnh_đạo toà_án nhân_dân cấp cao là thành_viên . <br> 3 . ban chỉ_đạo thống_kê hình_sự liên_ngành cấp tỉnh gồm có : đại_diện lãnh_đạo viện kiểm_sát_nhân_dân cấp tỉnh là trưởng ban , đại_diện lãnh_đạo toà_án nhân_dân cấp tỉnh , đại_diện lãnh_đạo công_an cấp tỉnh là thành_viên . <br> 4 . ban chỉ_đạo thống_kê hình_sự liên_ngành cấp huyện gồm có : đại_diện lãnh_đạo viện kiểm_sát_nhân_dân cấp huyện là trưởng ban , đại_diện lãnh_đạo toà_án nhân_dân cấp huyện , đại_diện lãnh_đạo công_an cấp huyện là thành_viên .</code> |
+* Loss: [<code>CachedMultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Evaluation Dataset
+
+#### Unnamed Dataset
+
+
+* Size: 50 evaluation samples
+* Columns: <code>query</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 50 samples:
+  |         | query                                                                               | positive                                                                             | negative                                                                              |
+  |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                               | string                                                                                |
+  | details | <ul><li>min: 50 tokens</li><li>mean: 85.42 tokens</li><li>max: 160 tokens</li></ul> | <ul><li>min: 272 tokens</li><li>mean: 591.1 tokens</li><li>max: 819 tokens</li></ul> | <ul><li>min: 309 tokens</li><li>mean: 584.06 tokens</li><li>max: 853 tokens</li></ul> |
+* Samples:
+  | query                                                                                                                                                                                                       | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
+  |:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>bộ y_tế quy_định thế_nào về các dị_dạng , dị_tật bẩm_sinh ở tai đối_với người hoạt_động kháng_chiến và con_đẻ của họ ?</code>                                                                         | <code>các dị_dạng , dị_tật bẩm_sinh ở tai 14 dị_tật thiếu tai ngoài bẩm_sinh - tật không tai ( congenital absence of ( ear ) auricle ) 15 thiếu , teo hoặc chít hẹp bẩm_sinh ống tai ngoài ( congenital absence , atresia and stricture of auditory canal ( external ) ) 16 dị_tật thừa ở vành_tai ( biến_dạng vành_tai - accessory auricle ) : - gờ bình tai phụ ( accessory tragus ) - tật_thừa tai ( polyotia ) - thịt thừa trước tai ( preauricular appendage or tag ) - thừa : tai ; dái_tai ( supernumerary : ear , lobule ) 17 dị_tật tai bé ( dị_tật tai nhỏ - microtia ) iv.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | <code>khoản 4 . sửa_đổi , bổ_sung khoản 3 điều 8 như sau : “ 3 . căn_cứ quy_định tại khoản 2 điều này , tổng_cục_trưởng tổng_cục quản_lý đất_đai xem_xét , quyết_định thu_hồi chứng_chỉ_định_giá đất theo mẫu quy_định tại phụ_lục số 06 ban_hành kèm theo thông_tư này . quyết_định thu_hồi chứng_chỉ_định_giá đất được gửi tới người bị thu_hồi , cơ_quan công_tác của người bị thu_hồi , đồng_thời đăng trên cổng thông_tin điện_tử của bộ tài_nguyên và môi_trường , cổng thông_tin điện_tử của tổng_cục quản_lý đất_đai . ”</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
+  | <code>luật bảo_vệ sức_khỏe nhân_dân quy_định thế_nào về phát_triển y_học cổ_truyền dân_tộc và ứng_dụng tiến_bộ khoa_học kỹ_thuật của y_học thế_giới ?</code>                                                | <code>điều 2 . nguyên_tắc chỉ_đạo công_tác bảo_vệ sức_khoẻ . . 1 - đẩy_mạnh tuyên_truyền , giáo_dục vệ_sinh trong nhân_dân ; tiến_hành các biện_pháp dự_phòng , cải_tạo và làm sạch môi_trường sống ; bảo_đảm tiêu_chuẩn vệ_sinh lao_động , vệ_sinh lương_thực , thực_phẩm và nước uống theo quy_định của hội_đồng_bộ trngưở . 2 - mở_rộng mạng_lưới nhà_nghỉ , nhà điều_dưỡng , cơ_sở tập_luyện thể_dục thể_thao ; kết_hợp lao_động , học_tập với nghỉ_ngơi và giải_trí ; phát_triển thể_dục thể_thao quần_chúng để duy_trì và phục_hồi khả_năng lao_động . 3 - hoàn_thiện , nâng cao chất_lượng và phát_triển mạng_lưới phòng , chống dịch , khám bệnh , chữa bệnh ; kết_hợp phát_triển hệ_thống y_tế nhà_nước với y_tế tập_thể và y_tế tư_nhân . 4 - xây_dựng nền y_học việt_nam kế_thừa và phát_triển nền y_học , dược_học cổ_truyền dân_tộc ; kết_hợp y_học , dược_học hiện_đại với y_học , dược_học cổ_truyền dân_tộc , nghiên_cứu và ứng_dụng những tiến_bộ khoa_học kỹ_thuật của y_học thế_giới vào thực_tiễn việt_nam , xây_dựng các ...</code>                   | <code>điều 25 . xử_lý kết_quả_quyết_toán ròng từ các hệ_thống khác <br> 1 . hệ_thống ttlnh được phép tiếp_nhận và xử_lý kết_quả_quyết_toán ròng từ hệ_thống bù_trừ tự_động ( ach ) , hệ_thống bù_trừ thẻ và các hệ_thống thanh_toán bù_trừ khác . <br> 2 . việc xử_lý kết_quả_quyết_toán ròng được thực_hiện bằng phương_thức xử_lý theo lô trên cơ_sở đủ số_dư tài_khoản thanh_toán của các thành_viên tham_gia quyết_toán . trong trường_hợp tài_khoản thanh_toán của thành_viên không đủ số_dư , xử_lý như sau : <br> a ) thành_viên thực_hiện thấu chi trong hạn_mức được cấp theo quy_định về việc thấu chi thấu chi và cho vay qua đêm trong ttlnh của ngân_hàng nhà_nước để xử_lý kết_quả_quyết_toán ròng ; <br> b ) khi thành_viên sử_dụng hết hạn_mức thấu chi được ngân_hàng nhà_nước cấp mà vẫn không đủ vốn quyết_toán thì kết_quả_quyết_toán ròng đó được chuyển vào hàng đợi quyết_toán . khi đủ số_dư trên tài_khoản thanh_toán thì kết_quả_quyết_toán ròng được xử_lý tiếp ;</code>                                                                  |
+  | <code>bộ lao_động - thương_binh và xã_hội quy_định thế_nào về trách_nhiệm của cơ_sở cung_cấp dịch_vụ công_tác xã_hội trong giáo_dục ý_thức tuân_thủ các quy_định về tiêu_chuẩn đạo_đức nghề_nghiệp ?</code> | <code>điều 8 . trách_nhiệm của cơ_sở cung_cấp dịch_vụ công_tác xã_hội <br> 1 . thường_xuyên tổ_chức giáo_dục ý_thức tuân_thủ các quy_định về tiêu_chuẩn đạo_đức nghề_nghiệp đối_với người làm công_tác xã_hội thuộc phạm_vi quản_lý . <br> 2 . phối_hợp với các cơ_sở đào_tạo , cơ_sở giáo_dục nghề_nghiệp để đào_tạo , bồi_dưỡng , nâng cao năng_lực chuyên_môn và đạo_đức nghề_nghiệp đối_với người làm công_tác xã_hội . <br> 3 . công_bố công_khai tiêu_chuẩn đạo_đức nghề công_tác xã_hội để người làm công_tác xã_hội biết và nghiêm_túc thực_hiện . <br> 4 . tạo điều_kiện thuận_lợi và hỗ_trợ để người làm công_tác xã_hội thực_hiện tốt các tiêu_chuẩn đạo_đức nghề_nghiệp trong quá_trình thực_hành công_tác xã_hội . <br> 5 . tiếp_nhận , giải_quyết các khiếu_nại , tố_cáo của đối_tượng liên_quan đến việc thực_hiện đạo_đức nghề_nghiệp của người làm công_tác xã_hội theo thẩm_quyền ; xử_lý nghiêm các hành_vi vi_phạm đạo_đức nghề_nghiệp thuộc phạm_vi quản_lý theo quy_định của pháp_luật . <br> 6 . thường_xuyên kiểm_tra , đánh_giá kết_quả...</code> | <code>g ) tỷ_lệ người lái_xe vi_phạm_quy_định về thời_gian lái_xe liên_tục , thời_gian làm_việc của lái_xe trong ngày trên số ngày xe hoạt_động ; <br> h ) số lần và thời_gian không truyền dữ_liệu trong tháng của từng đơn_vị kinh_doanh vận_tải , sở giao_thông vận_tải ; <br> i ) tổng_hợp tình_hình vi_phạm theo từng tuyến đường và theo các thời_điểm khác nhau . <br> 2 . sở giao_thông vận_tải thực_hiện việc khai_thác , quản_lý dữ_liệu về biển số xe , trọng_tải xe ( số_lượng hành_khách hoặc khối_lượng hàng chuyên_chở cho phép tham_gia giao_thông ) , tên đơn_vị kinh_doanh vận_tải và các dữ_liệu vi_phạm về hành_trình , tốc_độ xe chạy , thời_gian lái_xe liên_tục , thời_gian làm_việc của lái_xe trong ngày của từng đơn_vị kinh_doanh vận_tải thuộc sở trực_tiếp_quản_lý thông_qua tài_khoản đăng_nhập và mật_khẩu được cung_cấp để truy_cập vào hệ_thống thông_tin của tổng_cục đường_bộ việt_nam . <br> 3 . bến_xe_khách , bến_xe hàng được cung_cấp tài_khoản đăng_nhập vào cơ_sở dữ_liệu của tổng_cục đường_bộ việt_nam để phục...</code> |
+* Loss: [<code>CachedMultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `per_device_train_batch_size`: 2
+- `per_device_eval_batch_size`: 2
+- `learning_rate`: 8e-05
+- `num_train_epochs`: 1
+- `warmup_ratio`: 0.05
+- `bf16`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: no
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 2
+- `per_device_eval_batch_size`: 2
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 8e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 1
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.05
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch | Step | public_administrative_cosine_accuracy |
+|:-----:|:----:|:-------------------------------------:|
+| 0     | 0    | 0.56                                  |
+| 1.0   | 225  | 0.8                                   |
+
+
+### Framework Versions
+- Python: 3.11.11
+- Sentence Transformers: 3.3.1
+- Transformers: 4.49.0.dev0
+- PyTorch: 2.5.1+cu121
+- Accelerate: 1.2.1
+- Datasets: 3.2.0
+- Tokenizers: 0.21.0
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### CachedMultipleNegativesRankingLoss
+```bibtex
+@misc{gao2021scaling,
+    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
+    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
+    year={2021},
+    eprint={2101.06983},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,47 @@
+{
+  "_name_or_path": "answerdotai/ModernBERT-base",
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 50281,
+  "classifier_activation": "gelu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 50281,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "embedding_dropout": 0.0,
+  "eos_token_id": 50282,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 10000.0,
+  "max_position_embeddings": 8192,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 50283,
+  "position_embedding_type": "absolute",
+  "reference_compile": true,
+  "repad_logits_with_grad": false,
+  "sep_token_id": 50282,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.49.0.dev0",
+  "vocab_size": 50368
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.3.1",
+    "transformers": "4.49.0.dev0",
+    "pytorch": "2.5.1+cu121"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:798ecd2fb6a0666b22b8eb697084fdae16480b3b5f103f35ed26211ed5d0ea81
+size 596070136

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 8192,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,945 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "|||IP_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "1": {
+      "content": "<|padding|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50254": {
+      "content": "                        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50255": {
+      "content": "                       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50256": {
+      "content": "                      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50257": {
+      "content": "                     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50258": {
+      "content": "                    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50259": {
+      "content": "                   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50260": {
+      "content": "                  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50261": {
+      "content": "                 ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50262": {
+      "content": "                ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50263": {
+      "content": "               ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50264": {
+      "content": "              ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50265": {
+      "content": "             ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50266": {
+      "content": "            ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50267": {
+      "content": "           ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50268": {
+      "content": "          ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50269": {
+      "content": "         ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50270": {
+      "content": "        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50271": {
+      "content": "       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50272": {
+      "content": "      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50273": {
+      "content": "     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50274": {
+      "content": "    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50275": {
+      "content": "   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50276": {
+      "content": "  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50277": {
+      "content": "|||EMAIL_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50278": {
+      "content": "|||PHONE_NUMBER|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50279": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50280": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50281": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50282": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50283": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50284": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50285": {
+      "content": "[unused0]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50286": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50287": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50288": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50289": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50290": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50291": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50292": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50293": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50294": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50295": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50296": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50297": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50298": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50299": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50300": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50301": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50302": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50303": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50304": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50305": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50306": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50307": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50308": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50309": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50310": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50311": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50312": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50313": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50314": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50315": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50316": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50317": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50318": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50319": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50320": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50321": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50322": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50323": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50324": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50325": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50326": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50327": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50328": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50329": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50330": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50331": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50332": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50333": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50334": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50335": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50336": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50337": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50338": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50339": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50340": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50341": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50342": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50343": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50344": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50345": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50346": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50347": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50348": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50349": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50350": {
+      "content": "[unused65]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50351": {
+      "content": "[unused66]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50352": {
+      "content": "[unused67]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50353": {
+      "content": "[unused68]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50354": {
+      "content": "[unused69]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50355": {
+      "content": "[unused70]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50356": {
+      "content": "[unused71]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50357": {
+      "content": "[unused72]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50358": {
+      "content": "[unused73]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50359": {
+      "content": "[unused74]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50360": {
+      "content": "[unused75]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50361": {
+      "content": "[unused76]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50362": {
+      "content": "[unused77]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50363": {
+      "content": "[unused78]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50364": {
+      "content": "[unused79]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50365": {
+      "content": "[unused80]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50366": {
+      "content": "[unused81]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50367": {
+      "content": "[unused82]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 8192,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "[UNK]"
+}