Hugging Face's logo

anhtuansh
/
modernBERT-ft-2e

Sentence Similarity
sentence-transformers
Safetensors
modernbert
feature-extraction
Generated from Trainer
dataset_size:63130
loss:MultipleNegativesRankingLoss
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on answerdotai/ModernBERT-base

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: answerdotai/ModernBERT-base
  • Maximum Sequence Length: 8192 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'người tiếp_nhận hồ_sơ có trách_nhiệm gì trong quá_trình chứng_thực hợp_đồng , giao_dịch ?',
    'điều 20 . chứng_thực hợp_đồng , giao_dịch tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông \n 1 . trường_hợp người yêu_cầu chứng_thực hợp_đồng , giao_dịch nộp hồ_sơ trực_tiếp tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông , thì các bên phải ký trước mặt người tiếp_nhận hồ_sơ . trường_hợp người giao_kết_hợp_đồng , giao_dịch là đại_diện của tổ_chức tín_dụng , doanh_nghiệp đã đăng_ký chữ_ký mẫu tại cơ_quan thực_hiện chứng_thực , thì người đó có_thể ký trước vào hợp_đồng , giao_dịch . người tiếp_nhận hồ_sơ có trách_nhiệm đối_chiếu chữ_ký trong hợp_đồng , giao_dịch với chữ_ký mẫu . nếu thấy chữ_ký trong hợp_đồng , giao_dịch khác chữ_ký mẫu , thì yêu_cầu người đó ký trước mặt người tiếp_nhận hồ_sơ . người tiếp_nhận hồ_sơ phải chịu trách_nhiệm về việc các bên đã ký trước mặt mình . \n 2 . người tiếp_nhận hồ_sơ có trách_nhiệm kiểm_tra giấy_tờ , hồ_sơ .',
    'điều 8 . trị_giá tính thuế , thời_điểm tính thuế \n 1 . trị_giá tính thuế_xuất_khẩu , thuế_nhập_khẩu là trị_giá hải_quan theo quy_định của luật hải_quan . \n 2 . thời_điểm tính thuế_xuất_khẩu , thuế_nhập_khẩu là thời_điểm đăng_ký tờ khai hải_quan . đối_với hàng_hóa xuất_khẩu , nhập_khẩu thuộc đối_tượng không chịu thuế , miễn thuế_xuất_khẩu , thuế_nhập_khẩu hoặc áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan nhưng được thay_đổi về đối_tượng không chịu thuế , miễn thuế , áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan theo quy_định của pháp_luật thì thời_điểm tính thuế là thời_điểm đăng_ký tờ khai hải_quan mới . thời_điểm đăng_ký tờ khai hải_quan thực_hiện theo quy_định của pháp_luật về hải_quan .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Metric Value
cosine_accuracy 0.5845

Training Details

Training Dataset

Unnamed Dataset

  • Size: 63,130 training samples
  • Columns: query, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    query positive negative
    type string string string
    details
    • min: 35 tokens
    • mean: 85.74 tokens
    • max: 225 tokens
    • min: 289 tokens
    • mean: 584.64 tokens
    • max: 923 tokens
    • min: 299 tokens
    • mean: 581.07 tokens
    • max: 929 tokens
  • Samples:
    query positive negative
    bộ tài_chính quy_định thế_nào về chi_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ? c ) chi công_tác_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ( nếu có ) thực_hiện theo quy_định tại thông_tư số 102 / 2012 / tt - btc ngày 21 / 6 / 2012 của bộ tài_chính quy_định_chế_độ công_tác_phí cho cán_bộ , công_chức nhà_nước đi công_tác ngắn_hạn ở nước_ngoài do ngân_sách nhà_nước bảo_đảm kinh_phí ;
    d ) chi tập_huấn nghiệp_vụ cho văn_phòng con_nuôi nước_ngoài tại việt_nam được thực_hiện theo quy_định tại thông_tư số 139 / 2010 / tt - btc ngày 21 / 9 / 2010 của bộ tài_chính quy_định việc lập dự_toán , quản_lý và sử_dụng kinh_phí từ ngân_sách nhà_nước dành cho công_tác đào_tạo , bồi_dưỡng cán_bộ , công_chức ;    		 điều 15 . nhiệm_vụ , quyền_hạn của bộ tài_chính
    1 . là cơ_quan đầu_mối giúp chính_phủ thống_nhất quản_lý nhà_nước về tài_sản công .
    2 . chủ_trì xây_dựng , trình cơ_quan , người có thẩm_quyền ban_hành_văn_bản quy_phạm_pháp_luật về :
    a ) chế_độ quản_lý , sử_dụng tài_sản công tại cơ_quan , tổ_chức , đơn_vị ; việc phân_cấp thẩm_quyền quyết_định trong quản_lý , sử_dụng tài_sản công ;
    b ) tiêu_chuẩn , định mức sử_dụng trụ_sở làm_việc , xe ô_tô , tài_sản công của cơ_quan đại_diện ngoại_giao , cơ_quan đại_diện lãnh_sự , cơ_quan đại_diện tại tổ_chức quốc_tế theo quy_định của pháp_luật về cơ_quan đại_diện của việt_nam ở nước_ngoài và cơ_quan , tổ_chức , đơn_vị khác của việt_nam ở nước_ngoài ( sau đây gọi là cơ_quan việt_nam ở nước_ngoài ) , máy_móc , thiết_bị và các tài_sản công được sử_dụng phổ_biến tại cơ_quan , tổ_chức , đơn_vị , trừ nhà ở công_vụ và tài_sản đặc_biệt tại đơn_vị lực_lượng vũ_trang nhân_dân ;
    khi thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm những chi_phí nào ? a ) giá đất được trừ để tính thuế giá_trị gia_tăng được quy_định cụ_thể như sau : - trường_hợp được nhà_nước giao đất để đầu_tư cơ_sở hạ_tầng xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm tiền_sử_dụng đất phải nộp ngân_sách nhà_nước ( không kể tiền_sử_dụng đất được miễn , giảm ) và chi_phí bồi_thường , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp đấu_giá quyền sử_dụng đất thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất trúng đấu_giá ; - trường_hợp thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng là tiền thuê đất phải nộp ngân_sách nhà_nước ( không bao_gồm tiền thuê đất được miễn , giảm ) và chi_phí đền_bù , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp cơ_sở kinh_doanh nhận chuyển_nhượng quyền sử_dụng đất của các tổ_chức , cá_nhân thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất tại thời_điểm nhận chuyển_nhượng quyền sử_dụng đất bao_gồm c... 5 . phối_hợp với cơ_quan bảo_hiểm xã_hội trả sổ bảo_hiểm xã_hội cho người lao_động , xác_nhận thời_gian đóng bảo_hiểm xã_hội khi người lao_động chấm_dứt hợp_đồng lao_động , hợp_đồng làm_việc hoặc thôi_việc theo quy_định của pháp_luật .
    6 . cung_cấp chính_xác , đầy_đủ , kịp_thời thông_tin , tài_liệu liên_quan đến việc đóng , hưởng bảo_hiểm xã_hội theo yêu_cầu của cơ_quan quản_lý nhà_nước có thẩm_quyền , cơ_quan bảo_hiểm xã_hội .
    7 . định_kỳ 06 tháng , niêm_yết công_khai_thông_tin về việc đóng bảo_hiểm xã_hội cho người lao_động ; cung_cấp thông_tin về việc đóng bảo_hiểm xã_hội của người lao_động khi người lao_động hoặc tổ_chức công_đoàn yêu_cầu .
    8 . hằng năm , niêm_yết công_khai_thông_tin đóng bảo_hiểm xã_hội của người lao_động do cơ_quan bảo_hiểm xã_hội cung_cấp theo quy_định tại khoản 7 điều 23 của luật này .
    điều 22 . quyền của cơ_quan bảo_hiểm xã_hội
    1 . tổ_chức quản_lý nhân_sự , tài_chính và tài_sản theo quy_định của pháp_luật .
    2 . từ_chối yêu_cầu trả bảo_hiểm xã_hội ,...
    nếu tôi vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế sẽ xử_lý như thế_nào ? trường_hợp tại biên_bản kiểm_tra trước hoàn thuế xác_định người nộp thuế vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế_ban_hành quyết_định xử_lý vi_phạm_pháp_luật về thuế và bù_trừ số tiền thuế được hoàn của người nộp thuế tại quyết_định hoàn thuế_kiêm bù_trừ thu ngân_sách nhà_nước theo mẫu_số 02 / qđ - ht ban_hành kèm theo phụ_lục i thông_tư này .
    d ) đối_với hồ_sơ hoàn nộp thừa của người nộp thuế có khoản nộp thừa tại tỉnh nơi được hưởng khoản thu_phân_bổ , cơ_quan thuế quản_lý trực_tiếp chủ_trì tổng_hợp nghĩa_vụ thuế , số thuế đã nộp ngân_sách nhà_nước tại trụ_sở chính và các tỉnh nơi được hưởng khoản thu_phân_bổ .    		 điều 59 . quản_lý nhà_nước về kinh_doanh casino
    1 . chính_phủ thống_nhất quản_lý nhà_nước về kinh_doanh casino và ban_hành chính_sách điều_chỉnh hoạt_động_kinh_doanh casino theo thẩm_quyền .
    2 . thủ_tướng chính_phủ
    a ) phê_duyệt chủ_trương , chính_sách , ban_hành các văn_bản quy_phạm_pháp_luật và biện_pháp cần_thiết theo thẩm_quyền để quản_lý hoạt_động_kinh_doanh casino theo quy_định tại nghị_định này và quy_định của pháp_luật có liên_quan ;
    b ) chấp_thuận số_lượng máy trò_chơi , bàn trò_chơi và điều_chỉnh số_lượng máy trò_chơi , bàn trò_chơi tối_đa đối_với dự_án khu dịch_vụ , du_lịch và vui_chơi giải_trí tổng_hợp có casino theo quy_định tại điều 7 và điều 8 nghị_định này ;
    c ) quyết_định các nội_dung khác có liên_quan đến hoạt_động_kinh_doanh casino theo thẩm_quyền quy_định tại nghị_định này và quy_định của pháp_luật .
    3 . bộ tài_chính chịu trách_nhiệm trước chính_phủ thực_hiện quản_lý nhà_nước về kinh_doanh casino , bao_gồm :
    a ) nghiên_cứu , xây_dựng trình cấp có thẩm_...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

  • Size: 7,015 evaluation samples
  • Columns: query, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    query positive negative
    type string string string
    details
    • min: 37 tokens
    • mean: 85.51 tokens
    • max: 173 tokens
    • min: 297 tokens
    • mean: 587.0 tokens
    • max: 931 tokens
    • min: 276 tokens
    • mean: 585.64 tokens
    • max: 906 tokens
  • Samples:
    query positive negative
    cục y_tế dự_phòng có vai_trò gì trong việc xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người ? điều 13 . trách_nhiệm của cục y_tế dự_phòng - bộ y_tế
    1 . đầu_mối của bộ y_tế phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn triển_khai các hoạt_động phối_hợp phòng , chống bệnh lây_truyền từ động_vật sang người .
    2 . chỉ_đạo toàn_bộ các hoạt_động về phối_hợp giữa ngành y_tế và nông_nghiệp trong phòng , chống bệnh lây_truyền từ động_vật sang người đối_với các đơn_vị trong ngành y_tế .
    3 . phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn xây_dựng , đề_xuất sửa_đổi các hướng_dẫn giám_sát bệnh lây_truyền từ động_vật sang người ; xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người .
    4 . định_kỳ 6 tháng_một lần , tổ_chức họp giao_ban với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn và các đơn_vị liên_quan để đánh_giá hoạt_động phối_hợp trong giám_sát phòng , chống bệnh lây_truyền từ động_vật sang người .    		 khoản 1 . chi thường_xuyên :
    a ) chi thanh_toán cá_nhân : tiền_lương , tiền công , phụ_cấp lương , các khoản đóng_góp theo lương ( bảo_hiểm xã_hội , bảo_hiểm y_tế , bảo_hiểm_thất_nghiệp ( nếu có ) , kinh_phí công_đoàn ) ; tiền khen_thưởng thành_tích theo danh_hiệu thi_đua và các khoản thanh_toán khác cho cá_nhân ;
    b ) chi quản_lý hành_chính : chi thanh_toán dịch_vụ công_cộng ; vật_tư văn_phòng ; thông_tin tuyên_truyền , liên_lạc ; hội_nghị ; chi công_tác_phí ; chi thuê_mướn ; sửa_chữa , bảo_trì , bảo_dưỡng thường_xuyên tài_sản cố_định và các khoản chi hành_chính khác ;
    c ) chi hoạt_động nghiệp_vụ : mua_sắm vật_tư , hàng_hóa dùng cho chuyên_môn , nghiệp_vụ ; thiết_bị an_toàn kho_quỹ , thiết_bị kiểm_đếm ; ấn chỉ các loại ; trang_phục , bảo_hộ lao_động ; các khoản nghiệp_vụ kiểm_đếm , đảo kho , điều_chuyển , bảo_vệ an_toàn kho , tiền , vàng_bạc , đá_quý , ngoại_tệ và các chứng_chỉ có_giá ; bảo_quản , lưu_trữ tài_liệu , chứng_từ ; các khoản nghiệp_vụ khác ;
    d ) chi_phối_hợp tổ_chức...
    theo quy_định , tay_vịn phải được lắp_đặt như thế_nào ở khu_vực cạnh cửa ra vào trên xe_khách thành_phố để người khuyết_tật tiếp_cận ? trong bất_kỳ khu_vực nào không phải lối đi dọc mà hành_khách có_thể đứng : 2.3.4.1.3 . từ khu_vực cạnh cửa ra vào liền kề ngay cửa ra vào ưu_tiên đến ít_nhất một ghế ưu_tiên , tay_vịn có độ cao từ 800 mm đến 900 mm so với sàn xe ; hoặc ở khu_vực không phù_hợp với những yêu_cầu đó , tay_vịn không cần phải bố_trí liên_tục , nhưng khoảng trống giữa các tay_vịn không được lớn hơn 1050 mm , và phải có một tay_vịn thẳng_đứng bố_trí tại ít_nhất một phía của khoảng trống giữa các tay_vịn nói trên với chiều dài nằm trong khoảng từ độ cao 1200 mm đến độ cao không nhỏ hơn 1500 mm so với sàn xe . 2.3.4.1.4 . tay_vịn được bố_trí ở cả hai bên của khu_vực phía trong cửa vào hoặc cửa ra : 2.3.4.2 . điều 15 .
    1 . hội_đồng quản_trị thực_hiện chức_năng quản_lý hoạt_động của tổng_công_ty , chịu trách_nhiệm về sự phát_triển của tổng_công_ty theo nhiệm_vụ nhà_nước giao .
    2 . hội_đồng quản_trị có các quyền_hạn và nhiệm_vụ sau :
    a ) nhận vốn ( kể_cả nợ ) , đất_đai , tài_nguyên và các nguồn_lực khác do nhà_nước giao cho tổng_công_ty .
    b ) xem_xét , phê_duyệt phương_án do tổng_giám_đốc đề_nghị về việc phân giao vốn và các nguồn_lực khác cho các đơn_vị thành_viên và phương_án điều_hoà_vốn và các nguồn_lực khác giữa các đơn_vị thành_viên ; kiểm_tra , giám_sát việc thực_hiện các phương_án đó ;
    c ) kiểm_tra , giám_sát mọi hoạt_động trong tổng_công_ty ; trong đó có việc sử_dụng , bảo_toàn , phát_triển vốn và các nguồn_lực được giao ; việc thực_hiện các nghị_định và quyết_định của hội_đồng quản_trị , các quy_định của luật_pháp ; việc thực_hiện nghĩa_vụ đối_với nhà_nước .
    ngày 01 tháng 01 năm 2018 có ý_nghĩa gì đối_với nghị_định về trình_tự , thủ_tục , mức tiền pháp_nhân thương_mại phải nộp để bảo_đảm thi_hành án ? chương iv. điều_khoản thi_hành
    điều 10 . hiệu_lực thi_hành . nghị_định này có hiệu_lực thi_hành từ ngày 01 tháng 01 năm 2018 .
    điều 11 . trách_nhiệm thi_hành . các bộ_trưởng , thủ_trưởng cơ_quan ngang bộ , thủ_trưởng cơ_quan thuộc chính_phủ , chủ_tịch ủy_ban nhân_dân các tỉnh , thành_phố trực_thuộc trung_ương và các đối_tượng áp_dụng của nghị_định chịu trách_nhiệm thi_hành nghị_định này . / nơi nhận : - ban bí_thư trung_ương đảng ; - thủ_tướng , các phó_thủ_tướng chính_phủ ; - các bộ , cơ_quan ngang bộ , cơ_quan thuộc chính_phủ ; - hđnd , ubnd các tỉnh , thành_phố trực_thuộc trung_ương ; - văn_phòng trung_ương và các ban của đảng ; - văn_phòng tổng_bí_thư ; - văn_phòng chủ_tịch nước ; - hội_đồng dân_tộc và các ủy_ban của quốc_hội ; - văn_phòng quốc_hội ; - tòa_án nhân_dân tối_cao ; - viện kiểm_sát_nhân_dân tối_cao ; - kiểm_toán nhà_nước ; - ủy_ban giám_sát tài_chính quốc_gia ; - ngân_hàng chính_sách xã_hội ; - ngân_hàng phát_triển việt_nam ;    		 viên_chức đăng_ký dự_thi thăng_hạng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp. viên_chức đăng_ký dự_xét thăng_hạng thuộc đối_tượng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp được xác_nhận đáp_ứng tiêu_chuẩn về ngoại_ngữ , tin_học khi đăng_ký dự_xét thăng_hạng . trường_hợp không thuộc đối_tượng miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp thì trong hồ_sơ dự xét phải có minh chứng đáp_ứng yêu_cầu về tiêu_chuẩn ngoại_ngữ , tin_học của chức_danh nghề_nghiệp đăng_ký dự_xét thăng_hạng .
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • learning_rate: 2e-05
  • warmup_ratio: 0.05
  • bf16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 3
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.05
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss public_administrative_cosine_accuracy
0 0 - 0.5845
0.0032 100 1.3479 -
0.0063 200 1.3106 -
0.0095 300 1.3496 -
0.0127 400 1.1463 -
0.0158 500 0.7624 -
0.0190 600 0.6289 -
0.0222 700 0.5052 -
0.0253 800 0.5615 -
0.0285 900 0.2871 -
0.0317 1000 0.4623 -
0.0348 1100 0.5214 -
0.0380 1200 0.4097 -
0.0412 1300 0.4068 -
0.0444 1400 0.2873 -
0.0475 1500 0.3133 -
0.0507 1600 0.1869 -
0.0539 1700 0.3004 -
0.0570 1800 0.2164 -
0.0602 1900 0.293 -
0.0634 2000 0.17 -
0.0665 2100 0.1669 -
0.0697 2200 0.1337 -
0.0729 2300 0.2076 -
0.0760 2400 0.2348 -
0.0792 2500 0.2016 -
0.0824 2600 0.1139 -
0.0855 2700 0.2098 -
0.0887 2800 0.1562 -
0.0919 2900 0.1301 -
0.0950 3000 0.1271 -
0.0982 3100 0.1226 -
0.1014 3200 0.147 -
0.1045 3300 0.1135 -
0.1077 3400 0.1004 -
0.1109 3500 0.0795 -
0.1141 3600 0.1719 -
0.1172 3700 0.1445 -
0.1204 3800 0.1206 -
0.1236 3900 0.0458 -
0.1267 4000 0.1122 -
0.1299 4100 0.0483 -
0.1331 4200 0.0493 -
0.1362 4300 0.0883 -
0.1394 4400 0.0926 -
0.1426 4500 0.1196 -
0.1457 4600 0.0793 -
0.1489 4700 0.1418 -
0.1521 4800 0.1341 -
0.1552 4900 0.106 -
0.1584 5000 0.1032 -
0.1616 5100 0.0789 -
0.1647 5200 0.0513 -
0.1679 5300 0.0244 -
0.1711 5400 0.0621 -
0.1742 5500 0.0301 -
0.1774 5600 0.0456 -
0.1806 5700 0.0444 -
0.1837 5800 0.0573 -
0.1869 5900 0.0635 -
0.1901 6000 0.1086 -
0.1933 6100 0.1383 -
0.1964 6200 0.1049 -
0.1996 6300 0.0843 -
0.2028 6400 0.0458 -
0.2059 6500 0.059 -
0.2091 6600 0.0269 -
0.2123 6700 0.0417 -
0.2154 6800 0.0593 -
0.2186 6900 0.0534 -
0.2218 7000 0.0718 -
0.2249 7100 0.1301 -
0.2281 7200 0.0705 -
0.2313 7300 0.0492 -
0.2344 7400 0.0908 -
0.2376 7500 0.0462 -
0.2408 7600 0.0772 -
0.2439 7700 0.0906 -
0.2471 7800 0.0739 -
0.2503 7900 0.0325 -
0.2534 8000 0.1081 -
0.2566 8100 0.0472 -
0.2598 8200 0.0613 -
0.2629 8300 0.0281 -
0.2661 8400 0.0184 -
0.2693 8500 0.0447 -
0.2725 8600 0.0609 -
0.2756 8700 0.0323 -
0.2788 8800 0.0794 -
0.2820 8900 0.0477 -
0.2851 9000 0.0819 -
0.2883 9100 0.0838 -
0.2915 9200 0.0512 -
0.2946 9300 0.0641 -
0.2978 9400 0.0549 -
0.3010 9500 0.0328 -
0.3041 9600 0.0338 -
0.3073 9700 0.0976 -
0.3105 9800 0.0413 -
0.3136 9900 0.0746 -
0.3168 10000 0.0683 -
0.3200 10100 0.0137 -
0.3231 10200 0.0521 -
0.3263 10300 0.0518 -
0.3295 10400 0.0764 -
0.3326 10500 0.0447 -
0.3358 10600 0.0698 -
0.3390 10700 0.0488 -
0.3422 10800 0.0288 -
0.3453 10900 0.0155 -
0.3485 11000 0.0443 -
0.3517 11100 0.0451 -
0.3548 11200 0.0735 -
0.3580 11300 0.0245 -
0.3612 11400 0.0311 -
0.3643 11500 0.0565 -
0.3675 11600 0.0447 -
0.3707 11700 0.0785 -
0.3738 11800 0.0509 -
0.3770 11900 0.0496 -
0.3802 12000 0.0482 -
0.3833 12100 0.0174 -
0.3865 12200 0.0665 -
0.3897 12300 0.0475 -
0.3928 12400 0.01 -
0.3960 12500 0.0345 -
0.3992 12600 0.027 -
0.4023 12700 0.0364 -
0.4055 12800 0.0226 -
0.4087 12900 0.1074 -
0.4118 13000 0.0179 -
0.4150 13100 0.0377 -
0.4182 13200 0.0384 -
0.4214 13300 0.0309 -
0.4245 13400 0.0277 -
0.4277 13500 0.0196 -
0.4309 13600 0.0386 -
0.4340 13700 0.0135 -
0.4372 13800 0.0375 -
0.4404 13900 0.0583 -
0.4435 14000 0.0175 -
0.4467 14100 0.0366 -
0.4499 14200 0.0445 -
0.4530 14300 0.014 -
0.4562 14400 0.0369 -
0.4594 14500 0.0109 -
0.4625 14600 0.0151 -
0.4657 14700 0.0487 -
0.4689 14800 0.0166 -
0.4720 14900 0.0047 -
0.4752 15000 0.0247 -
0.4784 15100 0.0198 -
0.4815 15200 0.0492 -
0.4847 15300 0.027 -
0.4879 15400 0.0368 -
0.4911 15500 0.0072 -
0.4942 15600 0.0448 -
0.4974 15700 0.0334 -
0.5006 15800 0.0401 -
0.5037 15900 0.0158 -
0.5069 16000 0.0247 -
0.5101 16100 0.0452 -
0.5132 16200 0.0337 -
0.5164 16300 0.0106 -
0.5196 16400 0.0105 -
0.5227 16500 0.0167 -
0.5259 16600 0.0104 -
0.5291 16700 0.022 -
0.5322 16800 0.0591 -
0.5354 16900 0.0227 -
0.5386 17000 0.0503 -
0.5417 17100 0.0424 -
0.5449 17200 0.0185 -
0.5481 17300 0.0174 -
0.5512 17400 0.0086 -
0.5544 17500 0.0292 -
0.5576 17600 0.0072 -
0.5607 17700 0.0633 -
0.5639 17800 0.0425 -
0.5671 17900 0.0208 -
0.5703 18000 0.009 -
0.5734 18100 0.0394 -
0.5766 18200 0.0096 -
0.5798 18300 0.0171 -
0.5829 18400 0.0246 -
0.5861 18500 0.0508 -
0.5893 18600 0.0138 -
0.5924 18700 0.0344 -
0.5956 18800 0.0345 -
0.5988 18900 0.044 -
0.6019 19000 0.0234 -
0.6051 19100 0.0118 -
0.6083 19200 0.0333 -
0.6114 19300 0.0182 -
0.6146 19400 0.0115 -
0.6178 19500 0.0321 -
0.6209 19600 0.015 -
0.6241 19700 0.0245 -
0.6273 19800 0.0202 -
0.6304 19900 0.0365 -
0.6336 20000 0.0057 -
0.6368 20100 0.1269 -
0.6399 20200 0.0281 -
0.6431 20300 0.0092 -
0.6463 20400 0.0486 -
0.6495 20500 0.0323 -
0.6526 20600 0.0175 -
0.6558 20700 0.0078 -
0.6590 20800 0.0143 -
0.6621 20900 0.0159 -
0.6653 21000 0.0261 -
0.6685 21100 0.0083 -
0.6716 21200 0.0232 -
0.6748 21300 0.009 -
0.6780 21400 0.0051 -
0.6811 21500 0.0091 -
0.6843 21600 0.0189 -
0.6875 21700 0.0044 -
0.6906 21800 0.0284 -
0.6938 21900 0.0231 -
0.6970 22000 0.0137 -
0.7001 22100 0.0412 -
0.7033 22200 0.0111 -
0.7065 22300 0.063 -
0.7096 22400 0.0182 -
0.7128 22500 0.0261 -
0.7160 22600 0.0221 -
0.7192 22700 0.0534 -
0.7223 22800 0.0295 -
0.7255 22900 0.0073 -
0.7287 23000 0.0075 -
0.7318 23100 0.0309 -
0.7350 23200 0.0279 -
0.7382 23300 0.013 -
0.7413 23400 0.0147 -
0.7445 23500 0.0154 -
0.7477 23600 0.0158 -
0.7508 23700 0.0157 -
0.7540 23800 0.0052 -
0.7572 23900 0.0072 -
0.7603 24000 0.0132 -
0.7635 24100 0.0243 -
0.7667 24200 0.0201 -
0.7698 24300 0.0168 -
0.7730 24400 0.0132 -
0.7762 24500 0.014 -
0.7793 24600 0.0351 -
0.7825 24700 0.0318 -
0.7857 24800 0.0099 -
0.7888 24900 0.0395 -
0.7920 25000 0.0185 -
0.7952 25100 0.0114 -
0.7984 25200 0.0246 -
0.8015 25300 0.0392 -
0.8047 25400 0.0042 -
0.8079 25500 0.0188 -
0.8110 25600 0.0126 -
0.8142 25700 0.0535 -
0.8174 25800 0.0164 -
0.8205 25900 0.0433 -
0.8237 26000 0.0313 -
0.8269 26100 0.0157 -
0.8300 26200 0.0188 -
0.8332 26300 0.0307 -
0.8364 26400 0.0074 -
0.8395 26500 0.0468 -
0.8427 26600 0.0138 -
0.8459 26700 0.0044 -
0.8490 26800 0.0366 -
0.8522 26900 0.0343 -
0.8554 27000 0.0051 -
0.8585 27100 0.0294 -
0.8617 27200 0.0373 -
0.8649 27300 0.0097 -
0.8681 27400 0.0177 -
0.8712 27500 0.0124 -
0.8744 27600 0.0126 -
0.8776 27700 0.0128 -
0.8807 27800 0.01 -
0.8839 27900 0.0119 -
0.8871 28000 0.0169 -
0.8902 28100 0.0081 -
0.8934 28200 0.0075 -
0.8966 28300 0.0159 -
0.8997 28400 0.0094 -
0.9029 28500 0.0154 -
0.9061 28600 0.0079 -
0.9092 28700 0.0088 -
0.9124 28800 0.0046 -
0.9156 28900 0.0038 -
0.9187 29000 0.0132 -
0.9219 29100 0.0128 -
0.9251 29200 0.0141 -
0.9282 29300 0.0033 -
0.9314 29400 0.0103 -
0.9346 29500 0.034 -
0.9377 29600 0.0036 -
0.9409 29700 0.0229 -
0.9441 29800 0.0113 -
0.9473 29900 0.0136 -
0.9504 30000 0.0283 -
0.9536 30100 0.0181 -
0.9568 30200 0.0108 -
0.9599 30300 0.0208 -
0.9631 30400 0.0227 -
0.9663 30500 0.0192 -
0.9694 30600 0.0122 -
0.9726 30700 0.0061 -
0.9758 30800 0.039 -
0.9789 30900 0.0115 -
0.9821 31000 0.0122 -
0.9853 31100 0.0085 -
0.9884 31200 0.035 -
0.9916 31300 0.016 -
0.9948 31400 0.0337 -
0.9979 31500 0.0056 -
1.0011 31600 0.0119 -
1.0043 31700 0.0046 -
1.0074 31800 0.005 -
1.0106 31900 0.0076 -
1.0138 32000 0.0067 -
1.0169 32100 0.0047 -
1.0201 32200 0.0144 -
1.0233 32300 0.0434 -
1.0265 32400 0.0357 -
1.0296 32500 0.0062 -
1.0328 32600 0.0336 -
1.0360 32700 0.0352 -
1.0391 32800 0.0043 -
1.0423 32900 0.0148 -
1.0455 33000 0.0042 -
1.0486 33100 0.0044 -
1.0518 33200 0.0155 -
1.0550 33300 0.0251 -
1.0581 33400 0.0092 -
1.0613 33500 0.0207 -
1.0645 33600 0.0074 -
1.0676 33700 0.0352 -
1.0708 33800 0.0071 -
1.0740 33900 0.0083 -
1.0771 34000 0.0119 -
1.0803 34100 0.0073 -
1.0835 34200 0.0282 -
1.0866 34300 0.0097 -
1.0898 34400 0.0062 -
1.0930 34500 0.0127 -
1.0962 34600 0.0117 -
1.0993 34700 0.0163 -
1.1025 34800 0.0221 -
1.1057 34900 0.0145 -
1.1088 35000 0.0073 -
1.1120 35100 0.0065 -
1.1152 35200 0.0333 -
1.1183 35300 0.0048 -
1.1215 35400 0.0169 -
1.1247 35500 0.0045 -
1.1278 35600 0.0272 -
1.1310 35700 0.0065 -
1.1342 35800 0.0026 -
1.1373 35900 0.0139 -
1.1405 36000 0.0219 -
1.1437 36100 0.0132 -
1.1468 36200 0.0087 -
1.1500 36300 0.0038 -
1.1532 36400 0.0322 -
1.1563 36500 0.0109 -
1.1595 36600 0.0059 -
1.1627 36700 0.0072 -
1.1658 36800 0.0026 -
1.1690 36900 0.0115 -
1.1722 37000 0.0288 -
1.1754 37100 0.0018 -
1.1785 37200 0.0091 -
1.1817 37300 0.0095 -
1.1849 37400 0.0066 -
1.1880 37500 0.001 -
1.1912 37600 0.0195 -
1.1944 37700 0.0222 -
1.1975 37800 0.0063 -
1.2007 37900 0.0139 -
1.2039 38000 0.005 -
1.2070 38100 0.0075 -
1.2102 38200 0.0095 -
1.2134 38300 0.0083 -
1.2165 38400 0.0031 -
1.2197 38500 0.0026 -
1.2229 38600 0.0018 -
1.2260 38700 0.0116 -
1.2292 38800 0.0037 -
1.2324 38900 0.0146 -
1.2355 39000 0.0118 -
1.2387 39100 0.009 -
1.2419 39200 0.0078 -
1.2450 39300 0.0118 -
1.2482 39400 0.0061 -
1.2514 39500 0.0154 -
1.2546 39600 0.0161 -
1.2577 39700 0.0051 -
1.2609 39800 0.0113 -
1.2641 39900 0.0047 -
1.2672 40000 0.0051 -
1.2704 40100 0.0054 -
1.2736 40200 0.0085 -
1.2767 40300 0.0097 -
1.2799 40400 0.009 -
1.2831 40500 0.0081 -
1.2862 40600 0.0091 -
1.2894 40700 0.0204 -
1.2926 40800 0.0102 -
1.2957 40900 0.0124 -
1.2989 41000 0.0051 -
1.3021 41100 0.0081 -
1.3052 41200 0.0011 -
1.3084 41300 0.0023 -
1.3116 41400 0.0024 -
1.3147 41500 0.0155 -
1.3179 41600 0.0087 -
1.3211 41700 0.0339 -
1.3243 41800 0.0044 -
1.3274 41900 0.008 -
1.3306 42000 0.0261 -
1.3338 42100 0.0026 -
1.3369 42200 0.0154 -
1.3401 42300 0.0067 -
1.3433 42400 0.0033 -
1.3464 42500 0.0046 -
1.3496 42600 0.011 -
1.3528 42700 0.0054 -
1.3559 42800 0.0154 -
1.3591 42900 0.0016 -
1.3623 43000 0.0261 -
1.3654 43100 0.007 -
1.3686 43200 0.0011 -
1.3718 43300 0.0058 -
1.3749 43400 0.0047 -
1.3781 43500 0.0044 -
1.3813 43600 0.0037 -
1.3844 43700 0.0039 -
1.3876 43800 0.028 -
1.3908 43900 0.0043 -
1.3939 44000 0.0016 -
1.3971 44100 0.0074 -
1.4003 44200 0.0042 -
1.4035 44300 0.0025 -
1.4066 44400 0.0257 -
1.4098 44500 0.0173 -
1.4130 44600 0.0019 -
1.4161 44700 0.0024 -
1.4193 44800 0.0037 -
1.4225 44900 0.004 -
1.4256 45000 0.0015 -
1.4288 45100 0.0062 -
1.4320 45200 0.0044 -
1.4351 45300 0.0022 -
1.4383 45400 0.0013 -
1.4415 45500 0.0038 -
1.4446 45600 0.0016 -
1.4478 45700 0.0129 -
1.4510 45800 0.0027 -
1.4541 45900 0.0039 -
1.4573 46000 0.003 -
1.4605 46100 0.0015 -
1.4636 46200 0.0005 -
1.4668 46300 0.0031 -
1.4700 46400 0.0076 -
1.4732 46500 0.0008 -
1.4763 46600 0.0019 -
1.4795 46700 0.0013 -
1.4827 46800 0.0024 -
1.4858 46900 0.0103 -
1.4890 47000 0.001 -
1.4922 47100 0.0026 -
1.4953 47200 0.0019 -
1.4985 47300 0.002 -
1.5017 47400 0.0023 -
1.5048 47500 0.0019 -
1.5080 47600 0.0032 -
1.5112 47700 0.0201 -
1.5143 47800 0.0023 -
1.5175 47900 0.0019 -
1.5207 48000 0.0016 -
1.5238 48100 0.0017 -
1.5270 48200 0.0077 -
1.5302 48300 0.0188 -
1.5333 48400 0.0014 -
1.5365 48500 0.0057 -
1.5397 48600 0.0012 -
1.5428 48700 0.0021 -
1.5460 48800 0.001 -
1.5492 48900 0.0007 -
1.5524 49000 0.0032 -
1.5555 49100 0.0015 -
1.5587 49200 0.0006 -
1.5619 49300 0.0234 -
1.5650 49400 0.0073 -
1.5682 49500 0.002 -
1.5714 49600 0.0009 -
1.5745 49700 0.0015 -
1.5777 49800 0.0019 -
1.5809 49900 0.0036 -
1.5840 50000 0.0013 -
1.5872 50100 0.0036 -
1.5904 50200 0.0011 -
1.5935 50300 0.0044 -
1.5967 50400 0.0013 -
1.5999 50500 0.0009 -
1.6030 50600 0.0026 -
1.6062 50700 0.0016 -
1.6094 50800 0.0179 -
1.6125 50900 0.0005 -
1.6157 51000 0.0016 -
1.6189 51100 0.0111 -
1.6220 51200 0.0043 -
1.6252 51300 0.0008 -
1.6284 51400 0.0027 -
1.6316 51500 0.0037 -
1.6347 51600 0.0039 -
1.6379 51700 0.0295 -
1.6411 51800 0.0041 -
1.6442 51900 0.0026 -
1.6474 52000 0.001 -
1.6506 52100 0.0008 -
1.6537 52200 0.0016 -
1.6569 52300 0.0009 -
1.6601 52400 0.0013 -
1.6632 52500 0.0008 -
1.6664 52600 0.0021 -
1.6696 52700 0.0004 -
1.6727 52800 0.0027 -
1.6759 52900 0.0006 -
1.6791 53000 0.0002 -
1.6822 53100 0.0005 -
1.6854 53200 0.0054 -
1.6886 53300 0.0004 -
1.6917 53400 0.0015 -
1.6949 53500 0.0013 -
1.6981 53600 0.0016 -
1.7013 53700 0.0072 -
1.7044 53800 0.0014 -
1.7076 53900 0.0054 -
1.7108 54000 0.0031 -
1.7139 54100 0.0018 -
1.7171 54200 0.0177 -
1.7203 54300 0.0014 -
1.7234 54400 0.0019 -
1.7266 54500 0.0012 -
1.7298 54600 0.0005 -
1.7329 54700 0.0013 -
1.7361 54800 0.0032 -
1.7393 54900 0.0028 -
1.7424 55000 0.0012 -
1.7456 55100 0.005 -
1.7488 55200 0.0059 -
1.7519 55300 0.001 -
1.7551 55400 0.0032 -
1.7583 55500 0.0006 -
1.7614 55600 0.01 -
1.7646 55700 0.0014 -
1.7678 55800 0.0012 -
1.7709 55900 0.002 -
1.7741 56000 0.0024 -
1.7773 56100 0.0006 -
1.7805 56200 0.002 -
1.7836 56300 0.0019 -
1.7868 56400 0.0004 -
1.7900 56500 0.001 -
1.7931 56600 0.0032 -
1.7963 56700 0.0004 -
1.7995 56800 0.0015 -
1.8026 56900 0.0013 -
1.8058 57000 0.0015 -
1.8090 57100 0.0024 -
1.8121 57200 0.0071 -
1.8153 57300 0.0096 -
1.8185 57400 0.0008 -
1.8216 57500 0.0043 -
1.8248 57600 0.0011 -
1.8280 57700 0.0009 -
1.8311 57800 0.0054 -

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.3.1
  • Transformers: 4.49.0.dev0
  • PyTorch: 2.5.1+cu121
  • Accelerate: 1.2.1
  • Datasets: 3.2.0
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
-
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for anhtuansh/modernBERT-ft-2e

Base model

answerdotai/ModernBERT-base
Finetuned
(1255)
this model

Papers for anhtuansh/modernBERT-ft-2e

Evaluation results