ng3owb/congbot-e5

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ng3owb/congbot-e5")
# Run inference
sentences = [
    'query: Khoản 3a được bổ sung vào điều nào của Nghị định 55/2011/NĐ-CP?',
    'passage: # 1766_2020_QĐ_UBND_annex_luat_su_2_tu_van\n| 8 | 1.002198 | Thay đổi nội dung Giấy đăng ký hoạt động của chi nhánh, công ty luật nước ngoài | 04 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | 1.000.000 đồng/hồ sơ | - Luật Luật sư năm 2006 - Nghị định số 123/2013/NĐ-CP ngày 14/10/2013 của Chính phủ - Thông tư số 220/2016/TT-BTC ngày 10/11/2016 của Bộ trưởng Bộ Tài chính |  |\n| 9 | 1.002218 | Hợp nhất công ty luật | 09 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | Không | Nghị định số 123/2013/NĐ-CP ngày 14/10/2013 của Chính phủ |  |\n| 10 | 1.002234 | Sáp nhập công ty luật | 09 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | Không | Nghị định số 123/2013/NĐ-CP ngày 14/10/2013 của Chính phủ |  |\n| 11 |  | Chuyển đổi công ty luật trách nhiệm hữu hạn và công ty luật hợp danh, chuyển đổi văn phòng luật sư thành công ty luật | 06 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | Không | Nghị định số 123/2013/NĐ-CP ngày 14/10/2013 của Chính phủ |  |\n| 12 | 1.002398 | Đăng ký hoạt động của công ty luật Việt Nam chuyển đổi từ công ty luật nước ngoài | 06 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | 50.000 đồng/hồ sơ | - Nghị định số 123/2013/NĐ-CP ngày 14/10/2013 của Chính phủ - Thông tư số 47/2019/TT-BTC ngày 05/8/2019 của Bộ trưởng Bộ Tài chính |  |\n| 13 | 1.002384 | Đăng ký hoạt động của chi nhánh của công ty luật nước ngoài tại Việt Nam | 07 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | 600.000 đồng/hồ sơ | - Nghị định số 123/2013/NĐ-CP ngày 14/10/2013 của Chính phủ - Thông tư số 02/2015/TT-BTP ngày 16/01/2015 của Bộ trưởng Bộ Tư pháp - Thông tư số 220/2016/TT-BTC ngày 10/11/2016 của Bộ trưởng Bộ Tài chính |  |\n| 14 | 1.002368 | Cấp lại Giấy đăng ký hoạt động của chi nhánh, công ty luật nước ngoài | 09 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | 2.000.000 đồng/hồ sơ | - Luật Luật sư số 65/2006/QH11 ngày 29/6/2006; Luật sửa đổi, bổ sung năm 2012 - Thông tư số 17/2011/TT-BTP ngày 14/10/2011 của Bộ Tư pháp - Thông tư số 220/2016/TT-BTC ngày 10/11/2016 của Bộ trưởng Bộ Tài chính |  |\n| IV | LĨNH VỰC TƯ VẤN PHÁP LUẬT (06 TTHC) |  |  |  |  |  |  |  |  |\n| IV.1 | Thủ tục hành chính cấp tỉnh (06 TTHC) |  |  |  |  |  |  |  |  |\n| 1 | 1.000627 | Đăng ký hoạt động của Trung tâm tư vấn pháp luật | 04 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | Không | - Nghị định số 77/2008/NĐ-CP ngày 16/7/2008 của Chính phủ - Nghị định số 05/2012/NĐ-CP ngày 02/02/2012 của Chính phủ - Thông tư số 01/2010/TT-BTP ngày 09/02/2010 của Bộ Tư pháp - Thông tư số 19/2011/TT-BTP ngày 31/10/2011 của Bộ Tư pháp |  |\n| 2 | 1.000614 | Đăng ký hoạt động cho chi nhánh của Trung tâm tư vấn pháp luật | 04 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | Không | - Nghị định số 77/2008/NĐ-CP ngày 16/7/2008 của Chính phủ - Thông tư số 01/2010/TT-BTP ngày 09/02/2010 của Bộ Tư pháp - Thông tư số 19/2011/TT-BTP ngày 31/10/2011 của Bộ Tư pháp |  |\n| 3 | 1.000588 | Thay đổi nội dung đăng ký hoạt động của Trung tâm tư vấn pháp luật, chi nhánh | 06 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | 50.000 đồng/hồ sơ | - Nghị định số 77/2008/NĐ-CP ngày 16/7/2008 của Chính phủ - Thông tư số 01/2010/TT-BTP ngày 09/02/2010 của Bộ Tư pháp - Thông tư số 19/2011/TT-BTP ngày 31/10/2011 của Bộ Tư pháp |  |\n| 4 | 1.000426 | Cấp thẻ tư vấn viên pháp luật | 05 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | Không | - Nghị định số 77/2008/NĐ-CP ngày 16/7/2008 của Chính phủ - Nghị định số 05/2012/NĐ-CP ngày 02/02/2012 của Chính phủ - Thông tư số 01/2010/TT-BTP ngày 09/02/2010 của Bộ Tư pháp - Thông tư số 19/2011/TT-BTP ngày 31/10/2011 của Bộ Tư pháp |  |\n| 5 | 1.000404 | Thu hồi thẻ tư vấn viên pháp luật | 07 ngày | 4 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | Không | - Nghị định số 77/2008/NĐ-CP ngày 16/7/2008 của Chính phủ - Thông tư số 01/2010/TT-BTP ngày 09/02/2010 của Bộ Tư pháp |  |\n| 6 | 1.000390 | Cấp lại thẻ tư vấn viên pháp luật | 07 ngày | 3 | Có | - Tiếp nhận và trả kết quả tại Trung tâm HCC tỉnh (Quầy Sở Tư pháp) - Cơ quan giải quyết: Sở Tư pháp | Không | - Nghị định số 77/2008/NĐ-CP ngày 16/7/2008 của Chính phủ - Thông tư số 01/2010/TT-BTP ngày 09/02/2010 của Bộ Tư pháp |  |',
    'passage: # 1766_2020_QĐ_UBND_annex_chung_thuc_cap_huyen_xa\n| I.2 | Thủ tục hành chính cấp huyện (05 TTHC) |  |  |  |  |  |  |  |  |\n| 1 | 2.000992 | Thủ tục chứng thực chữ ký người dịch mà người dịch là cộng tác viên dịch thuật của Phòng Tư pháp | - Trong ngày (cơ quan, tổ chức tiếp nhận yêu cầu hoặc trong ngày làm việc tiếp theo, nếu tiếp nhận yêu cầu sau 15 giờ) . - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp huyện. - Cơ quan giải quyết: Phòng Tư pháp. | 10.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |\n| 2 | 2.001008 | Thủ tục chứng thực chữ ký người dịch mà người dịch không phải là cộng tác viên dịch thuật của Phòng Tư pháp | - Trong ngày (cơ quan, tổ chức tiếp nhận yêu cầu hoặc trong ngày làm việc tiếp theo, nếu tiếp nhận yêu cầu sau 15 giờ) . - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực. | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp huyện. - Cơ quan giải quyết: Phòng Tư pháp. | 10.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |\n| 3 | 2.001044 | Thủ tục chứng thực hợp đồng giao dịch liên quan đến tài sản là động sản | - Không quả 02 ngày (kể từ ngày nhận đủ hồ sơ yêu cầu chứng thực); - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp huyện. - Cơ quan giải quyết: Phòng Tư pháp. | 50.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |\n| 4 | 2.001050 | Thủ tục chứng thực văn bản thỏa thuận phân chia di sản mà di sản là động sản | - Không quả 02 ngày (kể từ ngày nhận đủ hồ sơ yêu cầu chứng thực); - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp huyện. - Cơ quan giải quyết: Phòng Tư pháp. | 50.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |\n| 5 | 2.001052 | Chứng thực văn bản khai nhận di sản mà di sản là động sản | - Không quả 02 ngày (kể từ ngày nhận đủ hồ sơ yêu cầu chứng thực); - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp huyện. - Cơ quan giải quyết: Phòng Tư pháp. | 50.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |\n\n| I.3 | Thủ tục hành chính cấp xã (05 TTHC) |  |  |  |  |  |  |  |  |\n| 1 | 2.001035 | Thủ tục chứng thực hợp đồng, giao dịch liên quan đến tài sản là động sản, quyền sử dụng đất, nhà ở | - Không quả 02 ngày (kể từ ngày nhận đủ hồ sơ yêu cầu chứng thực); - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp xã - Cơ quan giải quyết: UBND cấp xã | 50.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |\n| 2 | 2.001019 | Thủ tục chứng thực di chứng | - Không quả 02 ngày (kể từ ngày nhận đủ hồ sơ yêu cầu chứng thực); - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp xã - Cơ quan giải quyết: UBND cấp xã | 50.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |\n| 3 | 2.001016 | Thủ tục chứng thực văn bản từ chối nhận di sản | - Không quả 02 ngày (kể từ ngày nhận đủ hồ sơ yêu cầu chứng thực); - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp xã - Cơ quan giải quyết: UBND cấp xã | 50.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |\n| 4 | 2.001406 | Thủ tục chứng thực văn bản thỏa thuận phân chi di sản mà di sản là động sản, quyền sử dụng đất, nhà ở | - Không quả 02 ngày (kể từ ngày nhận đủ hồ sơ yêu cầu chứng thực); - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp xã - Cơ quan giải quyết: UBND cấp xã | 50.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |\n| 5 | 2.001009 | Thủ tục chứng thực văn bản khai nhận di sản mà di sản là động sản, quyền sử dụng đất, nhà ở | - Không quả 02 ngày (kể từ ngày nhận đủ hồ sơ yêu cầu chứng thực); - Có thể dài hơn theo thỏa thuận bằng văn bản với người yêu cầu chứng thực | 2 | Không | - Bộ phận Tiếp nhận và trả kết quả của: UBND cấp xã - Cơ quan giải quyết: UBND cấp xã | 50.000 đồng/trường hợp | - Nghị định số 23/2015/NĐ-CP ngày 16/02/2015 của Chính phủ. - Thông tư số 01/2020/TT-BTP ngày 03/3/2020 của Bộ Tư pháp. - Thông tư số 226/2016/TT-BTC ngày 11/11/2016 của Bộ Tài chính. |  |',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: vietnamese-veterans-eval
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5133
cosine_accuracy@3	0.7375
cosine_accuracy@5	0.8437
cosine_accuracy@10	0.9233
cosine_precision@1	0.5133
cosine_precision@3	0.2458
cosine_precision@5	0.1687
cosine_precision@10	0.0923
cosine_recall@1	0.5133
cosine_recall@3	0.7375
cosine_recall@5	0.8437
cosine_recall@10	0.9233
cosine_ndcg@10	0.7167
cosine_mrr@10	0.6504
cosine_map@100	0.6541

Training Details

Training Dataset

Unnamed Dataset

• Size: 21,669 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 13 tokens mean: 21.99 tokens max: 33 tokens	min: 93 tokens mean: 453.39 tokens max: 512 tokens	min: 0.0 mean: 0.14 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  query: Tổ chức pháp chế ở Bộ có nhiệm vụ gì về kiểm soát thủ tục hành chính?	passage: # 48_2013_NĐ_CP_art1_part1 Điều 1. Sửa đổi, bổ sung, bãi bỏ một số điều, khoản của Nghị định số 63/2010/NĐ-CP ngày 08 tháng 6 năm 2010 của Chính phủ về kiểm soát thủ tục hành chính như sau: 1. Sửa đổi Điều 5: “Điều 5. Cơ quan, đơn vị kiểm soát thủ tục hành chính 1. Bộ Tư pháp giúp Chính phủ thống nhất quản lý nhà nước về công tác kiểm soát thủ tục hành chính. Cục Kiểm soát thủ tục hành chính thuộc Bộ Tư pháp có chức năng tham mưu, giúp Bộ trưởng Bộ Tư pháp thực hiện quản lý nhà nước về công tác kiểm soát thủ tục hành chính. 2. Tổ chức pháp chế ở Bộ, cơ quan ngang Bộ có chức năng tham mưu, giúp Bộ trưởng, Thủ trưởng cơ quan ngang Bộ thực hiện quản lý nhà nước về công tác kiểm soát thủ tục hành chính trong phạm vi ngành, lĩnh vực quản lý. Phòng Kiểm soát thủ tục hành chính thuộc Tổ chức pháp chế ở Bộ, cơ quan ngang Bộ có chức năng tham mưu, giúp người đứng đầu Tổ chức pháp chế thực hiện công tác kiểm soát thủ tục hành chính. 3. Sở Tư pháp có chức năng tham mưu, giúp Ủy ba...	0.0
  query: Người được ủy quyền di chuyển hài cốt liệt sĩ được hỗ trợ như thế nào?	passage: # 773_2018_QĐ_TTg_appendix_2 III. TỔ CHỨC THỰC HIỆN 1. Bộ Lao động - Thương binh và Xã hội - Hoàn thiện thể chế chính sách pháp luật về ưu đãi người có công với cách mạng. - Tổng kết, rà soát việc công nhận người có công với cách mạng; xem xét, giải quyết đối với những trường hợp do trước đây chưa đủ điều kiện xác nhận, hoặc đã được cơ quan có thẩm quyền kết luận là không đủ điều kiện xác nhận, nhưng nay có thêm được cơ sở, căn cứ xác nhận khác theo quy định. - Giải quyết căn bản hồ sơ xác nhận người có công với cách mạng còn tồn đọng. - Tiếp tục thực hiện Đề án xác định danh tính hài cốt liệt sĩ còn thiếu thông tin. - Đẩy mạnh tu bổ, tôn tạo nghĩa trang liệt sĩ và các công trình ghi công liệt sĩ, bảo đảm các công trình ghi công liệt sĩ trở thành những công trình lịch sử, văn hóa, để giáo dục tinh thần yêu nước, chủ nghĩa anh hùng cách mạng trong các tầng lớp nhân dân. - Chủ trì xây dựng Đề án phát triển các cơ sở nuôi dưỡng, điều dưỡng người có công với cách mạng, trì...	0.0
  query: Ngày 30 tháng 12 năm 2011 có ý nghĩa gì với người có công ở Hà Nội?	passage: # 31_2011_QD_UBND_quy_dinh_chuong1_art1_2 QUY ĐỊNH VỀ TRÌNH TỰ, THỦ TỤC GIẢI QUYẾT CHẾ ĐỘ MIỄN, GIẢM TIỀN SỬ DỤNG ĐẤT CHO NGƯỜI CÓ CÔNG VỚI CÁCH MẠNG TRÊN ĐỊA BÀN TỈNH GIA LAI (Ban hành kèm theo Quyết định số 31/2011/QĐ-UBND ngày 10 tháng 11 năm 2011 của UBND tỉnh) Chương I QUY ĐỊNH CHUNG Điều 1. Nguyên tắc chung 1. Quy định này quy định về trình tự, thủ tục giải quyết miễn, giảm tiền sử dụng đất cho người có công với cách mạng trên địa bàn tỉnh Gia Lai khi được Nhà nước giao đất để làm nhà ở, được phép chuyển mục đích sử dụng từ đất khác sang làm đất ở, được công nhận đất ở, được cấp giấy chứng nhận quyền sử dụng đất ở. 2. Việc hỗ trợ người có công với cách mạng cải thiện nhà ở được triển khai từng bước, phù hợp với điều kiện kinh tế - xã hội và khả năng cân đối của ngân sách địa phương; căn cứ vào công lao và hoàn cảnh khó khăn thực sự về nhà ở cụ thể của từng người; không hỗ trợ đồng loạt hoặc bình quân cho tất cả các đối tượng. Điều 2. Nguyên tắc, điều kiện miễn, g...	0.0

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "ContrastiveLoss",
      "matryoshka_dims": [
          768,
          512,
          256
      ],
      "matryoshka_weights": [
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 6
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 6
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	vietnamese-veterans-eval_cosine_ndcg@10
0.7375	500	0.0128	0.7100
1.0	678	-	0.7167

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}